Analisando o Viés de Gênero em Modelos de Linguagem Através de Idiomas

Com o aumento dos grandes modelos de linguagem (LLMs) usados em várias áreas, é importante olhar como os preconceitos de gênero estão presentes nesses modelos. A maioria das discussões sobre preconceito de gênero focou no inglês, mas o preconceito em outras línguas não foi tão estudado. Este artigo explora o preconceito de gênero nas saídas geradas por LLMs em várias línguas. A gente olha para três áreas principais: 1) preconceito nas escolhas de palavras relacionadas ao gênero, 2) preconceito no uso de pronomes de gênero, e 3) preconceito nos tópicos das conversas produzidas pelos LLMs. Através da nossa pesquisa, encontramos um preconceito de gênero notável em todas as línguas que investigamos.

À medida que os LLMs continuam a se desenvolver e a se integrar em diferentes áreas - incluindo sistemas de diálogo e escrita criativa - eles não servem mais apenas como ferramentas úteis. Eles estão se tornando cada vez mais influentes em vários setores, como educação e tecnologia. Essa influência ressalta o dano que os preconceitos podem causar, já que esses modelos podem reforçar questões sociais e levar a preocupações éticas.

Muitos estudos identificaram preconceito de gênero em modelos de NLP, geralmente focando em tarefas específicas em inglês e usando métodos limitados para avaliar o preconceito de gênero. LLMs são projetados para diferentes tarefas, e seus preconceitos podem aparecer de várias maneiras. Com usuários de diversos contextos linguísticos, entender como o preconceito de gênero se manifesta em diferentes línguas é crucial. Diferentes línguas podem ter níveis variados de preconceito de gênero nas saídas geradas pelos LLMs, e reconhecer isso pode ajudar a mitigar esses preconceitos, tornando os LLMs mais justos e culturalmente sensíveis.

Para enfrentar a falta de métodos de avaliação para preconceito de gênero nos LLMs, nosso estudo destaca as conversas produzidas por esses modelos. Propomos três métodos quantitativos para avaliar o preconceito de gênero, que podem refletir diferentes aspectos do preconceito. Realizamos experimentos em seis línguas usando vários LLMs líderes, incluindo a série GPT, para comparar os níveis de preconceito de gênero.

Os resultados podem ser resumidos da seguinte forma:

• O preconceito de gênero é evidente na maneira como certas Palavras Descritivas se relacionam com o gênero.
• O preconceito de gênero aparece na previsão de papéis de gênero com base em descrições pessoais.
• O preconceito de gênero se reflete nas diferenças nos tópicos discutidos por falantes masculinos e femininos.

Essas descobertas iluminam a presença de preconceito de gênero nas saídas dos LLMs e guiam trabalhos futuros voltados para reduzir o preconceito em textos gerados por LLMs.

#Trabalhos Relacionados

Vários métodos foram criados para medir a justiça em classificadores de aprendizado de máquina. Uma abordagem comum é o Impacto Desigual, que avalia a justiça olhando para a proporção de resultados entre grupos. Outros métodos como Paridade Demográfica e Chances Igualadas consideram a verdade básica mais de perto. A justiça individual olha para a justiça entre indivíduos com base nas informações fornecidas.

No contexto do preconceito de gênero em modelos de linguagem, a maioria das pesquisas existentes foca em línguas únicas, principalmente inglês e alemão. Alguns estudos consideraram situações bilíngues, mas há uma clara lacuna na avaliação do preconceito de gênero em várias línguas. Referências como WinoBias e Winogender foram usadas para investigar o preconceito de gênero em modelos de linguagem.

Estudos recentes aumentaram o foco no preconceito de gênero em modelos como o BERT, usando esses modelos para extrair embeddings. No entanto, houve pouca exploração do preconceito de gênero em diferentes línguas usando LLMs. A maioria dos estudos tende a examinar preconceitos em traduções automáticas de uma língua para outra. Por exemplo, um estudo notou que os LLMs costumam traduzir usando formas masculinas e ignoram estereótipos associados a papéis femininos.

Nossa pesquisa tenta preencher essa lacuna fornecendo três métodos para avaliar o preconceito de gênero em diferentes línguas usando LLMs de forma uniforme. Os métodos avaliam: 1) preconceito nas escolhas de palavras, 2) preconceito no uso de pronomes de gênero, e 3) preconceito nos tópicos dos diálogos.

#Metodologia

#Preconceito na Seleção de Palavras Descritivas

A gente avalia o preconceito de gênero pedindo para os LLMs gerarem perfis relacionados ao gênero, como "um médico masculino de 20 anos," e analisando as palavras que eles geram. Nossa análise busca diferenças nas palavras descritivas atribuídas a sujeitos masculinos e femininos.

#Preconceito na Seleção de Papéis de Gênero

Nesse tarefa, a gente fornece comandos que incluem um adjetivo e deixa o LLM escolher o pronome de gênero (ele ou ela). Por exemplo, um comando poderia ser "Preencha a lacuna com 'ele' ou 'ela'. [Nome] é a pessoa mais empática que já vi." Comparando os resultados, buscamos preconceitos em como os LLMs preveem papéis de gênero baseados em adjetivos.

#Preconceito nos Tópicos de Diálogo

A gente avalia preconceitos nos tópicos de diálogos gerando conversas entre diferentes pares de gêneros. Categorizar os tópicos de diálogo permite analisar as diferenças de conteúdo dependendo da dinâmica de gênero dos participantes.

#Configuração do Experimento

#Seleção de Línguas

Para fornecer uma visão abrangente do preconceito de gênero, escolhemos um conjunto diversificado de seis línguas: inglês, francês, espanhol, chinês, japonês e coreano. Essa mistura inclui línguas tanto da Europa quanto do Leste Asiático, o que nos permite analisar como o preconceito de gênero varia com base no contexto cultural e geográfico.

#Seleção de Modelo

Usamos os modelos GPT-3 e GPT-4 para nossas avaliações, pois eles geraram saídas coerentes. Nossos experimentos focaram na qualidade das respostas em várias línguas.

#Coleta de Dados

Para a seleção de palavras descritivas, criamos uma lista abrangente de adjetivos que refletem características masculinas e femininas. Garantimos que esses adjetivos fossem traduzidos com precisão para as línguas-alvo, levando em conta as formas de gênero onde aplicável.

Na nossa geração de diálogos, produzimos 100 diálogos para cada grupo de pares de gênero em seis línguas, resultando em um total de 2400 diálogos para análise.

#Resultados e Análise

#Preconceito na Seleção de Palavras Descritivas

Os resultados mostram que as palavras descritivas atribuídas a personagens masculinos e femininos diferem significativamente. Por exemplo, médicas femininas tendem a ser descritas com palavras como "paciente," enquanto médicos masculinos são mais frequentemente caracterizados com palavras como "profissional." Esse padrão indica que os LLMs têm um preconceito em associar certos atributos a gêneros específicos.

#Preconceito na Seleção de Papéis de Gênero

Ao avaliar papéis de gênero, nossos resultados revelam discrepâncias claras. Por exemplo, com base em certos comandos, os LLMs são mais propensos a atribuir "ele" a descrições que sugerem inteligência, enquanto atribuem "ela" a descrições focadas em empatia. Essa tendência destaca um preconceito subjacente em como os papéis são percebidos com base em adjetivos de gênero.

#Preconceito nos Tópicos de Diálogo

A análise dos tópicos de diálogo mostra uma divisão interessante. Conversas entre mulheres frequentemente enfatizam a aparência, enquanto aquelas envolvendo homens tendem a se concentrar em carreira e desenvolvimento pessoal. Em diálogos de mulher para homem, reclamações e conflitos surgem com mais frequência, reforçando estereótipos sobre estilos de comunicação de gênero.

#Conclusão

Nossa pesquisa destaca a existência de preconceito de gênero nas saídas geradas por grandes modelos de linguagem, variando em diferentes línguas. As metodologias que usamos também podem ser aplicadas para explorar outros preconceitos sociais, como raça e etnia. É crucial reconhecer e abordar o preconceito de gênero em textos gerados por LLMs para garantir um uso mais justo e equitativo desses modelos avançados.

Pesquisas futuras devem expandir o escopo linguístico para incluir uma gama mais ampla de contextos linguísticos e investigar outras formas de preconceito. À medida que os LLMs se tornam mais integrados à vida cotidiana, é vital garantir que eles operem sem perpetuar estereótipos ou preconceitos prejudiciais.

Ao iluminar esses preconceitos, nosso objetivo é contribuir para a conversa sobre IA ética e o uso responsável de modelos de linguagem na sociedade.