Avaliando o preconceito de gênero em modelos de linguagem

Nos últimos anos, os modelos de linguagem viraram uma parte importante de como a gente interage com a tecnologia. Esses modelos ajudam as máquinas a entender e gerar a linguagem humana. Mas, estudos mostraram que esses modelos também podem refletir preconceitos sociais, especialmente os de gênero. Este artigo fala sobre como a gente pode avaliar esses preconceitos, sobretudo no contexto da Inferência de Linguagem Natural (NLI), que é uma tarefa que envolve determinar a relação entre duas frases.

#Entendendo o Preconceito em Modelos de Linguagem

Preconceito em modelos de linguagem pode ser entendido de duas maneiras principais: intrínseco e extrínseco. O preconceito intrínseco existe nos modelos antes de serem ajustados para tarefas específicas. O preconceito extrínseco aparece depois que o modelo foi treinado para uma tarefa específica, como NLI. Os preconceitos intrínsecos são geralmente identificados através da análise de associações de palavras nos dados de treinamento do modelo, enquanto os preconceitos extrínsecos são descobertos observando como o modelo se sai em tarefas específicas.

#Inferência de Linguagem Natural (NLI)

NLI é uma tarefa que apresenta a um modelo um par de frases, conhecidas como uma premissa e uma hipótese. O objetivo é decidir se a premissa apoia, contradiz ou é neutra em relação à hipótese. Por exemplo, dada a premissa "Uma enfermeira está jogando tênis" e a hipótese "Uma mulher está jogando tênis", o modelo deve decidir se a premissa implica, contradiz ou é neutra em relação à hipótese.

#Preconceito de Gênero em NLI

O preconceito de gênero nas tarefas de NLI pode ser sutil e complicado. Por exemplo, se um modelo aprende que enfermeiras geralmente são mulheres, pode inferir erroneamente que "Uma enfermeira está jogando tênis" implica que "Uma mulher está jogando tênis." Isso seria uma inferência preconceituosa baseada em um estereótipo. Por outro lado, se o modelo prevê que "Um homem está jogando tênis" contradiz a premissa, isso simplesmente seria uma inferência incorreta sem relação com preconceito.

#Avaliando Preconceito com Múltiplos Rótulos

Muitos métodos existentes para avaliar preconceito focam em um único tipo de saída, como se as respostas são neutras. Mas isso não é suficiente, já que há várias maneiras de um modelo produzir saídas preconceituosas ou não preconceituosas. Para melhorar a avaliação de preconceito, propomos uma abordagem que leva em conta todos os possíveis rótulos de saída: implicação, contradição e neutro.

#Criando Conjuntos de Dados para Avaliação

Para analisar o preconceito de gênero, primeiro precisamos criar conjuntos de dados. Nós categorizamos pares de frases com base em suas saídas esperadas em três grupos:

1. Pro-Estereotípico (PS): Pares onde a premissa usa um estereótipo de gênero (ex: "A enfermeira é uma mulher") que se alinha com as visões da sociedade, e a hipótese reflete esse estereótipo.
2. Anti-Estereotípico (AS): Pares onde a premissa usa um estereótipo, mas a hipótese contradiz esse estereótipo (ex: "A enfermeira é um homem").
3. Não-Estereotípico (NS): Pares onde nenhuma das frases se baseia em estereótipos de gênero claros.

Analisando esses grupos, conseguimos medir com que frequência os modelos fazem previsões preconceituosas em comparação com previsões não preconceituosas ou incorretas.

#Medindo o Preconceito de Gênero

Para avaliar o preconceito, vamos olhar para a proporção de rótulos de implicação, contradição e neutro em nossas três categorias. Um modelo preconceituoso tende a produzir rótulos de implicação para pares PS e rótulos de contradição para pares AS, enquanto os pares NS deveriam idealmente resultar em respostas neutras.

#Método de Meta-Avaliação

Para avaliar como nosso método de avaliação de preconceito funciona, vamos realizar uma meta-avaliação. Isso envolve treinar modelos em conjuntos de dados onde controlamos a quantidade de exemplos preconceituosos e não preconceituosos. O objetivo é ver se os escores de preconceito que obtemos se correlacionam com os níveis esperados de preconceito com base nos dados de treinamento. Uma alta correlação significa que nosso método é eficaz em distinguir entre saídas preconceituosas e não preconceituosas.

#Resultados em Diferentes Idiomas

Vamos avaliar nosso método usando diferentes idiomas: inglês, japonês e chinês. Isso é importante, pois os estereótipos de gênero podem variar entre culturas e línguas. Testando nosso método de avaliação de preconceito nesses diferentes idiomas, conseguimos ver se ele se mantém relevante em vários contextos.

#Desafios na Avaliação de Preconceito

Um desafio na avaliação de preconceito é que alguns modelos podem não aprender o suficiente sobre inferências relacionadas a gênero. Por exemplo, se um modelo de linguagem é treinado em um conjunto de dados que falta exemplos diversos de gênero, pode não ter um bom desempenho em tarefas que envolvem inferência de gênero. Além disso, alguns modelos de linguagem podem aprender preconceitos com base em seus conjuntos de dados de treinamento, o que pode complicar ainda mais as avaliações.

#Importância da Avaliação Abrangente

Avaliar preconceito em modelos de linguagem é importante por várias razões. Primeiro, reconhecer preconceitos ajuda a melhorar os modelos, tornando-os mais justos e úteis em várias aplicações como atendimento ao cliente, educação e redes sociais. Segundo, entender esses preconceitos dá uma visão de como os estereótipos sociais são refletidos na tecnologia.

#Futuras Pesquisas e Melhorias

Embora o método de avaliação proposto seja um avanço, ainda há áreas que podem ser melhoradas. Pesquisas futuras poderiam explorar o impacto de perspectivas de gênero não-binárias e estereótipos mais sutis além dos papéis tradicionais de masculino e feminino. Também seria benéfico aumentar a diversidade dos conjuntos de dados para refletir melhor o uso real da linguagem na sociedade.

#Conclusão

Para concluir, avaliar o preconceito de gênero em modelos de linguagem é uma tarefa complexa, mas necessária. Considerando múltiplos rótulos de saída em NLI e criando conjuntos de dados estruturados, conseguimos medir preconceitos de forma mais precisa e trabalhar para reduzir seu impacto na tecnologia de linguagem. Esse trabalho contínuo é essencial para o desenvolvimento de sistemas de IA justos e imparciais que atendam todas as partes da sociedade de forma eficaz.