Viés de Gênero em Modelos de Linguagem e Representação no Trabalho

Modelos de linguagem são ferramentas usadas em várias aplicações, como chatbots e serviços de tradução. Esses modelos aprendem com um monte de texto escrito em diferentes idiomas. Mas um grande problema é que eles podem refletir preconceitos que estão nos dados de treinamento. Este artigo investiga como funções de trabalho estão ligadas ao gênero nesses modelos de linguagem, focando em se eles mostram preconceitos sobre como homens e mulheres são representados em diferentes carreiras.

#O Problema do Preconceito em Modelos de Linguagem

Modelos de linguagem aprendem lendo uma quantidade enorme de texto da internet, de livros e de outras fontes. Infelizmente, esse texto pode carregar preconceitos - crenças ou atitudes injustas sobre diferentes grupos de pessoas. Por exemplo, se um modelo frequentemente vê expressões que associam enfermagem principalmente a mulheres e engenharia a homens, ele pode acabar refletindo e até amplificando esses estereótipos. Isso é preocupante porque pode influenciar como as pessoas veem diferentes Profissões.

#Abordagem para Estudar os Preconceitos

Para entender como os modelos de linguagem lidam com preconceitos de gênero relacionados a empregos, os pesquisadores comparam eles com estatísticas reais que mostram quantos homens e mulheres trabalham em várias ocupações. Eles usam dados de censos de países como França, Noruega, Reino Unido e Estados Unidos. Esses dados fornecem uma visão clara da distribuição de gênero no mundo real em diferentes setores de trabalho.

Os pesquisadores criam frases com pronomes de gênero (como ele ou ela) e títulos de trabalho (como médico ou enfermeira) para ver como os modelos de linguagem respondem. Depois, eles avaliam se as saídas dos modelos correspondem às distribuições reais de Gêneros nessas profissões.

#Criando Conjuntos de Dados de Referência

Para realizar o estudo, os pesquisadores compilam listas de ocupações específicas para cada país, incluindo a divisão de gênero para esses empregos. Eles reúnem dados para 235 empregos na França, 415 na Noruega, 325 no Reino Unido e 314 nos EUA. Como algumas línguas mudam a forma das palavras com base no gênero, eles geram diferentes versões dos títulos de trabalho para as formas masculinas e femininas dos substantivos.

Essas frases são estruturadas para incluir uma variedade de ações, como "ele é médico" ou "ela trabalha como enfermeira". O objetivo é criar um grande conjunto de templates para examinar os modelos de linguagem. No total, eles criam dezenas de milhares desses templates para teste.

#Investigando os Modelos de Linguagem

Os pesquisadores usam vários modelos de linguagem treinados em inglês, francês e norueguês. Eles analisam com que frequência esses modelos preveem corretamente os identificadores de gênero nos templates que criaram. Quando eles investigam um modelo, eles mascaram (escondem) a palavra de gênero na frase e veem como o modelo consegue adivinhar com base no contexto.

Por exemplo, se a frase é "Ela é um [MASK]", o modelo tentará prever a palavra que se encaixa, como "médico" ou "enfermeira". Ao observar com que frequência o modelo acerta essas adivinhações, os pesquisadores conseguem calcular pontuações de preconceito para diferentes profissões.

#Entendendo as Pontuações

Os pesquisadores criam dois tipos de pontuações para analisar os preconceitos nos modelos de linguagem:

1. Pontuação de Preconceito Normativo: Essa pontuação verifica se os modelos de linguagem mostram representação igual para ambos os gêneros em cada ocupação. Idealmente, para qualquer trabalho, o número de homens e mulheres previstos deve ser mais ou menos igual - próximo de 50/50. Se um modelo prevê principalmente um gênero para uma ocupação, ele receberá uma pontuação baixa aqui.

2. Pontuação de Preconceito Descritivo: Essa pontuação analisa quão bem o modelo reflete a realidade. Os pesquisadores comparam as previsões do modelo com a distribuição real de gênero para os empregos nos dados de censos. Se um trabalho é predominantemente ocupado por mulheres ou homens, isso deve ser refletido nas previsões do modelo. Quanto mais preciso for o modelo, maior será sua pontuação descritiva.

#Resultados do Estudo

Os resultados mostram que a maioria dos modelos de linguagem tem dificuldades com a pontuação de preconceito normativo. Eles costumam prever uma representação desigual de gêneros em várias ocupações. Por exemplo, certos modelos podem identificar principalmente médicos como homens e enfermeiras como mulheres.

No entanto, quando se trata de pontuações descritivas, as coisas parecem melhores. Muitos modelos conseguem refletir a distribuição real de gênero das ocupações em algum grau. Por exemplo, alguns modelos podem ter um bom desempenho ao analisar trabalhos com muitas mulheres, mas ainda podem falhar em empregos dominados por homens.

Curiosamente, os modelos testados mostraram uma tendência a vincular certos empregos fortemente a um gênero. Isso indica uma falta de equilíbrio, mostrando que eles não representam de forma justa ambos os gêneros em muitas profissões.

#Limitações da Pesquisa

Uma limitação principal deste estudo é que ele considera apenas dois gêneros: masculino e feminino. A identidade de gênero é mais complexa do que uma opção binária; no entanto, os dados do censo nacional utilizados reconhecem apenas essas duas categorias. Isso significa que as pontuações podem não refletir com precisão as experiências de pessoas que não se enquadram nessas definições.

Além disso, os templates criados para teste são baseados em uma forma específica de enquadrar gênero com títulos de trabalho. Introduzir frases mais variadas e diversas poderia gerar melhores insights sobre como os modelos de linguagem representam gênero nas ocupações.

Outra consideração é que os modelos treinados em inglês e francês podem não se aplicar perfeitamente aos dados de censo específicos do Reino Unido, dos EUA e da França. Como o inglês e o francês são falados em vários países, seria útil investigar como esses modelos refletem as distribuições de trabalho em diferentes culturas.

#Direções Futuras

Os pesquisadores destacam possíveis estudos futuros, incluindo investigar como diferenças culturais influenciam os preconceitos nos modelos de linguagem. Eles também planejam explorar como diferentes fontes de dados de treinamento afetam as pontuações de preconceito. Isso poderia levar a uma melhor compreensão de como melhorar o treinamento dos modelos e reduzir preconceitos.

No geral, essa pesquisa oferece uma nova maneira de avaliar a representação de gênero nas ocupações usando modelos de linguagem. Ao desenvolver um sistema de pontuação que separa preconceito normativo e descritivo, eles podem entender melhor como esses modelos refletem o mundo real. É fundamental para a área de processamento de linguagem natural abordar essas questões para criar tecnologias de linguagem justas e sem preconceitos.