Vieses de Linguagem em Modelos de Linguagem Grandes

A linguagem e a forma como pensamos estão ligadas. Este artigo explora como nossa língua molda nossas opiniões, especialmente em relação ao gênero. A gente foca nos Modelos de Linguagem Grande (LLMs), que são programas de computador que conseguem gerar textos parecidos com os humanos. Estudando esses modelos, podemos aprender sobre os Preconceitos na nossa linguagem.

#O Papel do Gênero Gramatical

Gênero gramatical significa que em algumas línguas, os substantivos são classificados como masculinos ou femininos. Isso afeta como as pessoas descrevem objetos. Por exemplo, em espanhol, a palavra para "ponte" é masculina, e as pessoas podem usar Adjetivos fortes como "forte" ou "resistente." Em alemão, a mesma palavra é feminina, levando a descrições como "elegante" ou "bonita." Isso mostra como a linguagem molda pensamentos e descrições.

#Examinando Preconceitos nos LLMs

A gente estuda como os preconceitos nos LLMs aparecem ao descrever substantivos de gênero. Os LLMs conseguem gerar adjetivos para substantivos em várias línguas com gênero gramatical. Usamos esses adjetivos para ver se eles revelam padrões consistentes de preconceito. Treinando um programa de computador para classificar gênero com base nos adjetivos, descobrimos que os LLMs apresentam preconceitos semelhantes em diferentes línguas.

#Associações entre Adjetivos e Substantivos

Coletamos dados sobre substantivos e seus gêneros de várias línguas. Para cada substantivo, pedimos ao LLM para gerar uma lista de adjetivos. Analisando esses dados, conseguimos ver quais adjetivos são frequentemente usados para substantivos masculinos ou femininos. Isso ajuda a entender como o modelo associa certos adjetivos ao gênero.

#Previndo Gênero a Partir de Adjetivos

Para ver se os adjetivos podem prever o gênero dos substantivos, criamos um classificador binário. Esse programa usa a frequência dos adjetivos para determinar o provável gênero de um substantivo. Quando testado, o classificador mostra uma capacidade preditiva consistente em diferentes línguas, indicando um padrão nos adjetivos usados.

#Comparando Preconceitos Entre Línguas

A seguir, olhamos se os adjetivos usados para substantivos masculinos e femininos são parecidos entre as línguas. Calculando um escore de similaridade, conseguimos comparar como diferentes línguas atribuem adjetivos aos substantivos de gênero. Descobrimos que as línguas românicas mostram alta similaridade, enquanto grego, hindi e letão mostram escores mais baixos. Isso sugere que, embora os adjetivos possam variar, eles ainda refletem preconceitos semelhantes.

#Transferibilidade Entre Línguas

Queríamos ver se um classificador treinado em uma língua poderia prever o gênero de substantivos em outra língua. Treinando em várias línguas, nosso classificador conseguiu prever o gênero de substantivos em uma nova língua. Isso sugere que os preconceitos aprendidos são transferíveis entre as línguas, mesmo que os adjetivos em si sejam diferentes.

#Implicações dos Resultados

Esses achados são importantes, pois revelam como os LLMs refletem os preconceitos humanos na linguagem. Quando esses modelos são usados para tarefas como tradução ou geração de textos sobre pessoas, eles podem levar esses preconceitos. Isso pode afetar como as pessoas são descritas, levando a representações erradas ou reforço de estereótipos.

#Conclusão

Neste estudo, mostramos que os LLMs revelam preconceitos consistentes ao associar adjetivos com substantivos de gênero. Apesar das diferenças nas línguas, os preconceitos subjacentes permanecem semelhantes. Nossos resultados apontam para a necessidade de mais estudos para explorar como esses preconceitos nos LLMs se conectam à cognição humana. Entender essas associações pode ajudar a melhorar como usamos a tecnologia em tarefas linguísticas e garantir justiça na representação.

#Direções Futuras

Pesquisas futuras devem investigar modelos maiores e diferentes línguas para ver se padrões similares se mantêm. Também há necessidade de investigar como modelos de linguagem especializados podem se comportar de maneira diferente. No fim, os achados desses estudos podem contribuir para discussões sobre o uso ético de modelos de linguagem na sociedade.

#Agradecimentos

Este trabalho foi apoiado por várias organizações focadas em inteligência artificial. Os resultados têm implicações significativas para entender a interseção da linguagem, cognição e tecnologia.