Abordando o viés de gênero na tradução automática

A tradução automática (MT) muitas vezes mostra um Viés de Gênero, especialmente ao traduzir para idiomas que têm formas específicas de gênero, como o italiano. Quando se traduz do inglês, que tem maneiras limitadas de expressar gênero, para o italiano, que marca gênero de forma mais extensa, isso pode gerar problemas. Por exemplo, se a frase em inglês não especifica o gênero, a tradução pode acabar usando uma forma masculina como padrão, o que pode distorcer ou ignorar as identidades de mulheres e pessoas não binárias.

Muitas discussões recentes estão focadas em tornar a linguagem mais inclusiva, especialmente para identidades não binárias. Este artigo analisa uma nova abordagem envolvendo palavras inclusivas de gênero, conhecidas como neomorfemas, como uma forma de melhorar a MT. Neomorfemas são formas linguísticas inovadoras que evitam rótulos de gênero binários.

O desafio é que a maioria dos modelos de MT não usa efetivamente a linguagem inclusiva de gênero. Este estudo examina como grandes modelos de linguagem (LLMs) podem ser direcionados a traduzir do inglês para o italiano usando essas novas formas. A área de MT inclusiva de gênero ainda é relativamente nova, e não há ferramentas ou conjuntos de dados suficientes disponíveis para avaliá-la adequadamente.

#O Problema com o Viés de Gênero

O viés de gênero na MT significa que os sistemas muitas vezes produzem traduções que defaultam para palavras masculinas quando o texto original não especifica o gênero. Esse problema se torna especialmente significativo ao traduzir para idiomas com gênero gramatical, como o italiano. Por exemplo, em inglês, você pode dizer: "Meus amigos são ricos", mas em italiano, você precisa especificar o gênero dos amigos. Você pode dizer "I miei amici sono ricchi" para amigos homens ou "Le mie amiche sono ricche" para amigas mulheres.

Essa tendência pode levar a que mulheres e pessoas não binárias sejam sub-representadas ou mal representadas nas traduções. Precisamos encontrar maneiras de tornar a MT mais inclusiva e precisa.

#Neomorfemas como Solução

Em resposta ao problema do viés de gênero, novas palavras e estruturas estão sendo criadas para tornar a linguagem mais inclusiva. Isso inclui neopronome e neomorfemas. Neopronome são pronomes alternativos que substituem as formas tradicionais ele/ela. Neomorfemas são novos finais ou marcadores que permitem expressões neutras em vez das formas masculinas ou femininas tradicionais. Por exemplo, em vez dos finais -o para masculino e -a para feminino, as pessoas podem usar formas como -# ou -e/-es.

Essa abordagem vem de comunidades que buscam criar uma linguagem mais inclusiva. Embora diferentes formas de neomorfemas existam, os indivíduos podem escolher quais preferem com base em suas identidades. No entanto, usar essas novas formas na MT ainda é uma área pouco pesquisada.

#A Necessidade de Ferramentas de Avaliação

Um dos grandes desafios em pesquisar linguagem inclusiva de gênero na MT é a ausência de recursos para avaliar modelos de MT pelo uso de neomorfemas. Atualmente, há conjuntos de dados públicos limitados voltados para esse propósito. Tem sido difícil criar e testar sistemas que possam trabalhar com essas formas inovadoras.

Diante dessa lacuna, os autores criaram um novo recurso, chamado Neo-GATE, que é projetado para avaliar traduções que usam neomorfemas inclusivos de gênero.

#Benchmark Neo-GATE

O benchmark Neo-GATE é baseado em avaliações existentes projetadas para medir o viés de gênero na MT. Ele possui um conjunto de entradas onde o gênero não é especificado em inglês, permitindo a análise de como os modelos se saem quando recebem um input neutro.

Neo-GATE inclui entradas com palavras de gênero específico que podem ser substituídas por neomorfemas. Usando tags de espaço reservado, os novos recursos podem ser ajustados para qualquer forma de neomorfema. Isso permite que os pesquisadores avaliem o desempenho dos sistemas de MT ao usar essas formas inovadoras.

#Testando Grandes Modelos de Linguagem

O artigo examina quão bem diferentes LLMs podem se adaptar a essas novas formas de linguagem inclusiva de gênero. Os autores testaram vários modelos, incluindo vários LLMs de código aberto e um modelo comercial, para ver quão efetivamente eles poderiam traduzir usando neomorfemas.

Durante os testes, eles observaram como diferentes estratégias de direcionamento impactam as traduções. Eles criaram prompts que instruíam os modelos a usar neomorfemas. Testar esses modelos revelou níveis variados de sucesso na geração das formas corretas.

#Resultados dos Experimentos

Os resultados indicaram que certos modelos tiveram um desempenho melhor do que outros quando receberam prompts claros sobre como usar neomorfemas. Modelos como GPT-4 e Mixtral mostraram resultados promissores, especialmente quando tinham mais exemplos para aprender nos prompts. No entanto, LLama 2 e Tower não se saíram bem na geração das formas desejadas.

Uma descoberta notável foi que usar mais exemplos nos prompts geralmente melhorava as traduções dos modelos. No entanto, também foi encontrado que simplesmente aumentar o número de exemplos não garantia maior precisão para todos os modelos.

A análise destacou diferentes aspectos de como os modelos geraram neomorfemas, incluindo a tendência de gerar formas inadequadas. Alguns modelos geraram formas de gênero apropriadas com mais frequência, enquanto outros tiveram dificuldades com precisão. Os testes revelaram que os caracteres e formas usados na tradução podem afetar muito o desempenho.

#Conclusão

O estudo sugere que há um grande potencial para os LLMs se adaptarem à linguagem inclusiva de gênero neológica na MT. No entanto, alcançar alta precisão continua sendo um desafio. O benchmark Neo-GATE proporciona uma base para mais pesquisas em MT inclusiva de gênero, permitindo que desenvolvedores testem e melhorem modelos para acomodar melhor identidades de gênero diversas.

No futuro, será crucial continuar explorando como aprimorar os sistemas de MT para usar uma linguagem que seja justa e representativa de todos os indivíduos, independentemente do gênero. Os insights desta pesquisa ajudarão a guiar o desenvolvimento e a compreensão futuros nesta área importante da tecnologia linguística.