Abordando o Viés de Gênero na Tradução Neural

A Tradução Automática Neural (TAN) evoluiu bastante, melhorando em qualidade e uso. No entanto, ainda rola um problema sério com preconceito de gênero nas traduções, especialmente quando traduzimos de línguas que não marcam gênero fortemente para o inglês, que marca. Apesar de vários estudos sobre isso, ainda não existem maneiras adequadas de medir ou corrigir esses preconceitos.

Pra preencher essa lacuna, a gente apresenta o GATE X-E, um novo conjunto de dados criado a partir de traduções humanas do turco, húngaro, finlandês e persa pro inglês. Esse conjunto inclui traduções que mostram diferentes opções de gênero: feminino, masculino e neutro. Com 1250 a 1850 exemplos pra cada par de línguas, o GATE X-E oferece uma variedade de frases que desafiam os tradutores com diferentes características de linguagem. Também construímos uma ferramenta de tradução usando o GPT-4 e usamos o GATE X-E pra testar sua eficácia. Nossa intenção é compartilhar esse projeto pra ajudar outros a pesquisarem preconceito de gênero nas traduções.

#O Preconceito de Gênero na Tradução

Embora a TAN tenha melhorado muito, o preconceito de gênero ainda aparece nos resultados. Um problema grande é que, às vezes, o texto traduzido atribui um gênero a pessoas quando o texto original não faz isso. Isso é comum ao traduzir de línguas que não usam gênero da mesma forma que o inglês.

No inglês, o gênero pode aparecer através de pronomes como "he" ou "she", ou através de substantivos específicos como "mother" ou "uncle". Nas línguas com as quais estamos trabalhando, como o turco, todos os pronomes pessoais são neutros. Por exemplo, a palavra "O" em turco pode se referir a "ele", "ela" ou "eles". Isso leva a situações em que o modelo TAN pode atribuir um gênero baseado em estereótipos ao invés do texto original.

#Exemplos de Preconceito de Gênero

Quando traduzimos do turco pro inglês, por exemplo, a máquina muitas vezes usa o pronome "she" pra pessoas cujo gênero não está especificado. Isso acontece porque existe uma crença comum de que as mulheres estão mais envolvidas em cuidar dos outros. Pra corrigir isso, sugerimos fornecer traduções em todas as três formas de gênero pra cobrir todas as possíveis interpretações.

O problema surge quando traduzimos frases que não mencionam um gênero, mas acabam sendo marcadas como femininas. Esse preconceito é frequentemente baseado em estereótipos que associam certos papéis às mulheres, como cuidar de crianças. Uma maneira de abordar isso é criar várias versões de uma tradução, incluindo opções masculinas e neutras.

#Conjunto de Dados GATE X-E

O GATE X-E é um complemento ao corpus GATE original, que já avaliava reescritas de gênero pra traduções do inglês pra várias línguas. O GATE X-E foca em traduções do turco, húngaro, finlandês e persa pro inglês. O conjunto consiste em frases naturais que variam em comprimento e contexto, testando diferentes aspectos da tradução.

#Processo de Coleta de Dados

Pra criar o GATE X-E, pares de frases foram coletados de várias fontes. As frases selecionadas foram filtradas pra garantir que atendiam a certos critérios baseados na detecção de língua e na presença de termos de gênero nas traduções em inglês. Depois, fornecemos essas frases a falantes nativos, que as anotaram com tipos de gênero e possíveis traduções.

Cada instância no GATE X-E inclui uma frase original e suas traduções, cobrindo várias interpretações de gênero. Pra cada tradução, classificamos se ela inclui termos marcados por gênero e quantas Entidades Arbitrariamente Marcadas por Gênero (AGMEs) estão presentes. AGMEs são partes de uma frase onde o gênero não está especificado no original, mas está na tradução.

#Características do Conjunto de Dados

O conjunto oferece uma forte variedade de casos. Muitas instâncias contêm uma AGME, enquanto algumas podem não ter nenhuma ou mais de uma. A maioria desses casos envolve pronomes de gênero que não aparecem na origem. O conjunto também inclui casos mistos, onde algumas pessoas são neutras em gênero e outras são marcadas por gênero.

O desafio está em garantir que as traduções permaneçam consistentes e precisas enquanto exploram diferentes interpretações de gênero. Os anotadores passaram pelas frases, marcando erros e fornecendo traduções alternativas conforme necessário.

#Processo de Reescrita de Gênero

O processo de reescrita de gênero envolve pegar uma frase traduzida com um gênero específico e criar novas versões com diferentes atribuições de gênero. O objetivo é oferecer traduções que reflitam todas as interpretações de gênero potenciais sem alterar a mensagem principal do texto.

#Tipos de Problemas na Reescrita de Gênero

Existem duas categorias principais de problemas de reescrita a considerar:

1. Problemas Apenas com Pronomes: Nesses casos, se os únicos marcadores de gênero na tradução são pronomes, então a frase original não conterá pronomes de gênero. Todas as pessoas mencionadas na tradução são AGMEs. A reescrita foca em mudar esses pronomes pra se adequar ao gênero desejado enquanto mantém o significado original intacto.

2. Problemas com Substantivos de Gênero: Aqui, a origem pode conter substantivos que indicam explicitamente gênero. Esse tipo de reescrita é mais complexo, já que requer diferenciar entre AGMEs e aqueles que são marcados por gênero tanto na origem quanto na tradução. O sistema deve lidar com casos que têm tanto substantivos de gênero quanto termos neutros.

#O Papel do GPT-4

Pra ajudar nas tarefas de reescrita, desenvolvemos uma solução usando o GPT-4. Essa ferramenta gera três versões da tradução: neutra em gênero, totalmente feminina e totalmente masculina. O sistema foi projetado pra guiar o GPT-4 passo a passo na identificação de AGMEs e reescrevendo a tradução original de acordo.

O GPT-4 usa prompts detalhados pra esclarecer o que é necessário. As saídas são então comparadas com as traduções originais pra checar a precisão.

#Avaliação do Sistema de Reescrita

Nós avaliamos a eficácia da nossa solução de reescrita baseada no GPT-4 usando o conjunto de dados GATE X-E. O processo de avaliação envolveu medir quão precisamente as frases modificadas combinavam com as versões esperadas.

#Resultados de Precisão

Os resultados mostraram que o sistema teve um desempenho excepcional em casos onde apenas pronomes estavam envolvidos, atingindo altas taxas de precisão. No entanto, a precisão caiu pra tarefas que incluíam substantivos de gênero. Essa discrepância é esperada devido à complexidade adicional de casos com substantivos marcados versus aqueles que dependem apenas de pronomes.

#Desafios na Reescrita de Substantivos de Gênero

As principais dificuldades surgem ao traduzir frases que incluem substantivos de gênero. Nesses casos, o significado muitas vezes muda dependendo de qual termo de gênero é usado, tornando crítico garantir que apenas os termos apropriados sejam modificados. Identificar erroneamente quais termos podem ser alterados leva a erros na saída.

#Avaliação Humana da Precisão

Pra garantir ainda mais a qualidade das traduções, buscamos avaliações humanas. Os avaliadores observaram saídas onde o sistema de reescrita cometeu erros, notando se substantivos ou pronomes foram alterados ou deixados de lado incorretamente.

#Tipos Comuns de Erros

Erros foram geralmente encontrados em duas categorias: mudanças desnecessárias, onde alterações indevidas foram feitas, e mudanças faltantes, onde o sistema não alterou termos de gênero que deveriam ter sido modificados.

#Conclusão

Com o GATE X-E, oferecemos um recurso valioso pra estudar o preconceito de gênero nas traduções automáticas. O conjunto ajuda a expor as complexidades envolvidas na tradução de linguagem de gênero e oferece um meio de desenvolver e avaliar ferramentas que mitigam esses preconceitos. Nossa esperança é que isso inspire mais pesquisas e leve a uma representação mais igualitária nas traduções entre diferentes línguas.

Futuras pesquisas podem explorar o uso de modelos de código aberto pra reescrita de gênero e avaliar sua eficácia. Queremos continuar essa conversa pra criar traduções mais inclusivas e justas.