Abordando el sesgo de género en la traducción neural

La Traducción Automática Neural (NMT) ha avanzado bastante, mejorando en calidad y uso. Sin embargo, todavía hay un gran problema con el Sesgo de género en las traducciones, especialmente cuando se traduce de idiomas que no marcan el género de manera fuerte al inglés, que sí lo hace. A pesar de muchos estudios sobre este tema, no ha habido formas adecuadas de medir o solucionar estos sesgos.

Para llenar este vacío, presentamos GATE X-E, un nuevo conjunto de datos creado a partir de traducciones humanas del turco, húngaro, finlandés y persa al inglés. Este conjunto incluye traducciones que muestran diferentes opciones de género: femenino, masculino y neutral. Con entre 1250 y 1850 ejemplos para cada par de idiomas, GATE X-E ofrece una variedad de oraciones que desafían a los traductores con diferentes características lingüísticas. También hemos construido una herramienta de traducción usando GPT-4 y utilizamos GATE X-E para probar su efectividad. Nuestro objetivo es compartir este proyecto para ayudar a otros a investigar el sesgo de género en las traducciones.

#El sesgo de género en la traducción

A pesar de que la NMT ha mejorado mucho, el sesgo de género todavía aparece en sus resultados. Un gran problema es que el texto traducido a veces da un género a los individuos cuando el texto original no lo hace. Esto es común al traducir de idiomas que no usan el género de la misma manera que el inglés.

En inglés, el género puede aparecer a través de pronombres como "he" o "she", o a través de sustantivos específicos como "mother" o "uncle". En los idiomas en los que nos enfocamos, como el turco, todos los pronombres personales son neutrales. Por ejemplo, la palabra "O" en turco puede referirse a "él", "ella" o "ellos". Esto lleva a situaciones donde el modelo NMT puede asignar un género basado en estereotipos en lugar del texto original.

#Ejemplos de sesgo de género

Cuando se traduce del turco al inglés, por ejemplo, la máquina a menudo usa el pronombre "she" para personas cuyo género no está especificado. Esto sucede porque hay una creencia común de que las mujeres están más involucradas en el cuidado. Para solucionar esto, proponemos ofrecer traducciones en las tres formas de género para cubrir todas las posibles interpretaciones.

El problema surge al traducir oraciones que no mencionan un género pero terminan siendo marcadas como femeninas. Este sesgo se basa a menudo en estereotipos que asocian ciertos roles con mujeres, como el cuidado infantil. Una forma de abordar esto es crear múltiples versiones de una traducción, incluyendo opciones masculinas y neutrales en cuanto al género.

#Conjunto de datos GATE X-E

GATE X-E es una adición al corpus GATE original, que ya evaluaba reescrituras de género para traducciones del inglés a varios idiomas. GATE X-E se centra en traducciones del turco, húngaro, finlandés y persa al inglés. El conjunto de datos consiste en oraciones naturales que varían en longitud y contexto, poniendo a prueba diferentes aspectos de la traducción.

#Proceso de recopilación de datos

Para crear GATE X-E, se recopilaron pares de oraciones de diversas fuentes. Las oraciones seleccionadas se filtraron para asegurarse de que cumplían con ciertos criterios basados en la detección del idioma y la presencia de términos de género en las traducciones al inglés. Luego proporcionamos estas oraciones a hablantes nativos, quienes las anotaron para tipos de género y posibles traducciones.

Cada instancia en GATE X-E incluye una oración fuente y sus traducciones, abarcando varias interpretaciones de género. Para cada traducción, clasificamos si incluye términos marcados por género y cuántas Entidades Arbitrariamente Marcadas por Género (AGMEs) están presentes. Las AGMEs son partes de una oración donde el género no está especificado en el original pero sí en la traducción.

#Características del conjunto de datos

El conjunto de datos ofrece una fuerte variedad de casos. Muchas instancias contienen una AGME, mientras que algunas pueden no tener ninguna o más de una. La mayoría de estos casos involucran pronombres de género que no aparecen en la fuente. El conjunto de datos también incluye casos mixtos, donde algunas personas son neutrales en cuanto al género y otras están marcadas por género.

El desafío radica en asegurarse de que las traducciones sean consistentes y precisas mientras se exploran diferentes interpretaciones de género. Los anotadores trabajaron a través de las oraciones, marcando errores y proporcionando traducciones alternativas según fuese necesario.

#Proceso de reescritura de género

El proceso de reescritura de género implica tomar una oración traducida con un género específico y crear nuevas versiones con diferentes asignaciones de género. El objetivo es ofrecer traducciones que reflejen todas las posibles interpretaciones de género sin alterar el mensaje principal del texto.

#Tipos de problemas en la reescritura de género

Hay dos categorías principales de problemas de reescritura a considerar:

1. Problemas solo de pronombres: En estos casos, si los únicos marcadores de género en la traducción son pronombres, entonces la oración fuente no contendrá pronombres de género. Todos los individuos mencionados en la traducción son AGMEs. La reescritura se enfoca en cambiar estos pronombres para que se ajusten al género deseado mientras se mantiene el significado original intacto.

2. Problemas de sustantivos de género: Aquí, la fuente puede contener sustantivos que indican explícitamente el género. Este tipo de reescritura es más complejo ya que requiere diferenciar entre AGMEs y aquellos que están marcados por género tanto en la fuente como en la traducción. El sistema debe manejar casos con sustantivos de género y términos neutrales.

#El papel de GPT-4

Para ayudar con las tareas de reescritura, desarrollamos una solución usando GPT-4. Esta herramienta genera tres versiones de la traducción: neutra en cuanto al género, toda femenina y todo masculina. El sistema fue diseñado para guiar a GPT-4 paso a paso a través de la identificación de AGMEs y reescribiendo la traducción original en consecuencia.

GPT-4 usa indicaciones detalladas para aclarar lo que se necesita. Luego, las salidas se comparan con las traducciones originales para verificar la precisión.

#Evaluación del sistema de reescritura

Evaluamos la efectividad de nuestra solución de reescritura basada en GPT-4 utilizando el conjunto de datos GATE X-E. El proceso de evaluación involucró medir cuán precisamente las oraciones modificadas coincidían con las versiones esperadas.

#Resultados de precisión

Los resultados mostraron que el sistema funcionó excepcionalmente bien en casos donde solo estaban involucrados pronombres, logrando altas tasas de precisión. Sin embargo, la precisión disminuyó para tareas que incluían sustantivos de género. Esta discrepancia es esperada debido a la complejidad añadida de casos con sustantivos marcados frente a aquellos que dependen puramente de pronombres.

#Desafíos en la reescritura de sustantivos de género

Las principales dificultades surgen al traducir oraciones que incluyen sustantivos de género. En estos casos, el significado a menudo cambia dependiendo de qué término de género se use, por lo que es crítico asegurarse de que solo se modifiquen los términos apropiados. Identificar incorrectamente qué términos se pueden cambiar lleva a errores en la salida.

#Evaluación humana de la precisión

Para garantizar aún más la calidad de las traducciones, buscamos evaluaciones humanas. Los evaluadores revisaron salidas donde el sistema de reescritura cometió errores, anotando si los sustantivos o pronombres se cambiaron o se pasaron por alto incorrectamente.

#Tipos comunes de errores

Los errores se encontraron generalmente en dos categorías: cambios innecesarios, donde se hicieron modificaciones innecesarias, y cambios faltantes, donde el sistema no logró alterar términos de género que deberían haber sido modificados.

#Conclusión

Con GATE X-E, ofrecemos un recurso valioso para estudiar el sesgo de género en las traducciones automáticas. El conjunto de datos ayuda a exponer las complejidades involucradas en la traducción de lenguajes con género y ofrece un medio para desarrollar y evaluar herramientas que mitiguen estos sesgos. Nuestra esperanza es que inspire más investigación y conduzca a una representación más equitativa en las traducciones a través de diferentes idiomas.

La investigación futura podría explorar el uso de modelos de código abierto para la reescritura de género y evaluar su efectividad. Nuestro objetivo es mantener la conversación activa para crear traducciones más inclusivas y justas.