Abordando los desafíos de dialectos en la traducción automática neural

Los sistemas de Traducción automática neuronal (NMT) tienen problemas cuando se enfrentan a cambios en los idiomas. Estos sistemas no rinden bien incluso con cambios sutiles en el uso de un idioma, como diferencias de hablantes no nativos o cambios en los dominios del lenguaje. Este problema también se aplica a los Dialectos, pero se ha hecho poco para probar cuán bien pueden traducir estas diferencias dialectales. Para abordar esto, creamos un nuevo estándar que incluye 891 variaciones de doce idiomas, lo que permite una mejor evaluación de los sistemas NMT frente a estos dialectos. También mostramos las dificultades que enfrentan los grandes modelos NMT al traducir dialectos. Todos los datos recopilados y el código están disponibles públicamente.

A lo largo de la década de 2010, ha habido un progreso rápido en el procesamiento del lenguaje natural (NLP) y tecnologías relacionadas. Sin embargo, la mayoría de estos avances se centran en unos pocos idiomas ampliamente utilizados, pasando por alto muchas variaciones que existen dentro de ellos en diferentes áreas y grupos sociales. Es vital entender estas diferencias para poder evaluar cuán bien los sistemas actuales pueden manejar entradas más diversas.

Los idiomas pueden diferir de muchas maneras. En este estudio, nos enfocamos principalmente en variaciones del lenguaje escrito y la gramática, que se pueden evaluar a través de tareas como la traducción automática. Aunque no exploramos las diferencias en la pronunciación, reconocemos su importancia para futuras investigaciones.

Una ilustración clave de los desafíos de traducción que enfrentan los sistemas NMT involucra al italiano. Un sistema de traducción popular puede traducir con precisión el italiano estándar, pero falla al traducir el dialecto de Alassio. Ejemplos así destacan las brechas en el rendimiento de la traducción.

Para medir efectivamente estos desafíos de traducción, necesitamos ejemplos contrastivos donde dos oraciones dialectales compartan el mismo significado. Nuestro trabajo tiene como objetivo llenar este vacío.

#Contribuciones

Nuestro trabajo contribuye en varias áreas clave:

1. Recopilamos datos contrastivos de estudios anteriores sobre dialectos en tres idiomas: italiano (439 variedades), euskera (39 variedades) y alemán suizo (368 variedades).
2. Reutilizamos datos contrastivos de varias fuentes para siete idiomas adicionales: árabe (25 dialectos), occitano (2 variedades), tigrinya (2 variedades), farsi (2 variedades), malayo-indonesio (2 variedades), swahili (2 variedades) y griego (1 variedad).
3. Generamos nuevos datos contrastivos para bengalí (5 dialectos) y kurdo central (4 dialectos).
4. Hicimos un benchmark de estos dialectos usando modelos avanzados de traducción automática, resaltando las diferencias de rendimiento.

#Trabajo Relacionado

La traducción automática es un área central dentro de NLP, con muchos estudios anteriores que buscan mejorar la eficiencia a través de avances recientes en varios tipos de modelos. Sin embargo, sigue existiendo una gran brecha en el desarrollo de modelos efectivos que puedan traducir dialectos y variedades diversas.

Mucha investigación sobre este tema se ha centrado en dialectos árabes, alemanes suizos, kurdos, portugueses y franceses. Un desafío clave es recopilar suficientes datos de traducción y crear conjuntos de datos apropiados. Esfuerzos pasados explorando la traducción de dialectos menos representados han recibido algo de atención, pero muchas áreas aún necesitan desarrollo.

Dada la falta de benchmarks para evaluar la traducción a través de dialectos, nuestra investigación busca proporcionar uno, con el objetivo de medir el rendimiento de los modelos de traducción automática en estas diferencias dialectales.

#El Benchmark

Para nuestro benchmark, comparamos oraciones de una variante del idioma estándar con aquellas de una variante dialectal, llamándolas contrastivas. Este método de Contraste, ampliamente utilizado en estudios dialectales, enfatiza las diferencias en lugar de las similitudes.

Como esta área de investigación es relativamente nueva, utilizamos tres estrategias principales para construir nuestros conjuntos de datos:

• Reutilizamos datos existentes de estudios dialectales para euskera, italiano, alemán suizo y occitano central.
• Realizamos traducciones manuales por hablantes nativos para bengalí, griego moderno y kurdo central.
• Recopilamos datos existentes para árabe, farsi, malayo-indonesio, tigrinya y swahili.

#Utilizando Conjuntos de Datos Existentes

Ya se ha trabajado en proporcionar ejemplos contrastivos para algunas variedades de idioma. Algunos de estos fueron creados para estudios dialectales anteriores, mientras que otros provienen de diferentes iniciativas de traducción.

#Recolección de Atlas Sintácticos

Los investigadores han recopilado tradicionalmente datos dialectales a través de cuestionarios diseñados para capturar cómo se expresaría una oración en cada dialecto. Este método permite una rica recopilación de datos y análisis comparativo. Aunque la mayoría de los idiomas han recibido poca atención, se han hecho algunos esfuerzos notables, especialmente dentro de los idiomas europeos.

#Creación de Nuevos Datos

Para varios idiomas, incluyendo kurdo central, bengalí y occitano, no pudimos encontrar datos contrastivos existentes, así que creamos pequeños benchmarks de evaluación a través de recolección de datos en línea y divulgación.

#Idiomas Incluidos

Los idiomas incluidos en nuestro benchmark son:

• Variedades de Euskera: Los datos provienen de la Base de Datos Sintáctica del Euskera, cubriendo 39 variantes.
• Variedades de Italiano: Tomados del Atlas Sintáctico Italiano, representando 439 dialectos en Italia.
• Variedades de Alemán Suizo: Datos extraídos del Atlas Sintáctico de Suiza Alemana, con 368 variantes.
• Vernáculos Árabes: Usando datos del corpus MADAR, con variedades de 25 ciudades.
• Tigrinya: Datos recopilados del conjunto de datos TICO-19, comparando variedades eritreas y etíopes.
• Farsi y Dari: Usando el conjunto de datos TICO-19 para traducciones.
• Malayo e Indonesio: Datos extraídos del conjunto de datos TICO-19, comparando los dos idiomas estrechamente relacionados.
• Swahili: Variedades costeras y congoleñas del conjunto de datos TICO-19.
• Variedades de Bengalí: Los datos incluyen cinco dialectos de diferentes regiones de Bangladesh.
• Variedades de Kurdo Central: Enfocándose en dialectos de regiones en Irán e Irak.

#Evaluando Sin Referencias

Para evaluar sistemas de traducción automática entre dialectos, podemos comparar salidas con una traducción estándar. Aun sin traducciones de referencia creadas por humanos, todavía podemos analizar la solidez de estos sistemas.

#Notas Importantes de Implementación

En nuestro análisis, medimos el rendimiento usando dos métricas: BLEU y COMET. BLEU evalúa las traducciones basándose en coincidencias de n-gramas, mientras que COMET proporciona una comprensión más matizada al usar un modelo de lenguaje multilingüe. Estos métodos nos dan una forma cuantificable de ver cuán bien los sistemas manejan dialectos en comparación con traducciones estándar.

#Resultados y Análisis

Hicimos un benchmark a sistemas de traducción automática evaluando dialectos en varios idiomas, con especial atención al inglés como idioma de destino. Nuestros resultados se basan en cuatro modelos de diferentes tamaños capaces de traducir entre 200 idiomas.

#Análisis Cuantitativo

Los resultados cuantitativos mostraron diferencias distintas en el rendimiento entre variedades de idiomas. Las variantes de tigrinya exhibieron diferentes puntuaciones, resaltando los desafíos que enfrentan al traducir dialectos. Otros idiomas, incluyendo farsi y dari, tuvieron un rendimiento similar, sugiriendo que los modelos pueden soportar dialectos con suficientes datos de entrenamiento.

#Análisis Cualitativo

Un factor vital que afecta a los sistemas de traducción automática es la diversidad en vocabulario y gramática entre los dialectos. El proceso de estandarización de muchos idiomas a menudo lleva a descuidar las variaciones regionales, lo que dificulta que los sistemas de traducción funcionen bien con dialectos no estándar.

#Trabajo Futuro

Este trabajo revela la falta de apoyo para varios dialectos lingüísticos en los sistemas de traducción automática. Algunos dialectos tienen mejor rendimiento mientras que otros luchan, enfatizando la necesidad de más investigación en esta área. El desarrollo de más conjuntos de datos de entrenamiento para dialectos debería ser una prioridad, permitiendo un mejor rendimiento de la traducción automática.

#Conclusión

Este estudio destaca las brechas en la calidad de traducción entre dialectos. Mientras que algunos dialectos muestran puntuaciones impresionantes, muchos siguen estando subrepresentados. Abordar estas disparidades es crucial para asegurar un acceso equitativo a la traducción de idiomas, subrayando la importancia de desarrollar mejores modelos para las variaciones dialectales.