Avances en Traducción Automática con Modelos de Lenguaje Paralelos

Los Modelos de Lenguaje Grande (LLMs) han mejorado mucho en varias tareas que implican procesar el lenguaje humano. Una de estas tareas es la traducción automática, que consiste en traducir texto de un idioma a otro. En el pasado, entrenar estos modelos a menudo dependía de métodos que implicaban muchos pasos, como ajustar instrucciones o entrenar el modelo repetidamente. Sin embargo, no se ha investigado mucho sobre qué tan bien pueden funcionar los LLMs cuando se entrenan solo con datos que emparejan textos en diferentes idiomas.

En este estudio, presentamos un nuevo tipo de modelo llamado Modelo de Lenguaje Paralelo. Esta colección incluye tres versiones diferentes de LLMs, cada una con 2 mil millones de parámetros y usando diferentes tamaños de vocabulario: 32k, 128k y 256k. Estos modelos están entrenados específicamente en ejemplos que conectan el idioma catalán con otros ocho idiomas. Nuestros modelos muestran un rendimiento similar a sistemas anteriores que usaban una estructura diferente (codificador-decodificador) para traducir entre 16 pares de idiomas conocidos y 56 pares de idiomas que el modelo no ha visto antes. A través de estos modelos, analizamos de cerca cuán bien pueden traducir los LLMs, cómo diferentes partes de los prompts afectan su rendimiento y cómo representan diferentes idiomas.

#Antecedentes de Traducción Automática Neural

La Traducción Automática Neural (NMT) generalmente usa dos componentes: un codificador y un decodificador. El codificador lee el texto de origen y el decodificador produce el texto de destino, confiando en la información que recibe del codificador. Recientemente, los investigadores han estado mirando modelos que solo usan la parte del decodificador. En estos modelos, el texto de origen sirve como un prompt, lo que simplifica el proceso ya que ya no necesitamos un codificador separado.

El creciente interés en los LLMs ha llevado a más estudios enfocados en aplicar estos modelos a tareas de traducción. Se han utilizado técnicas como el ajuste de prompts y el ajuste fino de instrucciones para adaptar los LLMs a la traducción, y aunque estas técnicas han logrado buenos resultados, surgen preguntas sobre qué tan bien funcionarían estos modelos si se entrenaran solo con datos emparejados.

Nuestra investigación tiene como objetivo responder algunas de estas preguntas al entrenar LLMs con datos paralelos para evaluar su rendimiento en traducción automática. Queremos saber específicamente: ¿cómo se desenvuelven los LLMs entrenados solo con datos emparejados en tareas de traducción? ¿Qué tan efectivamente utilizan la información del prompt para crear traducciones precisas?

#Contribuciones

Ofrecemos dos contribuciones principales en este trabajo. Primero, presentamos el Modelo de Lenguaje Paralelo, que consiste en tres LLMs multilingües diferentes entrenados desde cero usando texto emparejado centrado en el catalán. Cada versión tiene un tamaño de vocabulario diferente: 32k, 128k y 256k. Estos modelos se desempeñan bien tanto en tareas de traducción supervisadas como en escenarios de cero disparo, lo que significa que pueden traducir sin haber visto esos pares de idiomas específicos durante el entrenamiento.

En segundo lugar, analizamos cómo estos modelos hacen traducciones al examinar cómo usan la información del contexto. Nuestros experimentos revelan patrones de atención únicos a través de diferentes capas del modelo y cómo las variaciones en los prompts afectan el rendimiento. También identificamos que cuando falta la etiqueta del idioma de origen, el rendimiento varía significativamente entre los idiomas. Como resultado secundario, proponemos un método para eliminar ciertas cabezas de atención en el modelo sin afectar significativamente su rendimiento. También estudiamos cómo el modelo representa los idiomas a través de sus capas de atención.

#Conjunto de Datos Centrado en el Catalán

Para investigar las capacidades de traducción en modelos solo de decodificador, usamos un conjunto de datos centrado en el catalán. Este conjunto incluye pares de oraciones en catalán y otros ocho idiomas: español, francés, italiano, portugués, gallego, alemán, inglés y euskera. Para cada idioma, tenemos direcciones de traducción hacia y desde el catalán. Nuestro conjunto de datos consiste en 783.6 millones de oraciones, que suman más de 30 mil millones de palabras.

#Preprocesamiento de Datos

Comenzamos filtrando los datos con una herramienta llamada LaBSE. Este paso asegura que eliminemos traducciones incorrectas. Luego, procedemos a eliminar entradas duplicadas y normalizar la puntuación usando otra herramienta llamada Bifixer. Más detalles sobre el conjunto de datos se proporcionan en un apéndice.

#Tokenización y Estrategia de Prompts

Investigaciones anteriores han demostrado que tener palabras en el vocabulario que se superpongan puede impactar significativamente en el rendimiento de traducción. En nuestro caso, entrenamos tres tokenizadores con diferentes tamaños de vocabulario (32k, 128k y 256k) usando BPE, que es un método de tokenización. Nuestro objetivo es evaluar cómo el tamaño del vocabulario influye en la calidad de la traducción, especialmente en escenarios donde el modelo no ha sido entrenado directamente en un par de idiomas particular.

Para nuestros tokenizadores, elegimos equilibrar la representación de diferentes idiomas en nuestros datos de entrenamiento, asegurando que tengamos ejemplos adecuados de cada idioma. Entrenamos un modelo para cada uno de los tres tamaños de tokenizador, usando la misma arquitectura que un modelo previamente establecido llamado Gemma 2B.

#Configuración de Entrenamiento

Todos los modelos se entrenan con una ventana de contexto de 2048 tokens, utilizando un método de optimización específico conocido como el optimizador Adam, y nos enfocamos en el proceso de aprendizaje predecible conocido como modelado de lenguaje causal. Vale la pena mencionar que el objetivo principal de esta investigación es evaluar cuán efectivamente pueden traducir los LLMs, en lugar de lograr el mejor rendimiento posible.

#Evaluación de la Calidad de Traducción

Para evaluar la calidad de la traducción, usamos varias métricas, incluyendo puntuaciones BLEU y COMET-22. También empleamos un método llamado TowerEval para calcular métricas de evaluación. Para generar traducciones, utilizamos un método de búsqueda conocido como búsqueda en haz, limitando la longitud de las traducciones a 512 tokens.

Nuestros modelos se comparan con modelos bilingües y multilingües, incluido un modelo de codificador-decodificador de transformador con un amplio rango de soporte de idiomas y modelos bilingües especializados entrenados en pares de idiomas específicos.

#Resumen de Resultados

#Rendimiento en Traducciones Supervisadas y de Cero Disparo

Los resultados muestran que los tres modelos de tokenizador diferentes (32k, 128k y 256k) tienen un rendimiento comparable en tareas de traducción supervisadas, obteniendo puntuaciones similares en métricas de evaluación en varios conjuntos de datos. En escenarios de Traducción de cero disparo, aunque los modelos tienen un rendimiento ligeramente peor en comparación con las direcciones supervisadas, aún exhiben un nivel respetable de capacidad de traducción. El modelo con el tamaño de vocabulario más grande (256k) logra puntuaciones notables en tareas de cero disparo, lo que indica que puede traducir de manera efectiva, incluso cuando no ha sido entrenado directamente en pares específicos.

#Importancia del Tamaño del Vocabulario

Descubrimos que tener un tamaño de vocabulario más grande generalmente conduce a una mejor calidad de traducción de cero disparo. Nuestro análisis indica una relación positiva entre la superposición de palabras de vocabulario en los idiomas de origen y de destino y el rendimiento general de la traducción. Esta observación sugiere que la superposición de vocabulario juega un papel crucial, especialmente cuando los tamaños de vocabulario son más pequeños.

#Entendiendo el Comportamiento del Modelo

Para entender cómo los LLMs realizan traducciones, examinamos qué partes del prompt son significativas para la atención del modelo. Esto nos permite identificar las cabezas de atención que son más importantes para diferentes secciones del prompt. Analizamos cómo evolucionan las representaciones de idioma del modelo a través de sus capas observando los embeddings de tokens contextuales.

#Mecanismos de Atención

Calculamos la cobertura de atención para tokens específicos a través de diferentes capas. La cobertura promedio indica cuánto atención recibe cada parte del prompt durante el proceso de traducción. Nuestros hallazgos sugieren que la etiqueta del idioma de origen recibe la menor atención en comparación con otras partes del prompt, lo que lleva a impactos variables en el rendimiento de la traducción cuando falta esta etiqueta.

#Redundancia en las Cabezas de Atención

Exploramos la redundancia en las cabezas de atención, que se pueden eliminar sin disminuir el rendimiento del modelo. Al enmascarar las cabezas de atención que no contribuyen significativamente a la calidad de la traducción, podemos mantener la efectividad de la traducción mientras simplificamos el modelo.

#Espacios de Representación de Idiomas

Investigamos cómo el modelo aprende a representar diferentes idiomas a través de sus capas. Inicialmente, las distancias entre representaciones de idiomas son relativamente altas, pero a medida que avanzamos más en el modelo, estas distancias disminuyen, lo que indica que el modelo mejora su comprensión de las relaciones entre idiomas.

#Visualizando la Representación de Idioma

Para visualizar cómo evolucionan las representaciones de tokens, utilizamos técnicas como UMAP para mapear embeddings de tokens en dimensiones más bajas. Nuestras visualizaciones revelan que, aunque los embeddings permanecen neutrales en idioma a través de las capas, comienzan a agruparse por idioma de origen en la capa final.

#Conclusión y Trabajo Futuro

Este estudio muestra con éxito que se puede entrenar un LLM para tareas de traducción utilizando solo datos paralelos. Los resultados son comparables a los sistemas de traducción existentes, lo que indica la efectividad de nuestro enfoque. Los tamaños de vocabulario más grandes parecen mejorar la calidad de traducción, sugiriendo que la investigación futura debería centrarse en vocabularios aún más grandes o específicos de idiomas.

También hemos identificado áreas clave para futuras exploraciones, incluyendo el análisis de la relevancia de cabezas de atención específicas y la optimización de tamaños de vocabulario. Nuestros hallazgos proporcionan una base para una mayor investigación en traducción automática utilizando LLMs entrenados exclusivamente con datos emparejados, avanzando hacia una mejor comprensión de sus capacidades y limitaciones.

#Limitaciones

Aunque nuestra investigación ofrece valiosas perspectivas, es esencial considerar ciertas limitaciones. El conjunto de datos utilizado se centra principalmente en idiomas occidentales con escritura latina, lo que puede afectar la generalizabilidad de nuestros hallazgos a otras familias de idiomas. Además, la influencia de escalar el tamaño del modelo y la disponibilidad de datos en el rendimiento de la traducción queda por explorar en estudios futuros.

#Perspectivas Adicionales

En nuestros experimentos, también investigamos cómo diferentes modelos y configuraciones impactaron las capacidades de traducción. Documentamos la efectividad de varias estrategias de tokenización y su rendimiento resultante en tareas de traducción. La capacidad de nuestros modelos para manejar una amplia gama de idiomas y escenarios de traducción sugiere potencial para aplicaciones prácticas en necesidades de traducción del mundo real.

En general, esta investigación marca un avance en la comprensión de cómo se pueden aplicar los LLMs a tareas de traducción utilizando datos paralelos, allanando el camino para desarrollos en esta creciente área de estudio.