Modelos multilingües y perspectivas sobre el comportamiento de lectura

Cuando la gente lee, el movimiento de sus ojos se ve afectado por lo complicadas que son las oraciones. Esta idea se aplica a diferentes idiomas. Investigaciones recientes muestran que los modelos de lenguaje, que pueden leer varios idiomas, pueden usar las similitudes en las estructuras de las oraciones para entender mejor diferentes lenguas. Este estudio examina cómo los movimientos de los ojos de las personas al leer pueden revelar cuán complejas son las oraciones. Encontramos que un modelo multilingüe llamado XLM-RoBERTa puede predecir los Movimientos Oculares para 13 idiomas diferentes, aunque solo se entrenó con datos en inglés.

Medimos cuán sensible es este modelo a la complejidad de las oraciones y descubrimos que se enfoca mucho en la longitud de las oraciones, pero también tiene en cuenta las diferencias entre los idiomas. Para probar esto más a fondo, realizamos un experimento mezclando el orden de las palabras en las oraciones. Los resultados mostraron que el modelo puede captar información estructural aún más detallada sobre las oraciones.

El mundo tiene alrededor de 7,000 idiomas diferentes, cada uno con características únicas. La mayoría de las investigaciones sobre cómo las personas procesan el lenguaje provienen de un pequeño número de idiomas relacionados de la familia indoeuropea. Recientemente, algunos investigadores han comenzado a estudiar cómo diferentes idiomas procesan información en el cerebro, revelando tanto rasgos comunes como diferencias únicas.

En tecnología del lenguaje, los Modelos multilingües están diseñados para tareas como traducir entre idiomas o encontrar información a través de idiomas. Estos modelos se entrenan en muchos idiomas a la vez y no consideran específicamente las diferencias entre ellos. Aun así, estos modelos están logrando resultados impresionantes, incluso cuando no han visto ciertos idiomas antes.

La capacidad de usar el conocimiento de un idioma para entender otro se ha asociado con el vocabulario compartido entre idiomas, lo que ayuda a reutilizar raíces comunes en lenguas que pertenecen a la misma familia. Sin embargo, investigaciones han demostrado que compartir vocabulario no es necesario para transferir conocimientos entre idiomas. En cambio, las similitudes en la estructura entre los idiomas juegan un papel mucho más importante en cómo estos modelos funcionan.

Cuando los humanos leen oraciones, encuentran diferentes niveles de complejidad. Los datos de movimiento ocular pueden darnos ideas sobre el procesamiento cognitivo involucrado en la lectura, rastreando cuánto tiempo las personas miran ciertas palabras y con qué frecuencia necesitan volver a leer partes del texto. Por ejemplo, las oraciones que son más difíciles de entender a menudo generan más regresiones en el movimiento ocular.

A un nivel básico, los patrones de movimiento ocular difieren entre idiomas debido a elementos visuales como la forma de la escritura. Por ejemplo, el sistema de escritura chino es más denso que el sistema alfabético, lo que lleva a fijaciones más largas de los ojos. Sin embargo, los patrones de lectura más profundos parecen ser similares entre lenguas, como lo demuestra la velocidad de lectura que es consistente para contenido emparejado en idiomas como chino, inglés y finlandés.

Estudios previos han demostrado que los modelos de lenguaje basados en inglés pueden captar la complejidad de las estructuras de las oraciones de manera más efectiva cuando son reentrenados con Datos de seguimiento ocular del inglés. Algunos investigadores argumentan que las similitudes entre idiomas no están fuertemente representadas en modelos multilingües. Sin embargo, estos modelos han podido predecir patrones de movimiento ocular incluso para idiomas en los que no fueron entrenados, lo que sugiere una capacidad general para aprender cómo la complejidad de las oraciones se relaciona con los movimientos oculares.

Nuestra investigación examina si el modelo XLM-R es sensible a los patrones de complejidad estructural que se encuentran en los datos de seguimiento ocular. Usamos un nuevo Corpus Multilingüe de Seguimiento Ocular, que consiste en datos de 13 idiomas diferentes, para analizar la sensibilidad del modelo a las características estructurales de las oraciones. Esta configuración nos ayuda a asegurarnos de que nuestros hallazgos no estén influenciados por diferencias en el significado o el tamaño de los datos.

Demostramos que el modelo XLM-R podía predecir patrones de movimiento ocular para los 13 idiomas mientras solo se entrenaba con datos en inglés. Nuestros hallazgos sugieren que el modelo tiende a enfocarse en la longitud de las oraciones, pero también incorpora diferencias entre idiomas. Para analizar más cómo es sensible el modelo a las características estructurales, examinamos su última capa en busca de características de complejidad. Nuestro experimento de control con palabras mezcladas indicó que el modelo también capta información estructural más intrincada.

#Trabajo Relacionado

Hablamos de descubrimientos recientes sobre la importancia de la información estructural en modelos multilingües y explicamos cómo los datos de seguimiento ocular pueden servir como una buena manera de medir la complejidad del procesamiento cognitivo.

Varios modelos multilingües grandes como mBERT y XLM-R se entrenan en muchos idiomas a la vez. Algunos estudios muestran que este método conduce a un fuerte rendimiento en las tareas de lenguaje gracias a un vocabulario compartido. Otras investigaciones afirman que la capacidad de estos modelos para generalizar no puede atribuirse solo a memorizar vocabulario. En cambio, los modelos multilingües parecen utilizar similitudes estructurales entre los idiomas en los que están entrenados, lo que les permite transferir conocimientos de manera más efectiva.

Las similitudes estructurales pueden verse como características compartidas entre idiomas que ayudan a los modelos de lenguaje multilingües a desempeñarse mejor. Si bien algunos estudios sugieren que la similitud estructural está débilmente representada en estos modelos, otros han encontrado que estas similitudes se correlacionan estrechamente con qué tan bien el modelo puede procesar idiomas.

Estudios recientes muestran que los modelos de lenguaje multilingües responden a las características estructurales de las oraciones al predecir patrones de movimiento ocular. Algunos investigadores encontraron una conexión entre cuán fácil es leer un texto y cuán precisamente los movimientos oculares pueden ser predichos por modelos multilingües. La sensibilidad a estas características estructurales aumenta cuando se añaden datos de seguimiento ocular a estos modelos.

Nuestro objetivo es probar explícitamente cuán sensibles son los modelos multilingües a diferentes características estructurales y si esta sensibilidad mejora al predecir datos de seguimiento ocular. Ampliamos análisis previos para cubrir un rango más amplio de idiomas de varias familias lingüísticas.

#Corpus Multilingüe de Seguimiento Ocular

El Corpus Multilingüe de Seguimiento Ocular consiste en datos de seguimiento ocular relacionados con la lectura en 13 idiomas. Los materiales de lectura incluyen 12 textos cortos estilo Wikipedia, que fueron leídos por participantes en su lengua nativa. Los textos fueron traducidos o emparejados cuidadosamente por temas, géneros y niveles de legibilidad. Cada texto se presentó en una pantalla en el mismo orden en todos los idiomas. El número de participantes varió de 29 a 54 por idioma.

#Configuración Experimental

Usamos aprendizaje multitarea para predecir cuatro métricas clave de seguimiento ocular para las oraciones. Estudios previos han indicado que los patrones de movimiento ocular son más comparables entre idiomas a nivel de oración que a nivel de palabra. Seleccionamos cuatro métricas clave que corresponden a etapas tanto tempranas como tardías del procesamiento de oraciones.

Para cada oración, observamos:

1. Cuenta de fijaciones: Número de veces que los ojos se detuvieron en una oración.
2. Duración total de fijaciones: Tiempo total dedicado a mirar la oración.
3. Duración del primer pase: Tiempo tomado en la primera lectura.
4. Duración de regresión: Tiempo total dedicado a volver a partes de la oración.

Para tener una visión más clara de los patrones de movimiento ocular, promediamos las métricas de seguimiento ocular entre los participantes y ajustamos cada una a una escala uniforme.

#Resultados de Transferencia Cruzada

Nuestros resultados muestran que el modelo puede explicar una parte significativa de la varianza en los patrones de movimiento ocular entre diferentes idiomas. La mayoría de los idiomas obtuvieron puntajes similares en términos de varianza explicada, alcanzando entre 60 y 80 por ciento de precisión. Sin embargo, hubo más variación en los puntajes entre idiomas. Resultados similares se vieron en otras métricas de seguimiento ocular, pero el modelo tuvo más dificultades para predecir la duración de las regresiones.

Para asegurarnos de que no obtuvimos resultados engañosos, hicimos pruebas emparejando aleatoriamente oraciones de entrada con valores de seguimiento ocular de diferentes oraciones. En este arreglo aleatorio, los puntajes siempre fueron negativos.

#Sensibilidad a la Complejidad Estructural

Exploramos cuatro categorías de características a nivel de oración que contribuyen a la complejidad:

1. Longitud
2. Frecuencia
3. Morfo-sintáctica
4. Sintáctica

Encontramos que los valores predichos varían significativamente según la longitud de la oración, que también es un indicador de complejidad estructural. Observamos que aunque la longitud es un fuerte predictor, las características estructurales proporcionan información adicional sobre los patrones de lectura.

#Resumen

En conclusión, nuestro estudio indica que el modelo XLM-R puede predecir efectivamente el comportamiento de lectura en varios idiomas con solo datos de entrenamiento en inglés. Muestra un fuerte enfoque en la longitud de las oraciones pero demuestra sensibilidad a características estructurales más complejas, incluyendo el orden de las palabras y la estructura de dependencia. Las diferencias en el rendimiento dependiendo de los datos de prueba en dominio y fuera de dominio enfatizan la importancia de las características de los datos al evaluar la capacidad del modelo para generalizar entre idiomas.

Investigaciones futuras buscarán abordar mejor la influencia de las diferencias individuales de los lectores y refinar el modelo predictivo. La consideración de predicciones a nivel de oración y de palabra puede mejorar la comprensión del modelo sobre diversas características lingüísticas en trabajos futuros.

Este estudio revela la promesa de los modelos multilingües en la comprensión del procesamiento cognitivo a través de idiomas, pero aún hay mucho más por aprender, especialmente considerando la disponibilidad limitada de datos de seguimiento ocular en muchos idiomas.