Documentando Lenguas en Peligro de Extinción con IGT

Muchas lenguas alrededor del mundo están en riesgo de desaparecer. Esta pérdida representa una amenaza seria para la diversidad cultural y la identidad. Una forma de ayudar a estas lenguas es a través de un método llamado Texto interlineal glosado (IGT). IGT implica una manera detallada de escribir el lenguaje hablado, que puede ayudar en documentar y crear recursos para las comunidades que hablan estas lenguas. Generalmente incluye cuatro partes: transcripciones, segmentación morfológica, glosas y traducciones libres a un lenguaje más hablado.

Este artículo presenta una nueva tarea enfocada en extraer automáticamente estos cuatro componentes del lenguaje hablado. Para apoyar esta tarea, se ha creado un nuevo conjunto de datos. Este conjunto contiene grabaciones de habla, completas con las anotaciones necesarias para 37 lenguas diferentes, todo organizado de manera estándar.

#La Importancia de Documentar Lenguas en Peligro

Muchas lenguas están desvaneciéndose a medida que los hablantes cambian a lenguas más dominantes. La documentación de estas lenguas es crucial para preservar el patrimonio cultural. Implica grabar el lenguaje hablado, transcribirlo, traducirlo y añadir otras formas de anotaciones. El objetivo final es tener registros completos que se puedan usar para fines educativos e informativos.

IGT se usa mucho en el campo de la lingüística documental. La mayoría del IGT sigue convenciones específicas que ayudan a los lingüistas y maestros a entender la conexión entre la forma y la función del lenguaje. Sin embargo, muchas grabaciones de campo no se convierten en IGT. Transcribir solo el audio, por ejemplo, puede tomar mucho tiempo. Añadir anotaciones extra hace que el proceso sea aún más largo, lo que impide que muchas grabaciones se documenten completamente.

#Resumen de IGT

IGT incluye varios elementos importantes. Estos elementos son:

1. Transcripción (wd): Esta es la versión escrita de las palabras habladas, sin ninguna segmentación.
2. Representación Subyacente (ur): Esta sirve como la forma fundamental del lenguaje, mostrando la estructura debajo de la superficie.
3. Representación Superficial (sr): Esta muestra cómo suena el lenguaje cuando se habla.
4. Glosa (gl): Esta proporciona una explicación palabra por palabra de los elementos, ayudando a aclarar el significado.
5. Traducción Libre (tr): Esta traduce el texto a un lenguaje más comúnmente hablado para una mejor comprensión.

Estos elementos trabajan juntos para ofrecer una vista completa del lenguaje hablado y su significado.

#Desafíos en la Documentación del Lenguaje

Crear IGT a partir de grabaciones de campo es un desafío. El tiempo requerido para la transcripción por sí solo puede ser extenso. Este cuello de botella impide que muchas grabaciones se utilicen completamente. Aunque los lingüistas no pueden cambiar los factores que llevan al peligro de las lenguas, los avances en tecnología pueden ayudar a documentar estas lenguas de manera más efectiva.

Por ejemplo, crear herramientas que aceleren el proceso de transcripción puede ayudar significativamente a documentar lenguas en peligro. Los investigadores en el campo de procesamiento de voz y lenguaje natural pueden desempeñar un papel importante en desarrollar estas tecnologías. Hacer esto apoyaría el trabajo de lingüistas y activistas comunitarios que están luchando por grabar y preservar estas lenguas.

#Soluciones Propuestas

Se ha propuesto una nueva tarea que se centra en generar IGT directamente a partir del habla grabada. Esta tarea funcionará tomando el lenguaje hablado como entrada y produciendo anotaciones alineadas para transcripción, representación subyacente, glosas y traducción. Se ha creado el primer conjunto de datos específicamente diseñado para esta tarea, que contiene archivos de audio y anotaciones de IGT.

El conjunto incluye habla de 37 lenguas diferentes, recopiladas de varios archivos de datos lingüísticos. El objetivo es proporcionar un formato estándar y divisiones claras para entrenamiento, desarrollo y pruebas.

#Beneficios del Nuevo Conjunto de Datos

Este nuevo conjunto de datos apoyará varias actividades clave:

1. Predicción de Transcripción: Ayudará a generar versiones escritas precisas del lenguaje hablado.
2. Predicción de Representación Subyacente: Ayudará a entender la forma central del lenguaje.
3. Glosado y Traducción: Facilitara la comprensión palabra por palabra del lenguaje y proporcionará traducciones accesibles para hablantes de lenguas dominantes.

Este enfoque estructurado permite a la comunidad investigadora participar activamente en la tarea de documentación del lenguaje.

#Recolección y Procesamiento de Datos

El conjunto de datos incluye muchas lenguas, cada una con sus propios desafíos. Las lenguas seleccionadas tienen tanto audio como anotaciones de IGT. Esta selección implicó revisiones exhaustivas para garantizar la calidad. El proceso inicial se centró en reunir datos de fuentes que tienen una rica colección de grabaciones lingüísticas.

Los conjuntos seleccionados incluyen:

1. DoReCo: Ofrece transcripciones alineadas por tiempo para lenguas con pocos recursos.
2. Multi-CAST: Una colección de habla anotada de varias lenguas.
3. INEL: Se centra en la documentación de lenguas indígenas.
4. COCOON: Un gran repositorio de datos lingüísticos de diferentes investigadores.

Cada uno de estos recursos fue cuidadosamente revisado para asegurar que cumpliera con los requisitos necesarios para su inclusión en el nuevo conjunto de datos.

#Formateo y Anotación de Datos

Los datos anotados pueden tomar muchas formas. La mayoría de los datos en el nuevo conjunto proviene de formatos basados en XML, particularmente ELAN. Este formato organiza las anotaciones en diferentes niveles, permitiendo una alineación temporal fácil con el audio. Las anotaciones incluyen partes esenciales como:

• Forma subyacente
• Forma superficial
• Transcripción
• Glosa
• ID único

El proceso de recolección de datos incluyó la conversión de archivos de audio a un formato estándar y la organización de las anotaciones de manera que simplifique el procesamiento.

#División del Conjunto de Datos

Una vez recopilados los datos, se necesitaba dividir en conjuntos de entrenamiento, desarrollo y prueba. Esto se hizo para mantener el contexto de cada grabación, asegurando que los modelos desarrollados pudieran interpretar la información con precisión.

Las divisiones se basaron en el número de enunciados disponibles para cada lengua. Dependiendo del número total de enunciados, el conjunto de datos se dividió de la siguiente manera:

1. Menos de 200 enunciados: Todos los datos van al conjunto de prueba.
2. Entre 200 y 1,000 enunciados: El 25% va al conjunto de desarrollo y el resto al conjunto de prueba.
3. Más de 1,000 enunciados: Se asignan números fijos a cada conjunto, asegurando un buen equilibrio para el entrenamiento del modelo.

Este enfoque estructurado ayuda a mantener la calidad de los datos mientras permite un entrenamiento efectivo de los modelos.

#Desarrollo de Modelos de Referencia

Se desarrollaron varios modelos de referencia para facilitar la extracción de IGT del habla. El enfoque estuvo en modelos bien conocidos utilizados en procesamiento de voz y lenguaje natural.

#Modelos de Fin a Fin

Tres de las cuatro tareas involucradas en la generación de IGT comparten similitudes con el reconocimiento automático de voz (ASR). Se adaptaron métodos de entrenamiento estándar utilizados en ASR para trabajar en las predicciones necesarias para IGT.

Se emplearon diferentes tipos de modelos, incluyendo:

1. Modelos Auto-supervisados: Estos modelos aprenden de grandes cantidades de datos sin etiquetar.
2. Modelos Semi-supervisados: Estos modelos utilizan tanto datos etiquetados como no etiquetados para el entrenamiento.

En el caso de los modelos auto-supervisados, se utilizaron WavLM Large y XLS-R-300M. Estos modelos son conocidos por su precisión y eficiencia en tareas multilingües, haciéndolos particularmente adecuados para las diversas lenguas del conjunto de datos.

#Modelos en Cascada

También se exploraron modelos en cascada, donde los mejores modelos de ASR proporcionaron salidas de transcripción que luego se podían introducir en modelos de texto a glosa separados. Se utilizaron dos modelos basados en ByT5 para la última parte del proceso.

Este enfoque permite un mejor manejo de las complejidades involucradas en la generación de IGT, pero puede llevar a desafíos con la propagación de errores. Sin embargo, los resultados preliminares mostraron que este método podría mejorar la precisión de la traducción.

#Resultados y Rendimiento

Los resultados de rendimiento inicial de los modelos mostraron varias tendencias. Por ejemplo, los modelos entrenados en lenguas que habían visto durante el entrenamiento funcionaron mejor que aquellos entrenados en lenguas no vistas. Esta tendencia enfatiza los desafíos enfrentados al tratar con lenguas de pocos recursos.

Además, se encontró que el vocabulario preentrenado tiende a ayudar en las tareas de glosado y traducción. Los modelos de tarea única a menudo superaron a los modelos de múltiples tareas, sugiriendo que separar tareas puede llevar a una mejor precisión general.

#Discusión sobre Desafíos y Trabajo Futuro

Los hallazgos destacan algunos de los desafíos continuos en mejorar la documentación de lenguas en peligro. Aunque ciertos sistemas muestran promesas, el rendimiento de los modelos sigue siendo más bajo de lo deseado en muchas tareas.

El trabajo futuro podría centrarse en mapear todas las transcripciones a un vocabulario compartido, lo que puede minimizar las diferencias entre lenguas. Los investigadores también podrían trabajar en desarrollar modelos que puedan funcionar bien con rendimiento de cero disparos, lo que significa que pueden manejar lenguas que nunca fueron entrenadas explícitamente.

También hay que tener en cuenta consideraciones éticas al trabajar con comunidades lingüísticas de pocos recursos. Los investigadores deben proceder con precaución, respetando los derechos y la privacidad de las personas representadas en los datos.

#Conclusión

En resumen, esta nueva tarea de generar IGT a partir del habla busca apoyar la documentación de lenguas en peligro. La creación de un conjunto de datos estructurado marca un paso importante hacia la comprensión y preservación de estas lenguas. Al desarrollar modelos efectivos, este trabajo tiene como objetivo mejorar la calidad de los recursos disponibles para las comunidades lingüísticas en riesgo de perder su patrimonio cultural.

Esta investigación establece las bases para futuros esfuerzos dirigidos a refinar métodos para la documentación del lenguaje, lo que en última instancia conducirá a una mayor comprensión y apreciación de la diversidad lingüística del mundo.