Nuevos Modelos de Lenguaje Mejoran la Accesibilidad del Gallego

Los modelos de lenguaje han cambiado cómo manejamos tareas que involucran el lenguaje. Pueden generar texto y entenderlo con una precisión impresionante. Sin embargo, la mayoría de estos modelos usan el inglés como su idioma principal, lo que lleva a problemas para otros idiomas, especialmente aquellos con menos hablantes, como el gallego. Esta situación puede dificultar que los hablantes de esos idiomas accedan a la tecnología que el resto del mundo da por sentado.

Para abordar esto, se han creado dos modelos nuevos específicamente para el idioma gallego. Estos son Modelos Generativos, lo que significa que pueden crear nuevo texto basado en los patrones aprendidos de texto existente. Están disponibles de forma gratuita y buscan mejorar el uso del gallego en la tecnología.

#Por qué el Gallego es Importante

El gallego es un idioma romance que se habla en el noroeste de España. Es similar al portugués y tiene una rica historia cultural. A pesar de esto, el gallego ha enfrentado desafíos debido a recursos limitados en tecnología y medios. Al desarrollar modelos de lenguaje específicamente para el gallego, esperamos apoyar su uso en varias aplicaciones como traducción y creación de contenido, haciendo que la tecnología sea accesible para más personas.

#El Problema con los Modelos de Lenguaje Actuales

Los modelos de lenguaje a menudo se entrenan con enormes cantidades de texto, principalmente en inglés. Esto lleva a sesgos donde los modelos funcionan bien en inglés pero mal en idiomas con menos datos. La falta de representación diversa de idiomas puede marginar a los idiomas más pequeños, creando una brecha donde los hablantes de estos idiomas no pueden beneficiarse de los avances en tecnología.

En el caso del gallego, la falta de Datos de Entrenamiento ha resultado en una brecha de rendimiento significativa. Para abordar este problema, los nuevos modelos se centran en construir recursos específicamente para el idioma gallego.

#Creando los Nuevos Modelos

Los dos nuevos modelos se desarrollaron utilizando un método llamado preentrenamiento continuo. Este método permite ajustar modelos existentes entrenados en conjuntos de datos más grandes para adaptarlos al idioma gallego. En lugar de empezar desde cero, lo que requeriría enormes cantidades de datos, estos modelos adaptan el conocimiento de modelos anteriores.

Los dos modelos se entrenaron en un conjunto de datos combinado de 2.1 mil millones de palabras extraídas de texto gallego existente. Este conjunto de datos, conocido como CorpusNÓS, es la colección más grande de textos abiertos en gallego y incluye una variedad de géneros.

#Cómo se Construyeron los Modelos

Para crear estos modelos, se utilizó una arquitectura bien establecida conocida como GPT (Transformador Generativo Preentrenado). Esta arquitectura permite la generación efectiva de texto basada en patrones presentes en los datos de entrenamiento. Los modelos constan de 1.3 mil millones de parámetros, que son componentes que ayudan al modelo a aprender de los datos de entrada.

Antes de entrenar los modelos, se desarrolló un nuevo tokenizador específicamente para el idioma gallego. Un tokenizador es una herramienta que descompone el texto en unidades más pequeñas, ayudando al modelo a entender y procesar mejor el idioma. Este nuevo tokenizador se entrenó con texto gallego, asegurando que se capturaran las características específicas del idioma de manera efectiva.

#Proceso de Entrenamiento

El entrenamiento implicó ajustar modelos existentes que ya entendían varios idiomas. Al enfocarse en idiomas estrechamente relacionados con el gallego, como el español y el catalán, el proyecto buscó maximizar la eficiencia del aprendizaje para el idioma gallego.

Una vez que los modelos se inicializaron con los pesos correctos, comenzaron los procedimientos de entrenamiento estándar. Esto involucró usar el corpus gallego preparado para permitir que los modelos aprendieran de los nuevos datos de idioma.

#Evaluación de los Modelos

Después del entrenamiento, los modelos pasaron por una evaluación rigurosa para asegurar su rendimiento. Esta evaluación utilizó dos enfoques principales: evaluación humana y evaluaciones automatizadas basadas en tareas.

#Evaluación Humana

Para la evaluación humana, un grupo de lingüistas expertos revisó las salidas generadas por los modelos. Identificaron diferentes tipos de errores encontrados en el texto generado, incluyendo:

• Error de Forma: Problemas con gramática o puntuación.
• Error de Contenido: Significado que no se alinea con el contexto.
• Error de Registro: Inconsistencias en el estilo o tono del texto.
• Contenido Repetitivo: Repetición innecesaria de palabras o frases.
• Contenido Inapropiado: Inclusión de lenguaje dañino u ofensivo.
• Error Factual: Información incorrecta presentada en el texto.

Los resultados mostraron que la mayoría de los errores se clasificaron en las categorías de error de forma y error de contenido. Los evaluadores humanos encontraron que, aunque los modelos producían texto significativo, aún había áreas que mejorar.

#Evaluación Basada en Tareas

Junto con la evaluación humana, los modelos fueron evaluados a través de evaluaciones basadas en tareas utilizando estándares. Estos criterios probaron los modelos en varias tareas como comprensión, respuesta a preguntas y coherencia del texto.

Los resultados indicaron que los nuevos modelos gallegos tenían un mejor rendimiento que modelos genéricos que no fueron entrenados específicamente en gallego. Sin embargo, el rendimiento en general fue modesto, lo que indica la necesidad de un trabajo continuo para mejorar las capacidades de los modelos.

#Direcciones Futuras

El trabajo continuo se centrará en varias áreas clave:

1. Modelos Más Grandes: Crear modelos más grandes y potentes para mejorar aún más el rendimiento.
2. Conjuntos de Datos de Instrucción: Desarrollar conjuntos de datos diseñados específicamente para instruir a los modelos en gallego, permitiéndoles entender mejor las tareas.

Al continuar trabajando en estas áreas, se espera que el gallego pueda convertirse en una parte más integral de la tecnología y los recursos digitales, ayudando a cerrar la brecha entre los idiomas bien dotados y aquellos con menos recursos.

#Conclusión

El desarrollo de modelos de lenguaje generativos para el gallego representa un paso significativo hacia la mejora del acceso a la tecnología para los hablantes de este idioma. Al abordar la histórica falta de representación en los modelos de lenguaje, estos esfuerzos buscan proporcionar acceso igualitario a los recursos, permitiendo que los hablantes de gallego se beneficien de los avances en el procesamiento del lenguaje natural.

A medida que el panorama de la tecnología del lenguaje sigue evolucionando, es crucial asegurarse de que todos los idiomas, independientemente del número de hablantes, tengan las herramientas para prosperar en la era digital. El trabajo continuo en estos modelos busca contribuir a esta visión inclusiva.