Nuevo conjunto de datos HAE-RAE evalúa modelos de lenguaje en coreano

Los modelos de lenguaje grandes (LLMs) han demostrado tener habilidades fuertes en varias tareas, principalmente enfocándose en el inglés. Se están haciendo esfuerzos para adaptar estos modelos a otros idiomas, pero no hay suficiente atención en cómo evaluar estos modelos de manera precisa. Los métodos actuales para evaluar modelos de lenguaje a menudo implican traducir pruebas en inglés o usar conjuntos de datos traducidos, lo cual puede que no capture de manera efectiva características culturales y lingüísticas importantes.

Para abordar esta brecha con el idioma coreano, presentamos un nuevo conjunto de datos llamado HAE-RAE Bench. Este conjunto está diseñado para desafiar a los modelos que pueden no entender completamente la cultura o el contexto coreano. Incluye seis tareas en cuatro áreas: vocabulario, historia, conocimiento general y comprensión lectora. A diferencia de los métodos de Evaluación más antiguos que se enfocan en la comprensión básica del lenguaje y la lógica, HAE-RAE Bench prioriza la capacidad de recordar conocimientos específicos e información cultural relacionada con Corea.

El desarrollo de modelos de lenguaje y conjuntos de datos de evaluación ha ido de la mano, ambos volviéndose más avanzados con el tiempo. Sin embargo, la evaluación de habilidades multilingües aún carece de profundidad. La mayoría de las evaluaciones actuales aún se apoyan en versiones traducidas de pruebas existentes en inglés, que no reflejan totalmente la riqueza cultural de diferentes idiomas.

#Trabajo Relacionado

#Modelos de Lenguaje

La introducción de modelos transformadores ha impulsado significativamente la investigación en modelos de lenguaje en inglés, con desarrollos como BERT y GPT liderando el camino. Modelos más recientes como InstructGPT y Flan-T5 han encendido aún más el interés debido a su capacidad para seguir instrucciones. Desde entonces, han surgido varios modelos ajustados a instrucciones. Aunque muchos se centran principalmente en inglés, también se están desarrollando varios modelos para chino y otros idiomas.

Surge una pregunta clave: "¿Cuántos tokens lingüísticos debe entrenar un modelo para crear oraciones coherentes que respeten las normas culturales y gramaticales?" Esta pregunta destaca la necesidad urgente de referencias efectivas que evalúen las capacidades multilingües.

#Evaluación Multilingüe

Junto a los modelos en inglés, también se han introducido referencias multilingües como GLUE y SuperGLUE. A medida que estos crecieron en complejidad, aparecieron referencias aún más grandes. Los métodos de evaluación para modelos no ingleses han seguido un camino similar, sobre todo a través de traducciones de evaluaciones existentes en inglés. Sin embargo, estos métodos a menudo no logran medir el conocimiento nativo dentro de los modelos. Por lo tanto, hay una clara necesidad de herramientas de evaluación que miren específicamente contextos culturales. Los intentos recientes en esta dirección incluyen BHASA, que busca medir la profundidad cultural en idiomas del sudeste asiático. Pero, las limitaciones de estos esfuerzos, como un número reducido de preguntas, destacan la necesidad de evaluaciones más completas.

#Evaluación Coreana

La evaluación de los modelos de lenguaje coreano ha ganado atención, con recursos que han surgido después de los modelos en inglés y chino. Las referencias existentes como Korean-NLI, STS, KLUE y KoBEST tienden a depender mucho de contenido traducido, a menudo perdiendo las características únicas del idioma coreano. Aunque KLUE y KoBEST amplían los tipos de pruebas disponibles, no pueden evaluar completamente modelos específicos del idioma, en gran parte debido a su enfoque en tareas básicas de comprensión del lenguaje en lugar de Conocimiento Cultural.

HAE-RAE Bench ofrece un enfoque nuevo al medir la profundidad del conocimiento en modelos de lenguaje coreano en lugar de solo su comprensión general del idioma o habilidades de razonamiento.

#HAE-RAE Bench

#Descripción General

El enfoque de diseño para HAE-RAE Bench difiere de las herramientas de evaluación coreanas anteriores. Se enfoca no solo en la comprensión o el razonamiento, sino también en la riqueza del conocimiento que posee un modelo. Creemos que entender el vocabulario, la cultura, la geografía y la historia coreanas es crucial para aplicaciones conversacionales. HAE-RAE Bench consta de seis tareas: Palabras Prestadas, Nomenclatura Estándar, Palabras Raras, Conocimiento General, Historia y Comprensión Lectora.

#Palabras Prestadas

Esta tarea examina la capacidad de un modelo para reconocer palabras prestadas-términos tomados de otros idiomas. El modelo necesita seleccionar el equivalente coreano correcto para una palabra extranjera dada entre varias opciones. Usamos términos del Instituto Nacional de Lengua Coreana y los filtramos para uso común, muestreando 200 entradas.

#Nomenclatura Estándar

En esta tarea, los modelos identifican la terminología oficial para términos específicos de la industria proporcionados por NIKL. El objetivo es evaluar la comprensión del modelo sobre el uso del lenguaje estandarizado dentro de varios dominios.

#Palabras Raras

Esta tarea desafía a los modelos sobre su conocimiento de vocabulario coreano menos común. A los participantes se les da una definición y deben elegir la palabra apropiada entre varias opciones, las cuales obtuvimos de un programa de quiz de vocabulario coreano.

#Conocimiento General

Esta tarea evalúa la comprensión de un modelo sobre diversos aspectos de la cultura coreana a través de preguntas de opción múltiple en diferentes categorías, incluyendo ley, tradición, geografía y cultura pop.

#Historia

Los modelos responden preguntas relacionadas con eventos históricos, evaluando su entendimiento de momentos clave en la historia de Corea basado en páginas web curadas.

#Comprensión Lectora

Esta tarea implica que los modelos respondan preguntas basadas en pasajes de lectura en coreano. Los pasajes se obtuvieron de un examen de competencia en lengua coreana.

#Configuración de Evaluación

Evaluamos varios modelos de lenguaje para medir su rendimiento en HAE-RAE Bench. Los modelos se categorizaron en grupos enfocados en coreano, multilingües y centrados en inglés. Excluimos varios modelos que no reportaron información sobre sus tokens de entrenamiento en coreano. Las actuaciones se midieron a través de tasas de precisión en varias configuraciones de preguntas.

#Análisis de Rendimiento

Encontramos que la capacidad de los modelos para responder preguntas correctamente tiende a mejorar con el tamaño del modelo y el número de ejemplos que encuentran. Sin embargo, incluso modelos más grandes como UMT5 y Llama-2 a menudo no se comparan con sus contrapartes enfocadas en coreano de la serie Polyglot-Ko. Esto resalta la importancia del entrenamiento específico del idioma para comprender contextos culturales.

#Tamaño del Modelo y Rendimiento

Nuestro análisis indicó que, aunque el tamaño de un modelo generalmente impacta en su rendimiento, los desafíos específicos planteados por HAE-RAE Bench requieren más que solo tamaño bruto. Muchos factores influyen en cuán bien los modelos pueden responder con precisión a las preguntas, mostrando la complejidad de la comprensión cultural.

#Resultados de GPT-3.5 y GPT-4

También evaluamos modelos populares como GPT-3.5 y GPT-4 en HAE-RAE Bench. Sus puntajes muestran potencial para mejorar, especialmente en áreas con un enfoque más cultural. Aunque estos modelos se desempeñaron bien en las evaluaciones estándar, aún necesitan comprender las sutilezas culturales presentes en las tareas de HAE-RAE.

#Análisis de Errores

Para mejorar desarrollos futuros, analizamos errores comunes cometidos por los modelos durante las pruebas. Este examen reveló que no había sesgo significativo en las elecciones de respuesta, aunque ciertas preguntas podrían haber sido más desafiantes que otras.

#Rendimiento por Subcategoría

Al desglosar los desempeños por subcategorías, los modelos se desempeñaron de manera diferente en cada categoría. Por ejemplo, GPT-4 generalmente superó a Polyglot-Ko-12.8B en la mayoría de los segmentos, pero este último destacó en algunas áreas.

#Conclusión

En este trabajo, presentamos HAE-RAE Bench, un conjunto de datos único diseñado para evaluar el conocimiento cultural incrustado en los modelos de lenguaje. Este método de evaluación está diseñado para ser más difícil para modelos no Coreanos, enfocándose en su capacidad para conversar de manera efectiva y con conocimiento en coreano. Al priorizar la comprensión cultural y contextual, HAE-RAE Bench busca mejorar las pruebas de modelos de lenguaje no ingleses, allanando el camino para aplicaciones de lenguaje más sofisticadas y culturalmente conscientes.