Presentamos el BLEnD Benchmark para el Conocimiento Cultural en Modelos de Lenguaje

Los modelos de lenguaje grandes (LLMs) se han vuelto una parte importante de nuestra vida cotidiana. Sin embargo, a menudo no tienen un conocimiento detallado sobre aspectos culturales específicos de la vida diaria, especialmente en idiomas que no son el inglés y en diversas regiones. La mayoría de las pruebas utilizadas para evaluar el Conocimiento Cultural de los LLMs están limitadas a un solo idioma o dependen de datos de fuentes como Wikipedia. Estas fuentes pueden no reflejar con precisión las experiencias diarias de diferentes culturas.

En este estudio, presentamos una nueva prueba llamada BLEnD, que significa Benchmark for LLMs on Everyday Knowledge in Diverse Cultures and Languages. BLEnD ha sido creada para evaluar el conocimiento cultural de los LLMs en varios países e idiomas, enfocándose en elementos culturales comunes y cotidianos.

#La Necesidad de Conocimiento Cultural

El conocimiento cultural cotidiano incluye aspectos como los alimentos típicos que se consumen durante las celebraciones, las especias comunes que se usan en la cocina, los deportes populares entre los escolares y los instrumentos musicales tradicionales que la gente toca. Aunque esta información es vital para entender una cultura, a menudo falta en los recursos en línea de los que los modelos aprenden, especialmente para las culturas menos representadas.

Los investigadores se han dado cuenta de que muchos modelos de lenguaje existentes tienen un rendimiento deficiente cuando se les hacen preguntas sobre culturas que no se mencionan frecuentemente en los datos en línea. Estas brechas pueden llevar a respuestas incorrectas, incompletas o incluso engañosas, lo que puede ser frustrante para los usuarios.

#La Prueba BLEnD

Para abordar estos problemas, creamos la prueba BLEnD, que consta de 52,600 pares de preguntas y respuestas recolectados de 16 países y regiones en 13 idiomas diferentes, incluyendo aquellos con menos hablantes como el amhárico y el hausa. La prueba incluye dos tipos de preguntas: de respuesta corta y de Opción múltiple.

Usando la prueba BLEnD, los investigadores pueden evaluar qué tan bien los LLMs entienden el conocimiento cultural específico y las situaciones cotidianas de diferentes regiones. Por ejemplo, la prueba podría incluir preguntas como "¿Qué suelen comer las personas durante las celebraciones de cumpleaños en tu país?"

#Métodos de Recolección de Datos

La prueba fue creada a través de un proceso de cuatro pasos:

1. Recolección de Preguntas: Desarrollamos 500 plantillas de preguntas que reflejan aspectos de la vida diaria en seis categorías: comida, deportes, familia, educación, festividades y vida laboral. Se pidió a hablantes nativos de cada país que crearan preguntas culturalmente relevantes.
2. Filtrado de Preguntas: Filtramos duplicados y nos aseguramos de que las preguntas no fueran demasiado específicas de una región.
3. Anotación de Respuestas: Hablantes nativos proporcionaron respuestas a las preguntas. Cada pregunta recibió múltiples respuestas para asegurar una gama de perspectivas.
4. Agregación de Respuestas: Revisamos las anotaciones para eliminar respuestas inválidas o sin sentido, asegurando que el conjunto de datos final contuviera respuestas precisas y representativas.

#Resumen Estadístico

El conjunto de datos BLEnD consta de aproximadamente 52,600 pares de preguntas y respuestas, con un equilibrio en varios temas culturales. Los datos incluyen tanto formatos de respuesta corta como de opción múltiple, lo que permite una evaluación flexible de los LLMs.

Aquí hay un desglose del conjunto de datos:

• Total de preguntas de respuesta corta: 15,000
• Total de preguntas de opción múltiple: 37,600

El conjunto de datos está disponible públicamente para los investigadores, asegurando que se pueda utilizar ampliamente para mejorar el conocimiento cultural de los LLMs.

#Evaluación del Conocimiento Cultural

Los LLMs fueron evaluados usando la prueba BLEnD para medir su rendimiento en conocimiento cultural. La evaluación se centró en dos formatos principales:

1. Preguntas de Respuesta Corta (SAQ): Se les pidió a los LLMs que proporcionaran respuestas directamente, y se evaluaron según si sus respuestas coincidían con las dadas por anotadores humanos.
2. Preguntas de Opción Múltiple (MCQ): Para estas preguntas, los LLMs seleccionaron de una lista de posibles respuestas, lo que facilitó la comparación entre respuestas.

La evaluación reveló que los LLMs generalmente se desempeñaron mejor en preguntas relacionadas con culturas altamente representadas, como las de Estados Unidos. En contraste, su rendimiento fue significativamente más bajo al responder preguntas sobre culturas menos representadas, mostrando una caída promedio de rendimiento en culturas que están subrepresentadas.

#Hallazgos

Los resultados de la evaluación indicaron varias tendencias importantes:

• Los LLMs mostraron discrepancias significativas en el rendimiento basadas en la representación cultural. Por ejemplo, los modelos tuvieron problemas con culturas que están menos documentadas en línea.
• Hubo una diferencia notable entre idiomas de alto recurso (como el inglés y el español) y idiomas de bajo recurso (como el amhárico y el hausa). En muchos casos, los LLMs se desempeñaron mejor al responder en inglés para idiomas de bajo recurso.
• Varios modelos, particularmente aquellos construidos en países no occidentales, se desempeñaron mejor cuando se les hicieron preguntas en sus idiomas locales en comparación con el inglés.

#Categorías Culturales Específicas

Al analizar el rendimiento por categoría, los LLMs tendieron a desempeñarse mejor en preguntas relacionadas con la vida laboral o la educación, mientras que tuvieron problemas con temas relacionados con la comida o las festividades. Esta tendencia destaca los desafíos que enfrentan los LLMs para adaptarse a temas más subjetivos que requieren una comprensión matizada de la cultura.

#Evaluación Humana de Respuestas

Para obtener más información sobre el rendimiento de los LLMs, realizamos una evaluación humana de sus respuestas. Esta evaluación clasificó las respuestas en varias áreas:

• Aplicable: Respuestas que reflejaron con precisión las opiniones de la población general en una cultura específica.
• Condicionalmente Aplicable: Respuestas que podrían ser ciertas en algunos contextos pero no universalmente aceptadas.
• Incorrecta: Respuestas que eran inexactas o inapropiadas para la cultura en cuestión.

Los evaluadores humanos notaron muchas instancias de respuestas estereotipadas, particularmente en lo que respecta a la comida. Por ejemplo, los modelos a menudo citaban platos tradicionales sin considerar el contexto de la pregunta.

#Desafíos Identificados

A través de nuestro estudio, identificamos varios desafíos que enfrentan los LLMs:

1. Estereotipos Culturales: Los modelos tendían a proporcionar respuestas que dependían demasiado de opiniones populares o tradicionales, lo que llevaba a respuestas que no capturaban las diversas realidades de una cultura.
2. Comprensión Contextual Limitada: Muchas respuestas eran demasiado genéricas o simplemente incorrectas, destacando las limitaciones de los modelos para entender contextos culturales específicos.
3. Matices del Idioma: La calidad de las respuestas a menudo disminuía en idiomas de bajo recurso porque los LLMs estaban menos entrenados en esos idiomas.

#Recomendaciones para Mejorar

Dadas las conclusiones, proponemos varias recomendaciones para mejorar el conocimiento cultural de los LLMs:

• Datos de Entrenamiento Diversos: Incorporar más datos culturalmente específicos puede ayudar a mejorar la capacidad de un modelo para proporcionar respuestas adecuadas.
• Evaluación Continua: Evaluaciones regulares del rendimiento de los LLMs en contextos culturales variados ayudarán a identificar y abordar brechas de conocimiento.
• Involucrar a Expertos Locales: Incluir a hablantes locales y expertos culturales en el proceso de desarrollo y evaluación puede mejorar la relevancia de las respuestas generadas por los LLMs.

#Conclusión

La prueba BLEnD representa un paso significativo hacia la comprensión y mejora de la sensibilidad cultural de los modelos de lenguaje. A medida que las interacciones globales aumentan, la capacidad de los LLMs para responder con precisión a preguntas culturalmente relevantes es esencial. Al abordar las limitaciones y sesgos actuales presentes en los modelos existentes, podemos trabajar hacia tecnologías de IA más inclusivas y precisas que honren y reflejen las diversas culturas del mundo.

La investigación destaca la necesidad de una mejora continua en el entrenamiento de los LLMs, asegurando que estén mejor equipados para servir a bases de usuarios diversas. Al enfocarnos en el conocimiento cultural cotidiano, podemos mejorar el rendimiento de los LLMs de una manera significativa, beneficiando a los usuarios de diferentes regiones y culturas.