Aclarando los puntos de referencia de IA a través de modelos cognitivos

Los estándares de IA, especialmente los que implican entendimiento cultural, a menudo vienen con suposiciones ocultas. Estas suposiciones pueden crear ideas vagas que no reflejan con precisión lo que se está midiendo. Para aclarar estas suposiciones, los investigadores sugieren usar modelos cognitivos claros. Una forma de hacer esto es a través de un método llamado Modelado de Ecuaciones Estructurales (SEM). Este método puede ayudarnos a responder preguntas de investigación importantes y encontrar huecos en los datos existentes. El objetivo es crear una base teórica sólida para construir estándares y guiar el desarrollo de conjuntos de datos, asegurándose de que las mediciones sean precisas. Al ser transparentes sobre estas suposiciones, podemos mejorar cómo evaluamos los sistemas de IA.

A medida que las tecnologías de IA generativa han avanzado rápidamente, especialmente con herramientas como ChatGPT, han aparecido muchos nuevos estándares. Estos estándares a menudo se ocupan de conceptos como el razonamiento y el entendimiento cultural. Sin embargo, puede ser complicado fusionar ideas de estos diferentes estándares porque sus objetivos de medición y métodos pueden no ser claros.

La psicometría, la ciencia de medir ideas complejas, ofrece métodos útiles para estos desafíos. Algunos estudios anteriores han aplicado técnicas psicométricas para evaluar modelos de lenguaje. Definieron la inteligencia en función de cuán eficientemente se aprenden las habilidades y redujeron los tamaños de muestra para estas evaluaciones. Sin embargo, la mayoría del trabajo en esta área se ha centrado en aplicar pruebas diseñadas para humanos a modelos generativos.

La propuesta aquí es expandir estos métodos inspirados en psicometría para aclarar los rasgos de los Modelos de Lenguaje Grande (LLMs). Esto incluye observar capacidades y características sin etiquetar algunos como mejores o peores que otros. La contribución principal es usar modelos cognitivos, establecidos a través de SEM, para sacar a la luz las suposiciones sobre cómo las pruebas se relacionan con las ideas que buscan medir. Este enfoque permite la combinación cuidadosa de múltiples fuentes de datos, identifica huecos en los estándares actuales y construye una base teórica más sólida para evaluar los rasgos de los LLM.

Para ilustrar esto, podemos mirar la idea de 'alineación cultural'. Nos enfocamos en la transferencia de conocimiento entre lenguas, usando específicamente un modelo que mide qué tan bien se alinean los conceptos entre inglés y danés. Al usar SEM, podemos mostrar claramente las suposiciones detrás de esta alineación y medir su efectividad.

El modelo utiliza factores latentes (no visibles) para representar ideas profundas, mientras que los factores observables representan pruebas específicas. Consideramos las relaciones entre factores como la habilidad lingüística, el Conocimiento Cultural y la alineación para el inglés y el danés. Las flechas en este modelo ilustran cómo estos diversos elementos pueden influenciarse entre sí.

Este modelo arroja luz sobre algunos puntos clave respecto a la transferencia de alineación:

• Dirección de diseño: Para evaluar efectivamente cómo se transfiere el conocimiento entre lenguas, necesitamos conjuntos de datos específicos que se enfoquen en danés. El modelo deja clara esta necesidad, lo que puede ayudar a guiar el desarrollo futuro de conjuntos de datos.
• Hipótesis comprobables: El modelo permite probar a fondo ideas utilizando datos de varios estándares. Por ejemplo, podemos examinar si el conocimiento cultural se transfiere entre lenguas y si hay un factor común de habilidad lingüística que influye en esta transferencia.
• Mejora de la validez del constructo: Al vincular diferentes estándares a las ideas centrales que representan, podemos evaluar cuán efectivas son estas pruebas para medir lo que buscan medir. Esto también nos ayuda a ver si diferentes rasgos se juntan o si un rasgo determinado se descompone en varios componentes.

Estas ventajas pueden aplicarse a otras ideas también, como diferentes sesgos en modelos de IA.

Es importante notar que el modelado cognitivo por sí solo no puede definir el significado de estos rasgos. Puede mostrar cómo se relacionan los factores latentes entre sí, pero no explica lo que realmente significan. Por ejemplo, la medida de 'conocimiento cultural' podría significar 'memorización' o algo bastante diferente. Por lo tanto, se necesita un examen cuidadoso para distinguir entre estas posibilidades. Sin embargo, el modelado cognitivo ayuda a hacer las suposiciones más claras.

Si bien este enfoque ofrece una ruta prometedora hacia un entendimiento más sólido de las capacidades de los LLM, también viene con limitaciones. Un desafío significativo es evitar caer en la trampa de depender en exceso del formalismo. En el mundo del aprendizaje automático, hay una tendencia a convertir problemas estructurales complejos en tareas computacionales, lo que puede oscurecer las injusticias detrás de algoritmos complejos.

Los investigadores deben ser cautelosos para que el modelado cognitivo no se convierta en otra forma de justificar estudios técnicos sin un examen crítico. Cuando los investigadores aplican formalismo matemático para desarrollar estándares o hacer afirmaciones sobre cómo rinden los modelos, este marco busca aclarar sus suposiciones subyacentes. El modelado cognitivo sirve como una herramienta valiosa en este contexto.

Otra preocupación es que el formalismo matemático puede dificultar el seguimiento de las discusiones, especialmente para las comunidades que son más afectadas por las tecnologías de IA. Nuestro enfoque enfatiza el uso de modelos visuales para representar ideas de manera clara en lugar de ocultarlas detrás de ecuaciones complejas. Por ejemplo, examinar un modelo debería provocar preguntas sobre si conceptos como 'alineación' y 'conocimiento cultural' son realmente independientes o si otros factores están en juego. Cuando se hace de manera efectiva, estos modelos gráficos pueden hacer que las discusiones sobre las suposiciones de IA sean más accesibles y comprensibles.

La investigación actual impulsada por la psicometría a menudo busca evaluar rasgos similares a los humanos como la personalidad utilizando pruebas diseñadas para personas. Este enfoque corre el riesgo de atribuir características humanas a los LLM, lo que puede llevar a malentendidos. Si bien es fácil asignar rasgos humanos a los LLM, el modelado cognitivo ofrece herramientas para crear un vocabulario que refleje mejor los atributos reales de interés sin depender de conceptos humanos potencialmente defectuosos.

En este trabajo, elegimos específicamente SEMs para formalizar nuestros modelos cognitivos. Sin embargo, estos modelos también podrían enmarcarse utilizando otros métodos, como modelos bayesianos jerárquicos. La idea esencial es tener un modelo claro que conecte conceptos abstractos con medidas observables. Si bien este estudio se basa en puntuaciones agregadas que están ampliamente disponibles, también es posible analizar constructos latentes en una base por muestra, lo que puede ser particularmente útil para refinar estándares.

#Estimación de la Habilidad Lingüística Intercultural: Un Ejemplo Simplificado

Esta sección proporciona una ilustración sencilla de cómo construir un modelo cognitivo usando SEM, centrándose en un ejemplo simple de transferencia de conocimiento en LLM. Aunque esto no es un análisis empírico completo, demuestra cómo los modelos cognitivos pueden resaltar suposiciones y responder preguntas sobre los LLM.

La pregunta de investigación que buscamos explorar es si hay una conexión subyacente entre el Conocimiento Cultural Danés y el Conocimiento Cultural Inglés en los LLM. Para probar esto, configuramos un SEM simple con dos Variables latentes para el Conocimiento Cultural Danés y el Conocimiento Cultural Inglés, incluyendo una correlación entre ellas.

Cada variable latente se conecta a estándares específicos, con tareas danesas tomadas de pruebas ciudadanas y dichos daneses, mientras que los estándares en inglés incluyen una tarea de resumen de noticias y un conocido conjunto de datos de preguntas y respuestas.

Estos conjuntos de datos fueron seleccionados por conveniencia y son parte de un estándar multilingüe más amplio para comparar LLM en varios lenguajes germánicos. Ayudan a ilustrar cómo funciona el modelo, pero un estudio más completo requeriría una selección cuidadosa de conjuntos de datos que capturen con precisión el conocimiento cultural entre lenguas.

En este análisis, utilizamos software para optimizar nuestro SEM, apoyándonos en criterios establecidos para medir el ajuste del modelo. Sin embargo, enfatizamos que el uso de estadísticas de prueba estrictas no es algo que aboguemos desde las ciencias sociales.

Al probar nuestra hipótesis, revisamos la correlación entre el Conocimiento Cultural Danés y el Conocimiento Cultural Inglés. Si el resultado es significativo y sustancial, podemos respaldar nuestra pregunta de investigación.

Si bien el lado computacional de SEM es eficiente, el principal desafío al expandir este enfoque radica en producir los datos de referencia necesarios. Evaluar LLMs en varias tareas y lenguas requiere recursos computacionales sustanciales, un factor que necesita consideración al planear estudios más grandes.

Los resultados de nuestro análisis revelan una conexión positiva significativa entre el Conocimiento Cultural Danés y el Conocimiento Cultural Inglés. Todas las tareas cargan fuertemente en sus respectivas variables, y el modelo muestra un buen ajuste.

Este ejemplo destaca puntos esenciales para realizar un modelado cognitivo de LLMs:

• Es importante la validez del concepto: Si bien los SEM son útiles para probar relaciones, determinar si estos conceptos son válidos en el mundo real requiere una consideración cuidadosa. Por ejemplo, 'Conocimiento Cultural' podría superponerse con 'Habilidad Lingüística' u otros factores.
• Necesidad de datos suficientes: Probar modelos realistas exige conjuntos de datos más grandes. Este desafío puede abordarse utilizando mediciones repetidas, donde cada LLM se prueba múltiples veces.
• No empezar desde cero: SEM no es una herramienta nueva, muchos artículos de varios campos utilizan sus métodos. Probablemente haya muchas soluciones existentes a los problemas técnicos y teóricos encontrados.

Si bien esta sección proporciona un ejemplo simplificado, la discusión principal gira en torno a cómo construir un marco más amplio para evaluar las capacidades de los LLM a través de diversas culturas y lenguas. Los conocimientos obtenidos de este modelo básico contribuyen a la conversación más amplia sobre cómo crear métodos de evaluación efectivos para la IA Generativa.

#Descripciones de Estándares

Esta sección ofrece un resumen de los estándares utilizados en nuestro Modelo de Ecuaciones Estructurales para la Transferencia de Alineación Interlingüística. Los estándares en inglés provienen de bases de datos bien conocidas, mientras que las tareas danesas se recopilan de plataformas de evaluación multilingües. Los estándares elegidos buscan reflejar una gama de capacidades y áreas de conocimiento en ambos idiomas para asegurar un análisis completo.