Evaluando Habilidades de Razonamiento en Modelos de Lenguaje a Través de Juegos

La evaluación de modelos de lenguaje grandes (LLMs) suele centrarse en sus habilidades lingüísticas, pero este enfoque podría pasar por alto qué tan bien razonan estos modelos en general. Investigamos si los LLMs como GPT-3.5 y GPT-4 pueden hacer más que solo manejar texto. Creemos que estos modelos pueden pensar de maneras más amplias, especialmente en tareas que no involucran directamente el lenguaje.

Para poner a prueba esta idea, usamos varios juegos como Tres en raya, Conecta Cuatro y Batalla Naval. Codificamos estos juegos usando caracteres de texto simples para examinar qué tan bien los modelos pueden tomar decisiones estratégicas. Además, creamos dos nuevos juegos diseñados para probar diferentes habilidades. El primer juego, LEGO Connect Language (LCL), verifica si los modelos pueden entender el Razonamiento espacial siguiendo instrucciones de construcción. El segundo juego consiste en identificar formas dentro de una cuadrícula de números.

Al usar un enfoque de "mostrar, no contar", buscamos ver lo que los modelos realmente podían hacer en estos juegos, en lugar de simplemente preguntarles cómo jugar. Nuestros hallazgos mostraron que, aunque GPT-3.5 y GPT-4 podían manejar algunas tareas relacionadas con el lenguaje bastante bien, les fue bastante mal en juegos que requerían pensamiento estratégico y razonamiento espacial. Por ejemplo, ambos modelos no predijeron los movimientos perdedores en Tres en Raya y Conecta Cuatro y tuvieron problemas para seguir las reglas al jugar Batalla Naval. En el juego de Identificación de formas, GPT-4 se desempeñó mejor que GPT-3.5, pero ambos modelos tuvieron dificultades con las tareas de ensamblaje en LCL.

#¿Qué Son los Modelos de Lenguaje?

Los modelos de lenguaje como GPT-3.5 y GPT-4 son sistemas avanzados que procesan texto de entrada y producen texto de salida. Funcionan al entender las relaciones entre palabras en una oración, lo que les permite generar oraciones que tienen sentido. Para hacer esto, descomponen el texto en partes más pequeñas, convierten estas partes en formas numéricas y luego analizan la importancia de cada parte para producir respuestas coherentes.

Estos modelos tienen millones o incluso miles de millones de parámetros. Modelos como Alpaca tienen alrededor de 7 mil millones de parámetros, mientras que otros más grandes como LLaMA tienen hasta 65 mil millones. Los modelos más extensos, como PaLM, llegan incluso más lejos con 540 mil millones de parámetros. Este tamaño en sí les permite manejar las reglas complejas del lenguaje, cubriendo sintaxis, significado, contexto e incluso estilo.

#Formas Actuales de Probar Modelos de Lenguaje

Se han creado pruebas para LLMs para ver qué tan bien entienden y generan lenguaje. Diferentes conjuntos de datos, como SQuAD y GLUE, ofrecen varios tipos de preguntas y tareas. Por ejemplo, estas tareas pueden incluir preguntas de opción múltiple, comprensión lectora o completar conversaciones. Cada prueba normalmente evalúa cuán correctas son las respuestas, cuán fluentemente se genera el lenguaje y si la conversación se mantiene relevante.

Para ir más allá de las tareas lingüísticas, algunos estudios recientes han intentado diferentes maneras de ver qué tan bien piensan los LLMs sobre problemas. En un estudio, los investigadores usaron Tres en Raya para evaluar los modelos contra una estrategia de juego perfecta conocida como el algoritmo minimax. Aunque algunos LLMs se desempeñaron bien en ocasiones, en general no ganaron contra esta estrategia óptima.

Otro trabajo importante ha señalado los riesgos de malinterpretar lo que los LLMs pueden hacer basándose solo en tareas de lenguaje. Si bien estos modelos se desempeñan bien en muchas pruebas lingüísticas, tienen dificultades con un razonamiento más profundo y comprensión del mundo. Esto plantea preguntas sobre qué tan bien estos modelos pueden hacer conexiones lógicas y captar ideas complejas.

También se han planteado preocupaciones por parte de investigadores sobre la fiabilidad de los modelos grandes. La falta de transparencia en cómo se construyen estos modelos da lugar a preguntas sobre su confiabilidad. Algunos investigadores argumentan que las capacidades que afirman los LLMs podrían ser engañosas, sugiriendo que tales evaluaciones podrían simplemente reflejar cómo se eligieron las métricas de evaluación, en lugar de mostrar mejoras genuinas en las habilidades de razonamiento.

#Definiendo la Inteligencia General en IA

Cuando se habla de inteligencia en IA, los investigadores a menudo se refieren a la inteligencia general (GI), que es la capacidad de pensar, resolver problemas y aprender en diferentes entornos. Tradicionalmente, la GI incluye procesos que van más allá del conocimiento específico y abarcan un amplio rango de habilidades cognitivas.

Un problema significativo al evaluar modelos avanzados como GPT-3.5 y GPT-4 es que los datos utilizados para el entrenamiento pueden superponerse con las pruebas, lo que lleva a resultados poco confiables. Los conjuntos de datos que se suelen usar para entrenar estos modelos son enormes y complejos, lo que hace difícil saber con precisión qué información aprendieron los modelos. Esta incertidumbre puede resultar en que muchos esfuerzos de evaluación sean ineficaces.

Algunos investigadores están tratando de abordar este problema evaluando con qué frecuencia las respuestas generadas se superponen con los datos de entrenamiento. Sin embargo, este método tiene limitaciones, ya que no toma en cuenta el contexto en el que aparecen las palabras y puede pasar por alto otros aspectos importantes.

#La Necesidad de Mejores Medidas de Inteligencia

Argumentamos que se necesita un enfoque más matizado para evaluar los LLMs. Para medir de manera más precisa la inteligencia general en IA, las métricas deberían centrarse en evaluar verdaderamente las habilidades de razonamiento y generalización de maneras realistas.

En este trabajo, presentamos ChildPlay, que es una serie de juegos no lingüísticos diseñados para medir el razonamiento y el pensamiento estratégico, junto con el reconocimiento de patrones. Usar juegos crea objetivos claros, facilitando ver qué tan bien los modelos pueden planear y tomar decisiones con el tiempo. Debido a la naturaleza de estos juegos, pueden reflejar desafíos del mundo real de manera más efectiva.

#Experimentos Basados en Juegos

En nuestros experimentos, colocamos tareas del benchmark BIG-bench en una categoría específica conocida como pruebas de zero-shot. En estas pruebas, se le dan a los modelos las reglas de los juegos sin ejemplos ni práctica previa. Buscamos demostrar si los modelos podían pensar sobre disposiciones espaciales usando secuencias de caracteres de texto simples.

Creamos tareas que incluyen ensamblaje de LEGO, y los juegos de mesa Tres en Raya, Conecta Cuatro y Batalla Naval, así como un juego de identificación de formas. Utilizamos GPT-3.5 y GPT-4 en varios escenarios, con diferentes configuraciones para ver cómo respondían.

#LEGO Connect Language (LCL)

Para la tarea de ensamblaje de LEGO, ideamos un lenguaje estructurado, LEGO Connect Language (LCL), para instruir cómo construir usando reglas específicas. Los modelos tenían que determinar si las construcciones de LEGO dadas eran válidas, basándose en varios criterios.

La primera prueba involucró pedir a los LLMs que validaran si una estructura de LEGO estaba correctamente construida o no. Se desafió a los modelos a generar estructuras válidas basándose en instrucciones. El rendimiento se midió por cuántas estructuras válidas produjeron los modelos en respuesta a estas pruebas.

#Juegos de Mesa: Tres en Raya, Conecta Cuatro y Batalla Naval

A continuación, analizamos juegos de mesa tradicionales. Cada juego consistía en dar el estado actual de la partida a los modelos junto con una breve introducción al juego. También se informó a los modelos que estaban jugando primero. En Tres en Raya, un aspecto crítico era si los modelos reconocerían los movimientos ganadores y bloquearían los perdedores.

En Batalla Naval, configuramos barcos en configuraciones aleatorias y rastreamos los resultados en función de las conjeturas de los modelos. Cada juego estaba diseñado para confirmar si los modelos podían seguir las reglas del juego y tomar decisiones estratégicas. Desafortunadamente, los resultados mostraron que tanto GPT-3.5 como GPT-4 a menudo no lograban seguir las reglas correctamente, lo que llevaba a pérdidas.

#El Juego de las Formas

En el juego de las formas, los modelos tenían que encontrar formas geométricas básicas ocultas entre números. Los resultados revelaron que GPT-3.5 luchaba significativamente, rindiendo a niveles aleatorios, mientras que GPT-4 mostró mejores habilidades, especialmente en el reconocimiento de triángulos.

#Observaciones Generales de los Juegos

Al analizar el rendimiento general, quedó claro que ninguno de los modelos podía seguir consistentemente las reglas, particularmente en las pruebas de Batalla Naval y LCL. El número de movimientos y errores aumentó a medida que ajustamos la dificultad, lo que sugiere que los modelos no estaban efectivamente estrategizando.

Configuraciones de temperatura más altas, que permitían elecciones más aleatorias en el juego, no mejoraron sus habilidades para seguir reglas o tomar mejores decisiones; de hecho, a menudo conducían a más errores.

#Las Limitaciones de los Modelos Actuales

Nuestro trabajo revela que los LLMs, a pesar de sus fuertes habilidades lingüísticas, tienen dificultades con tareas que requieren pensamiento estratégico y comprensión real. Juegos como Tres en Raya, Batalla Naval y la identificación de formas mostraron limitaciones significativas en las capacidades de razonamiento de los modelos.

A pesar de algunos éxitos en tareas básicas, tanto GPT-3.5 como GPT-4 generalmente se desempeñaron mal en los juegos probados. Los resultados destacan importantes lagunas en su capacidad para resolver problemas y seguir reglas estructuradas.

#Direcciones Futuras de Trabajo

De cara al futuro, pretendemos probar más modelos, incluidos los de código abierto, con la esperanza de encontrar un mejor rendimiento en el benchmark de ChildPlay. Creemos que ningún modelo existente sobresaldrá en nuestras pruebas, pero futuros desarrollos en aprendizaje por refuerzo profundo podrían allanar el camino para mejores resultados.

Vemos un valor significativo en usar benchmarks basados en juegos para evaluar LLMs, ya que ofrecen información sobre las capacidades de razonamiento y resolución de problemas de los modelos. Probar LLMs con tareas no lingüísticas es crucial para entender sus habilidades cognitivas en general.

#Conclusión

En resumen, evaluar LLMs con juegos proporciona una nueva perspectiva para ver lo que estos modelos realmente pueden lograr. Al centrarnos en su rendimiento en tareas de razonamiento simples, encontramos que incluso modelos avanzados como GPT-3.5 y GPT-4 a menudo no cumplen con las expectativas. Su incapacidad para jugar juegos de manera efectiva sugiere limitaciones en sus habilidades de resolución de problemas y toma de decisiones estratégicas. Nuestros hallazgos enfatizan la necesidad de métricas adicionales que desafíen a estos modelos más allá de las tareas de lenguaje, garantizando una comprensión más completa de sus capacidades.