¿Pueden las máquinas resolver analogías como los niños?

Cuando piensas en niños resolviendo acertijos como "cuerpo : pies :: mesa : ?", te preguntas si las máquinas, como los grandes modelos de lenguaje (LLMs), pueden hacer lo mismo. Los niños aprenden desde pequeños a tomar lo que saben de un ejemplo y aplicarlo a otro. Ven patrones y pueden resolver analogías, conectando puntos que a veces incluso confunden a los adultos. Estudios recientes sugieren que, aunque los LLMs pueden enfrentar ciertos problemas de analogía, tienen dificultades para generalizar sus habilidades para resolver problemas en diferentes contextos tan bien como lo hacen los niños.

#¿Qué es el Razonamiento Analógico?

El razonamiento analógico es cuando usas lo que ya sabes sobre algo para entender otra situación. Por ejemplo, si sabes que un cuerpo tiene pies, puedes deducir que una mesa tiene patas. Es una habilidad fundamental que ayuda a los humanos a aprender y pensar de manera creativa. Los adultos a menudo superan a los niños en estas tareas, pero sorprendentemente, los niños pueden resolver analogías simples a tan temprana edad como tres o cuatro años. Pueden pasar de un tipo de analogía a otro con bastante facilidad, algo que no es exactamente la especialidad de los LLMs, como muestra la investigación reciente.

#El estudio

En nuestro estudio, queríamos ver si los LLMs podrían generalizar sus habilidades para resolver analogías de la misma manera que lo hacen los niños y los adultos. Pedimos a niños, adultos y LLMs que trabajaran en analogías de cadenas de letras. Estas analogías se basan en el latín, el griego e incluso en una lista de símbolos inventados para probar qué tan bien tanto humanos como máquinas transfieren sus conocimientos a nuevos contextos.

#Analogías de cadenas de letras

La tarea de analogía de cadenas de letras funciona así: si tienes "abc" que cambia a "abd," ¿a qué debería cambiar "pqr"? Se necesitan hacer cambios similares para resolver el acertijo. Este tipo de tarea es sencilla y depende de transformaciones básicas de letras que los humanos suelen resolver correctamente, ya que pueden identificar y aplicar patrones fácilmente.

#¿Quién participó?

Tuvimos 42 niños de 7 a 9 años, 62 adultos, y realizamos pruebas en cuatro LLMs diferentes. Todos los participantes recibieron el mismo conjunto de tareas a través de tres tipos de alfabetos: latín, griego y símbolos.

#¿Cómo se desempeñaron todos?

#Adultos y niños vs. LLMs

Nuestras predicciones eran que los adultos y los niños manejarían el alfabeto latino con facilidad, y pensamos que los LLMs se mantendrían al nivel de los adultos. Mientras muchos LLMs se desempeñaron bien con el alfabeto latino, se estancaron cuando se trató del alfabeto griego, y su rendimiento bajó drásticamente con la lista de símbolos. Esto mostró una diferencia clave: mientras los adultos y niños se adaptaron bien, los LLMs tuvieron problemas para adaptarse cuando las cosas se volvieron menos familiares.

#Resultados generales

Al comparar el rendimiento en los diferentes alfabetos, tanto los niños como los adultos mostraron resultados similares, desempeñándose consistentemente bien. Sin embargo, los LLMs tuvieron más dificultades. Era evidente que su capacidad para entender reglas y aplicarlas con flexibilidad era deficiente cuando se enfrentaron a cambios en los tipos de letras o símbolos.

#¿Por qué no pueden los LLMs generalizar como los niños?

#Las partes difíciles

Para entender por qué a los LLMs les resultó difícil generalizar, observamos de cerca las tareas. Resultó que las reglas más complejas, como reconocer el orden de las letras, eran las más difíciles para los LLMs. Se desempeñaron mucho mejor con tareas más simples, pero lucharon con elementos que requerían una comprensión más matizada de los patrones.

#Haciendo un chequeo de reglas

Intentamos una versión más simple de la tarea, enfocándonos solo en reglas específicas como "la siguiente letra" o "la letra anterior." Los LLMs lograron acertar en estas en una lista sencilla, pero cuando volvimos a las analogías que necesitaban mezclar y combinar esas reglas, fallaron nuevamente. Esto sugiere que los LLMs destacan en identificar patrones cuando las condiciones son las adecuadas, pero no trasladan esa habilidad bien a tareas más abstractas.

#¿Qué Errores cometieron?

Al analizar los errores cometidos por niños, adultos y LLMs, vimos diferencias claras. Los niños a veces se alejaban bastante de las respuestas correctas, mientras que los LLMs tendían a seguir un patrón más predecible de respuestas incorrectas. Curiosamente, los LLMs a menudo dependían de una interpretación "literal" de las reglas, mientras que los humanos no. Esto muestra que aplican las reglas aprendidas de manera rígida, lo que puede limitar su flexibilidad.

#Conclusión

En resumen, aunque los LLMs pueden resolver analogías simples de cadenas de letras, su capacidad para generalizar en diferentes contextos no está a la par con la de los niños. Esto resalta una limitación en sus habilidades de razonamiento en comparación con los humanos. La capacidad de adaptarse y aplicar conocimientos a nuevas situaciones parece ser un rasgo exclusivamente humano, lo que indica que aún queda camino por recorrer antes de que las máquinas puedan pensar como nosotros. Así que la próxima vez que veas a un niño resolver un acertijo, recuerda que sus cerebros están haciendo algo con lo que las máquinas aún están tratando de ponerse al día.