Investigando el razonamiento en modelos de lenguaje grandes

Los modelos de lenguaje grandes, o LLMs, pueden resolver problemas complejos que requieren varios pasos. Sin embargo, no se sabe mucho sobre cómo estos modelos abordan estos problemas internamente. Este artículo se adentra en cómo los LLMs responden a preguntas de múltiples pasos, como "El esposo del intérprete de Imagine es." Responder a este tipo de preguntas implica extraer información en dos pasos. Primero, el modelo tiene que identificar quién es el intérprete de la canción "Imagine", que es John Lennon. Luego, necesita averiguar quién es la esposa de John Lennon, que es Yoko Ono.

Entender cómo los LLMs realizan estos pasos es importante para comprender cómo calculan las respuestas. Investigamos el funcionamiento interno de estos modelos y encontramos que la identificación de la primera entidad ocurre en las capas tempranas del modelo. Una vez que se resuelve la primera entidad, el modelo procede a resolver la segunda parte de la consulta en capas posteriores.

El desafío surge porque si la segunda parte comienza a procesarse en estas capas posteriores, puede haber casos en los que la información necesaria para responder ya no esté disponible. Para abordar este problema, presentamos un nuevo método que llamamos "back-patching". Este método nos permite tomar información de una capa posterior y parchearla de nuevo a una capa anterior. Nuestros hallazgos muestran que en casi el 57% de los casos que anteriormente eran incorrectos, usar back-patching condujo a la respuesta correcta, lo que indica que las capas posteriores a veces carecen de la información necesaria.

Para ilustrar nuestros hallazgos, notamos que en una consulta de dos pasos, el primer paso se resuelve temprano en el modelo. La información sobre la Entidad Puente, que en este caso es John Lennon, se lleva a cabo para el siguiente paso, donde el modelo resuelve la segunda parte de la consulta identificando a Yoko Ono como la esposa. El back-patching nos permite tomar información codificada en capas posteriores y reintroducirla a capas anteriores, ayudando a solucionar casos donde la solución falla.

A pesar de su impresionante rendimiento en muchas tareas, los LLMs todavía tienen dificultades con consultas complejas de conocimiento. Por ejemplo, a menudo cometen errores con preguntas de múltiples pasos como "El esposo del intérprete de Imagine es." Responder a estas consultas requiere habilidades de composición y razonamiento sólidas, que han sido el foco de investigaciones recientes. Comprender cómo los LLMs manejan estas consultas de múltiples pasos tiene implicaciones importantes para mejorar su capacidad de generalizar y adaptarse.

Para mejorar la capacidad de razonamiento de los LLMs, primero necesitamos entender cómo completan las consultas de dos pasos. Aunque algunas investigaciones anteriores han mirado esto, solo se ha encontrado un camino claro para el razonamiento en modelos más pequeños entrenados con datos sintéticos. En nuestro estudio, nos enfocamos en comparar dos situaciones: una donde el modelo responde correctamente y otra donde no lo hace.

Para llevar a cabo nuestra investigación, creamos un conjunto de datos que contiene 82,020 consultas de dos pasos basadas en datos de Wikidata. Estas consultas toman hechos definidos como un triplete, donde uno es la entidad de origen (como John Lennon), el segundo es la relación (como Esposo), y el tercero es la entidad objetivo (como Yoko Ono). Convertimos estos tripletes en consultas a las que los modelos pueden responder.

Creamos consultas de dos pasos combinando dos hechos. La entidad objetivo de un hecho se convierte en la entidad de origen del siguiente. Por ejemplo, la consulta de dos pasos "El esposo del intérprete de Imagine es" puede descomponerse en dos partes: (Imagine, Intérprete, John Lennon) y (John Lennon, Esposo, Yoko Ono).

Tenemos dos tokens específicos de interés en este proceso: el último token del primer paso y el último token de toda la consulta. Filtramos los casos donde no ocurre razonamiento. Para cualquier consulta de dos pasos, creamos dos prompts diseñados para detectar atajos de razonamiento. El primer prompt es la consulta sin la respuesta. El segundo prompt es la consulta que falta la entidad puente. Este filtrado nos ayuda a identificar casos donde el modelo predice basándose en elecciones populares o debido a fuertes correlaciones.

Queremos entender específicamente las diferencias entre cuando el modelo completa la consulta de dos pasos correctamente y cuando falla. Tenemos dos subconjuntos de datos: uno donde el modelo responde correctamente tanto la consulta de dos pasos como el primer paso y otro donde responde ambas partes de manera aislada pero falla en la consulta completa.

Para nuestros experimentos, examinamos diferentes tamaños de modelos LLaMA: LLaMA 2 con 7B y 13B parámetros, así como LLaMA 3 con 8B y 70B parámetros. Los modelos más pequeños tienen menos capas en comparación con los más grandes.

Para averiguar dónde el modelo resuelve el primer paso, usamos un método llamado Patchscopes. Establecimos que el modelo resuelve el primer paso durante las capas tempranas, señalando la posición exacta en el procesamiento del modelo. Además, encontramos que la información importante sobre la entidad puente debe llevarse a la respuesta final en la última posición de la consulta.

Usar Patchscopes nos permite analizar Representaciones ocultas mientras se procesan consultas de dos pasos. Registramos la representación oculta del token de origen en una capa de origen y luego reemplazamos eso con la misma representación en una capa de destino durante el paso hacia adelante del modelo. El objetivo es generar una continuación que revele la entidad codificada de la representación oculta, dándonos una idea de cuán bien el modelo extrae información.

Los resultados muestran que un número significativo de casos decodificó con éxito la entidad puente de la representación oculta, específicamente en las capas tempranas. Esto indica que el conocimiento necesario a menudo se encuentra en estas etapas tempranas de procesamiento.

También observamos que el segundo paso aparece después del primero, principalmente en la última posición de la consulta. Al analizar el flujo de información, vemos que el primer paso se resuelve con la respuesta, que luego se utiliza para responder el segundo paso.

En el caso del segundo paso, las predicciones ocurren en las capas superiores del modelo. Las actualizaciones realizadas por la atención del modelo y las subcapas MLP son esenciales para crear estas predicciones. Nuestros experimentos muestran que las subcapas MLP juegan un papel significativo en predecir la respuesta, mientras que las subcapas de atención también contribuyen a ese proceso.

A continuación, dirigimos nuestra atención a la comparación entre casos correctos e incorrectos. Encontramos consistentemente que en los casos incorrectos, la resolución ocurre en capas más altas en comparación con respuestas correctas. Esta diferencia sugiere que cuán temprano se resuelve el primer paso es importante para responder con éxito a consultas de múltiples pasos.

Para confirmar nuestra hipótesis, probamos el back-patching más a fondo. La idea principal es que si la resolución del primer paso ocurre en capas que no contienen suficiente información para resolver el segundo paso, deberíamos observar mejoras en el rendimiento cuando retrocedemos.

Nuestros hallazgos indican que usar el back-patching conduce a una mejora significativa en la respuesta a consultas que antes eran incorrectas. Elegir correctamente las capas a utilizar en este proceso es importante, señalando una posible limitación dentro de la arquitectura de transformers. Esta limitación puede surgir de cómo el modelo procesa y extrae información a través de capas.

En resumen, nuestra investigación demuestra que los LLMs tienen un camino específico para el razonamiento. Nuestro análisis muestra que el primer paso se resuelve en las capas inferiores, mientras que el segundo paso se responde en las capas medias-altas. Nuestro trabajo arroja luz sobre los problemas que enfrentan los LLMs con consultas de múltiples pasos, revelando un área crucial para el desarrollo futuro para mejorar sus capacidades de razonamiento.

Si bien nuestro estudio se centra en consultas de dos pasos, creemos que métodos y conclusiones similares podrían aplicarse a consultas con más pasos. Sin embargo, se necesita más exploración en esta área. Además, aunque el back-patching muestra potencial para la mejora, aún no es una herramienta práctica para la inferencia, ya que no todos los intentos de back-patching conducen a respuestas correctas.

Este artículo muestra la necesidad de una mejor comprensión de cómo funcionan los LLMs e identifica formas de mejorar sus habilidades de razonamiento en preguntas complejas. Al continuar explorando estos caminos, podemos mejorar las habilidades de modelos como los LLMs, llevando en última instancia a un mejor rendimiento en diversas tareas y consultas.