Evaluando Modelos de Lenguaje Multimodal con el Benchmark CoIN

En los últimos años, los modelos de lenguaje grandes que pueden manejar tanto texto como imágenes han ganado mucho interés. Estos modelos, conocidos como Modelos de Lenguaje Multimodal Grandes (MLLMs), han demostrado ser muy prometedores para entender y generar contenido que involucra tanto visuales como texto. Un método común para mejorar estos modelos se llama Ajuste de Instrucciones, donde el modelo aprende a seguir mejor los comandos humanos y adaptarse a varias tareas según las instrucciones.

Sin embargo, estos modelos enfrentan desafíos para mantener su conocimiento existente mientras aprenden nueva información o comandos de los usuarios. Aquí es donde entra en juego el concepto de Aprendizaje Continuo. El aprendizaje continuo se enfoca en la capacidad de un modelo para aprender cosas nuevas sin olvidar lo que ya ha aprendido. El objetivo es equilibrar la capacidad de aprender nuevas tareas (plasticidad) con la necesidad de recordar conocimientos previos (estabilidad).

Este artículo presenta un nuevo referente llamado Ajuste Continuo de Instrucciones (CoIN), diseñado para evaluar qué tan bien se desempeñan los MLLMs actuales en este proceso de ajuste continuo de instrucciones. CoIN consiste en diez conjuntos de datos que cubren ocho tareas diferentes, con el objetivo de ofrecer un conjunto diverso de instrucciones. Los modelos entrenados se evalúan en base a dos aspectos clave: qué tan bien siguen las instrucciones y cuánto conocimiento general retienen para el razonamiento.

#El Desafío de los MLLMs

Los MLLMs tienen la capacidad de combinar información visual y textual, lo que los hace bastante poderosos. Normalmente siguen un enfoque de entrenamiento en dos fases. Primero, alinean los datos visuales con los datos de texto para crear una comprensión básica de las dos modalidades. En la segunda fase, se ajustan utilizando datos de instrucciones cuidadosamente diseñados para ayudarles a seguir mejor los comandos humanos.

A pesar de sus habilidades avanzadas, estos modelos aún luchan por actualizar su conocimiento y adaptarse a nuevas instrucciones de manera efectiva. Se ha encontrado que el entrenamiento multitarea, donde los modelos se entrenan con comandos viejos y nuevos, es un enfoque prometedor. Sin embargo, comenzar el proceso de entrenamiento desde cero con cada nueva instrucción puede ser costoso y llevar mucho tiempo. Por lo tanto, encontrar formas de que los MLLMs aprendan nueva información mientras mantienen sus habilidades anteriores es esencial.

#Un Nuevo Referente: CoIN

Para entender mejor cómo se desempeñan los MLLMs en un entorno de ajuste continuo de instrucciones, se ha creado el referente CoIN. Este referente incluye diez conjuntos de datos comúnmente utilizados que cubren una variedad de tareas como respuesta a preguntas visuales, clasificaciones de imágenes, y más. Al tener una variedad de tareas e instrucciones, CoIN busca proporcionar una evaluación integral de los MLLMs.

En la evaluación de CoIN, los modelos se evalúan desde dos perspectivas: Seguimiento de Instrucciones y Conocimiento General. El Seguimiento de Instrucciones mide qué tan bien se alinea el modelo con la intención humana, mientras que el Conocimiento General evalúa cuánto conocimiento retiene el modelo para las tareas de razonamiento.

#Hallazgos de los Experimentos de CoIN

Los experimentos iniciales usando CoIN indican que muchos MLLMs aún experimentan un olvido significativo, donde pierden la capacidad de seguir instrucciones anteriores en lugar de perder el conocimiento en sí. Este problema de "olvido catastrófico" ocurre cuando aprender nuevas tareas interfiere con la capacidad del modelo para recordar tareas más antiguas.

Para abordar esto, se introdujo un método llamado Mezcla de Expertos (MoE) a los MLLMs. Este método permite que el modelo utilice expertos separados que se especializan en diferentes áreas de conocimiento. Al aprovechar estos expertos, el modelo puede retener su capacidad de seguir instrucciones anteriores mientras también aprende nuevas. Los resultados de los experimentos muestran que este método reduce efectivamente el olvido.

#La Importancia del Ajuste de Instrucciones

El ajuste de instrucciones es vital para los MLLMs porque les ayuda a seguir comandos en lenguaje natural. Se han empleado varias estrategias para crear datos de instrucciones, desde usar conjuntos de datos existentes hasta generar nuevas instrucciones basadas en modelos de lenguaje potentes. Sin embargo, el enfoque en tipos de tareas tradicionales puede limitar la diversidad de las instrucciones.

CoIN intenta superar esta limitación al incorporar una amplia gama de tareas y plantillas de instrucciones. Esta diversidad tiene como objetivo probar los modelos a fondo y entender cómo se adaptan a diferentes tipos de instrucciones.

#Métodos de Evaluación en CoIN

La evaluación de los MLLMs en CoIN se basa en dos aspectos principales: Seguimiento de Instrucciones y Conocimiento General.

#Seguimiento de Instrucciones

Este aspecto examina qué tan bien puede el modelo generar la respuesta correcta en el formato deseado para cumplir con la intención humana. Para evaluar esta habilidad, las salidas de los MLLMs se comparan directamente con la verdad conocida, que sirve como la respuesta correcta. Se utilizan diversas métricas para medir la precisión en diferentes tareas.

Por ejemplo, en tareas de respuesta a preguntas visuales, la precisión se calcula en función de cuántas respuestas acierta el modelo. Para tareas de clasificación, el rendimiento se evalúa comparando las etiquetas predichas con las etiquetas reales.

#Conocimiento General

El conocimiento general evalúa la comprensión que poseen los modelos más allá de seguir instrucciones. Evaluar el conocimiento general implica analizar los resultados predichos a un nivel semántico, considerando si la información contenida en la respuesta del modelo es lógicamente precisa.

Para hacer esto, se utiliza otro modelo de lenguaje poderoso para evaluar las salidas sin enfocarse en la estructura, fijándose en cambio en la información central. Esto permite una comprensión más matizada de lo que el modelo sabe más allá de simplemente seguir comandos.

#Perspectivas Clave de CoIN

Los resultados de CoIN revelan varias perspectivas importantes sobre los MLLMs y sus capacidades de seguimiento de instrucciones.

1. Importancia de Instrucciones Diversas: Los modelos se desempeñan mejor cuando se entrenan en una variedad de tareas e instrucciones. La capacidad de ajustarse a varias instrucciones lleva a un rendimiento mejorado en comparación con usar un solo tipo de instrucción.

2. Impacto del Volumen de Datos de Entrenamiento: El volumen de datos de entrenamiento influye en el rendimiento, donde más datos tienden a mejorar los resultados hasta cierto punto. Sin embargo, si se introduce demasiada nueva información demasiado rápido, puede llevar a olvidar el conocimiento adquirido previamente.

3. Rol de los Expertos: El número de expertos utilizados en el marco de MoE afecta significativamente la capacidad del modelo para aprender y retener conocimiento diverso. Más expertos permiten una mejor especialización, disminuyendo la interferencia de tareas no relacionadas.

4. Dinámicas del Olvido: Se observó que el olvido de conocimiento general es más manejable que el olvido del seguimiento de instrucciones. Esto indica que, aunque los modelos pueden retener información, pueden tener dificultades para alinearse con intenciones humanas específicas.

#Conclusión

El referente CoIN abre nuevas avenidas para evaluar los MLLMs en el contexto del ajuste continuo de instrucciones. Al centrarse en tareas diversas y aplicar métodos de evaluación que consideren tanto el seguimiento de instrucciones como el conocimiento general, los investigadores pueden entender mejor cómo funcionan estos modelos y cómo mejorar sus capacidades.

A medida que los MLLMs continúan evolucionando, las perspectivas obtenidas de referentes como CoIN ayudarán a guiar el desarrollo de mejores estrategias para el ajuste de instrucciones, lo que en última instancia llevará a modelos más robustos que puedan adaptarse a las necesidades cambiantes de los usuarios sin perder lo que ya han aprendido.

Esta investigación continua sobre cómo los MLLMs aprenden y recuerdan será crucial para avanzar en el campo de la inteligencia artificial, particularmente en aplicaciones que requieren una profunda integración de información textual y visual.