Abordando las alucinaciones de relación en IA multimodal

Los modelos de lenguaje grandes (LLMs) han cambiado la forma en que interactuamos con la inteligencia artificial. Pueden generar texto, responder preguntas e incluso entender imágenes. Sin embargo, enfrentan problemas conocidos como "alucinaciones", donde producen información incorrecta o engañosa que no está respaldada por conocimientos reales.

Estos problemas se complican aún más cuando miramos los modelos de lenguaje multimodal grandes (MLLMs) que combinan texto e imágenes. Aquí, las alucinaciones pueden aparecer cuando el modelo representa mal objetos o relaciones en una imagen. Por ejemplo, si un modelo ve a un chico al lado de una mesa pero dice que el chico está sobre la mesa, eso sería una alucinación. Es fundamental abordar estos problemas para asegurarnos de que los MLLMs puedan ser confiables en escenarios del mundo real.

#¿Qué Son las Alucinaciones Relacionales?

Las alucinaciones en estos modelos se pueden dividir en tres tipos principales: alucinaciones de objetos, alucinaciones de atributos y alucinaciones relacionales.

• Alucinaciones de objetos se centran en si el modelo puede identificar correctamente objetos básicos en una imagen.
• Alucinaciones de atributos analizan si el modelo puede describir correctamente propiedades como el color o la forma de esos objetos.
• Alucinaciones relacionales son más complejas. Se refieren a cuán bien entiende el modelo las relaciones entre múltiples objetos en una imagen.

Por ejemplo, si un modelo ve un gato y una silla y dice que el gato está sentado en la silla cuando en realidad está debajo de ella, eso sería una alucinación relacional.

#Desafíos con la Investigación Actual

La mayoría de la investigación sobre alucinaciones se centra en los primeros dos tipos (objeto y atributo) y no profundiza en las alucinaciones relacionales. Los métodos actuales para evaluar estas alucinaciones a menudo se pierden detalles. Pueden depender de métodos simples que no dan una imagen completa. Esto puede llevar a sesgos basados en cómo se recopilan y etiquetan los datos.

Por ejemplo, los conjuntos de datos existentes pueden no representar bien situaciones de la vida real o pueden sobreenfatizar ciertas relaciones. Por lo tanto, hay una necesidad de crear un estándar que evalúe mejor las alucinaciones relacionales en los MLLMs.

#Presentando Reefknot

Para abordar estos desafíos, creamos un nuevo estándar llamado Reefknot. Este estándar se centra en las alucinaciones relacionales en MLLMs, y consta de más de 20,000 ejemplos del mundo real.

Primero, definimos claramente las alucinaciones relacionales, combinando ideas de cómo percibimos las cosas y cómo pensamos sobre ellas. Luego construimos un conjunto de datos utilizando una fuente confiable llamada Visual Genome, que nos ayuda a reunir relaciones significativas entre objetos.

En nuestra evaluación, examinamos los MLLMs actuales y encontramos que tienen dificultades significativas con las alucinaciones relacionales. Para ayudar con este problema, proponemos una nueva estrategia que implica medir la Confianza del modelo en sus respuestas para reducir la ocurrencia de estas alucinaciones.

#Evaluando Alucinaciones Relacionales

Nuestra evaluación utiliza tres tareas:

1. Preguntas de Sí/No (Y/N): Estas preguntas le piden al modelo si existe una cierta relación basada en la imagen.
2. Preguntas de Opción Múltiple (MCQ): Esta tarea presenta una respuesta correcta y tres opciones incorrectas para probar la comprensión del modelo.
3. Respuesta a Preguntas Visuales (VQA): En esta tarea, el modelo responde preguntas abiertas sobre la imagen.

A través de estas tareas, descubrimos que los modelos actuales a menudo no logran manejar eficazmente las alucinaciones relacionales.

#La Importancia de la Confianza en las Respuestas

Un hallazgo clave es que muchas alucinaciones surgen cuando los modelos carecen de confianza en sus respuestas. Cuando un modelo no está seguro, aumenta su probabilidad de generar una alucinación. Para combatir esto, desarrollamos una técnica llamada "Detectar-then-Calibrar."

La idea es simple: si la confianza de un modelo cae por debajo de un cierto nivel, sugiere que la respuesta que ha proporcionado podría ser incorrecta. En estos casos, ajustamos la salida del modelo utilizando información de capas de procesamiento anteriores para mejorar la respuesta final. Este método ha mostrado resultados prometedores, reduciendo las alucinaciones en casi un 10% en nuestras pruebas.

#Construyendo el Conjunto de Datos Reefknot

Crear el conjunto de datos Reefknot fue un proceso cuidadoso. Comenzamos identificando tripletas relacionales del conjunto de datos Visual Genome. Cada tripleta consta de un sujeto, una relación y un objeto. Después de filtrar ejemplos menos útiles, categorizamos las relaciones en dos tipos: perceptivas y cognitivas.

• Relaciones Perceptivas: Estas involucran términos claros de localización como "encima" o "detrás."
• Relaciones Cognitivas: Estas son más abstractas y están relacionadas con acciones como "mirar" o "sostener."

Luego, construimos una serie de preguntas basadas en estas relaciones, asegurándonos de que cada pregunta estuviera directamente relacionada con el contenido de la imagen, evitando la ambigüedad.

#Evaluando MLLMs con Reefknot

Probamos varios MLLMs populares utilizando el estándar Reefknot. Los resultados mostraron diferencias significativas en rendimiento. Algunos modelos lo hicieron mejor en tareas específicas y tuvieron dificultades en otras, revelando la necesidad de ajustes personalizados para mejorar su rendimiento general.

Curiosamente, las alucinaciones cognitivas aparecieron con menos frecuencia que las perceptivas. Esto podría parecer contraintuitivo. Los modelos suelen entrenarse en conjuntos de datos ricos en descripciones visuales, dándoles una ventaja en la comprensión de relaciones cognitivas, mientras que se pierden las perceptivas.

#Analizando Distribuciones de Probabilidad

Nuestro estudio también analizó cómo cambian los niveles de confianza cuando ocurren alucinaciones. Parece que cuando los modelos generan información incorrecta, su confianza cae significativamente. Para predicciones precisas, los modelos generalmente muestran una alta confianza, acercándose al 95%. Sin embargo, cuando surgen alucinaciones, esta confianza puede caer a alrededor del 70%.

Al examinar estos patrones de probabilidad, pudimos identificar instancias de alucinación de manera más efectiva. Este análisis nos ayuda a comprender las capas profundas en los MLLMs donde es más probable que ocurran alucinaciones.

#Método Detectar-then-Calibrar

Nuestro método "Detectar-then-Calibrar" es clave para abordar las alucinaciones relacionales. Al monitorear cuándo los modelos carecen de confianza, podemos ajustar mejor sus respuestas. Si se encuentra que un modelo no está seguro, utilizamos estados ocultos de capas anteriores, que son generalmente más confiables, para mejorar las salidas finales.

A través de pruebas rigurosas, este método demostró mejoras en varios conjuntos de datos, confirmando su efectividad.

#Conclusión y Direcciones Futuras

Para cerrar, nuestro trabajo destaca las brechas significativas en el abordaje de las alucinaciones relacionales en los MLLMs. El estándar Reefknot sirve como una herramienta valiosa para evaluar estos modelos y guiar futuras mejoras.

Si bien nuestro enfoque actual mitiga con éxito las alucinaciones básicas, se necesita una mayor exploración para comprender y abordar las alucinaciones relacionales en contextos más amplios. En el futuro, buscamos investigar las causas raíz de estos problemas y refinar nuestras técnicas para una mejor confiabilidad.

Al centrarnos en estas áreas, esperamos contribuir al avance de sistemas de IA multimodal confiables, asegurando que ofrezcan interacciones precisas y significativas en aplicaciones del mundo real.