Abordando la alucinación en modelos de lenguaje multimodal

Los Modelos de Lenguaje de Gran Escala Multi-modal (MLLMs) son sistemas avanzados que combinan la comprensión del lenguaje con el reconocimiento de imágenes. Se usan en varias aplicaciones, como crear subtítulos para imágenes y responder preguntas basadas en contenido visual. A pesar de sus capacidades, estos modelos a veces generan información incorrecta o engañosa que no coincide con las imágenes que analizan, un fenómeno conocido como "alucinación".

#El Problema de la Alucinación en MLLMs

La alucinación ocurre cuando los MLLMs generan salidas que son inconsistentes con las imágenes proporcionadas. Por ejemplo, si a un modelo se le muestra una foto de una manzana y luego dice que hay plátanos en la imagen, eso es una alucinación. La mayoría de las investigaciones sobre este tema se han enfocado en pruebas estándar que no consideran factores del mundo real como el Recorte o el desenfoque de la imagen. Estos factores pueden afectar significativamente el rendimiento de los modelos y llevar a salidas incorrectas, especialmente en áreas críticas como la salud y la conducción automatizada.

#Presentando Hallu-PI

Para evaluar mejor cómo manejan los MLLMs la alucinación en escenarios del mundo real, introducimos un nuevo estándar llamado Hallu-PI. Este estándar está diseñado para evaluar las respuestas de los MLLMs cuando las imágenes de entrada son alteradas o perturbadas. Hallu-PI combina varios tipos de Perturbaciones de imágenes, como ruido, desenfoque y recorte, y analiza cómo estos cambios impactan en el rendimiento de los modelos.

#Creando Hallu-PI

#Colección de Imágenes

El primer paso para crear Hallu-PI fue recolectar un conjunto diverso de imágenes. Nuestro objetivo era reunir imágenes de 11 tipos diferentes de objetos para asegurar representación. Se les pidió a los anotadores que eligieran imágenes de alta calidad y libre de derechos de uso.

#Tipos de Perturbación

Luego, categorizamos los tipos de alteraciones que se podían aplicar a las imágenes. Los tipos comunes de cambios de imagen incluyen:

• Ruido: Agregar variaciones aleatorias a las imágenes.
• Desenfoque: Hacer que las imágenes sean menos claras.
• Efectos Climáticos: Simular el impacto de nieve, lluvia o niebla.
• Manipulaciones Digitales: Ajustar colores y nitidez.

También identificamos perturbaciones específicas como el recorte de imágenes y mensajes engañosos que pueden engañar al modelo y hacer que proporcione información falsa.

#Proceso de Anotación

Una vez que las imágenes fueron perturbadas, los investigadores las anotaron con detalles sobre cualquier alucinación presente. Esto incluía identificar si el modelo generó objetos, atributos o relaciones incorrectas basadas en las imágenes.

#Realizando Experimentos

Realizamos pruebas extensas en 12 MLLMs diferentes, como GPT-4V y Gemini-Pro Vision. Estas pruebas mostraron un aumento distintivo en las Alucinaciones cuando los modelos se enfrentaron a imágenes perturbadas en comparación con las no alteradas.

#Resultados de los Experimentos

Los resultados destacaron una diferencia significativa en el rendimiento de los modelos. La mayoría de los modelos mostraron resultados deteriorados al procesar imágenes perturbadas. Algunos modelos, como GPT-4V, mantuvieron un grado de precisión, mientras que otros lucharon más severamente bajo perturbaciones específicas, como el recorte y mensajes engañosos.

#Identificando el Sesgo de Alucinación

Los experimentos revelaron que los MLLMs tienden a exhibir un sesgo hacia ciertos tipos de alucinaciones. Por ejemplo, los modelos a menudo tenían más problemas con el recorte de imágenes, donde se eliminan partes de la imagen, lo que lleva a malentendidos del contenido. Los mensajes engañosos que alentaban a los modelos a generar respuestas incorrectas también causaron una caída significativa en el rendimiento.

#Métodos para Reducir la Alucinación

Para abordar el problema de la alucinación, desarrollamos dos estrategias:

#Recordatorio Perturbado

Este método implica agregar un recordatorio a la entrada del modelo que enfatiza la importancia de enfocarse en el contenido visual. Al simplemente indicar que el modelo debe prestar atención a la imagen, observamos una disminución en las alucinaciones generales.

#Perturbado-ICL

El segundo método se llama Perturbado-ICL, que significa Aprendizaje En-Contexto Perturbado. Este enfoque incorpora ejemplos de entradas perturbadas junto con sus respuestas correctas en el contexto del modelo. Al mostrar al modelo cómo responder a escenarios similares, buscamos mejorar su capacidad para manejar perturbaciones de manera efectiva.

#Resumen de Hallazgos

A través del estándar Hallu-PI, aprendimos valiosos conocimientos sobre las limitaciones de los MLLMs cuando se enfrentan a entradas perturbadas. Nuestra investigación indicó que estos modelos a menudo producen alucinaciones al procesar imágenes alteradas, particularmente en escenarios comunes como el recorte y los mensajes engañosos. La introducción de los métodos Recordatorio Perturbado y Perturbado-ICL mostró promesa en la reducción de alucinaciones, sugiriendo caminos para futuras mejoras.

#Conclusión

En conclusión, nuestro estudio enfatiza la importancia de evaluar los MLLMs en condiciones realistas que reflejen los desafíos que enfrentan en el uso cotidiano. Al desarrollar estándares como Hallu-PI, buscamos impulsar una mejor comprensión de cómo se pueden mejorar estos modelos para minimizar la alucinación y aumentar su fiabilidad en aplicaciones del mundo real.