Evaluando las alucinaciones en grandes modelos de visión-lenguaje

Recientes desarrollos en modelos grandes de visión-lenguaje (LVLMs) muestran promesas en entender y generar información tanto de imágenes como de texto. Sin embargo, estos modelos a menudo producen "Alucinaciones," que son inconsistencias entre lo que muestra una imagen y lo que describe el modelo. Este artículo discute un nuevo marco para evaluar estas alucinaciones de manera más precisa, centrándose particularmente en tipos que han sido ampliamente pasados por alto en estudios anteriores.

#El Desafío de las Alucinaciones

Las alucinaciones en los LVLMs se refieren a inexactitudes en la información generada de las entradas de imagen. Estudios anteriores normalmente categorizaban las alucinaciones basándose en objetos, atributos y relaciones. Sin embargo, a menudo se perdían alucinaciones más complejas que crean narrativas alrededor de elementos ficticios. Aquí es donde entra en juego nuestra nueva categoría, conocida como Alucinación de Evento.

#Una Nueva Categoría: Alucinación de Evento

Las alucinaciones de evento representan una discrepancia más sofisticada, creando historias completas que incluyen objetivos ficticios, sus acciones, atributos y relaciones. Por ejemplo, un modelo podría generar una descripción que diga: "Un canguro está saltando cerca de las cebras, aparentemente buscando comida," incluso si no existe tal escena. Esta complejidad en las descripciones indica que las formas estándar de clasificar alucinaciones no son suficientes.

#Desarrollando un Marco de Evaluación Detallado

Para abordar estas complejidades, hemos creado un marco detallado para evaluar alucinaciones en los LVLMs. Este marco introduce un sistema refinado para categorizar alucinaciones y propone métodos para generar conjuntos de datos finos que incluyan diferentes tipos de alucinaciones, centrando particularmente en Alucinaciones de Evento.

#Generando Datos Alucinatorios

Utilizamos grandes modelos de lenguaje (LLMs) para crear y filtrar datos de alucinaciones. Este proceso nos permite evaluar los LVLMs en varios tipos de alucinaciones al integrar métodos de evaluación Discriminativos y Generativos dentro de un único marco.

#Pasos en la Generación de Datos

1. Creando los Conjuntos de Datos: Diseñamos un método para recopilar un amplio rango de imágenes y generar descripciones que pueden contener alucinaciones. Esto nos permitió reunir muestras que muestran alucinaciones de objetos, relaciones, atributos y eventos.

2. Evaluación Discriminativa: Para esta parte, construimos un conjunto de datos que incluye descripciones de imágenes con alucinaciones identificables. Luego configuramos preguntas uniformes para que los modelos determinen si una descripción refleja con precisión el contenido asociado de la imagen.

3. Evaluación Generativa: Esta parte implica crear un gran conjunto de datos que nos permite entrenar un LVLM para que sea un evaluador especializado. Este evaluador evalúa las descripciones generadas por otros LVLMs, identificando varios tipos de alucinaciones sin necesidad de descripciones de referencia.

#Hallazgos Clave de los Experimentos

Llevamos a cabo experimentos extensos utilizando varios LLMs líderes. Nuestros hallazgos clave incluyen:

• Muchos modelos mostraron un sesgo hacia responder "Sí" a si existía una alucinación cuando se les presentaron preguntas específicas. Esto lleva a una sobreestimación de su capacidad para manejar alucinaciones.

• Implementar un enfoque de Cadena de Pensamientos (COT) redujo significativamente las alucinaciones en los modelos, particularmente aquellas vinculadas a eventos y relaciones.

• La probabilidad de alucinación aumenta con la longitud de la salida generada. Esto indica la importancia de controlar la longitud de la salida para manejar la ocurrencia de alucinaciones de manera efectiva.

• Las muestras alucinatorias utilizadas durante el entrenamiento de nuestro evaluador también resultaron efectivas para ajustar otros LVLMs, ayudándoles a desempeñarse mejor en referencias.

#Anotación Automática de Alucinaciones Finas

Desafortunadamente, no ha habido un conjunto de datos integral disponible para la evaluación de alucinaciones. Para abordar esto, desarrollamos una tubería de Anotación Automática de Alucinaciones Finas (AFHA) que anota datos basándose en tipos de alucinaciones.

#Proceso de Anotación de Datos

Utilizamos indicaciones en LLMs para reformular sistemáticamente pares de imagen-texto según varias categorías de alucinaciones. Esto involucró infundir elementos alucinatorios específicos en las descripciones originales, resultando en un rico conjunto de datos con anotaciones en múltiples categorías.

#Filtrado de Datos para Calidad

Después del proceso de anotación inicial, encontramos que aproximadamente el 30% de los datos no cumplían con nuestros estándares de calidad. Creamos indicaciones personalizadas para limpiar los datos, asegurando que más del 97% del conjunto de datos final estaba a la altura del estándar.

#Construyendo el Banco de Evaluación de Alucinaciones

Armados con nuestros datos recién anotados, establecimos un banco de evaluación integral llamado Hal-Eval. Este banco incluye tanto métodos de Evaluación Discriminativa como Generativa.

#Conjuntos de Datos de Evaluación

Dividimos nuestros conjuntos de datos de evaluación en dos partes: dentro del dominio y fuera del dominio. Los datos dentro del dominio incluían muestras de conjuntos de datos validados, mientras que los datos fuera del dominio se obtenían de recursos web, proporcionando un amplio rango para probar los modelos.

#Proceso de Evaluación Discriminativa

En este método, hacemos preguntas sencillas a los modelos sobre el contenido de las imágenes basándonos en descripciones generadas. Seguimos varias métricas, como la precisión y la puntuación F1, para evaluar qué tan bien los modelos identifican las alucinaciones.

#Proceso de Evaluación Generativa

Esta evaluación examina qué tan bien los modelos generan texto a partir de imágenes sin alucinar. Desarrollamos un modelo de evaluación de código abierto que puede detectar contenido alucinatorio sin depender de descripciones de referencia, haciendo que la evaluación sea más escalable.

#Experimentando con el Marco Hal-Eval

Realizamos varios experimentos para analizar cómo se desempeñaron diferentes LVLMs bajo el nuevo marco de evaluación.

#Resultados Principales

De nuestro análisis, observamos:

• Hay una clara tendencia en los modelos a mostrar respuestas de "sí" en preguntas sobre alucinaciones, lo que indica un desafío en la evaluación precisa de las alucinaciones.

• Al evaluar salidas de longitudes más cortas, los modelos tendían a producir menos alucinaciones. Sin embargo, a medida que la longitud de la salida aumentaba, también lo hacía la ocurrencia de alucinaciones de eventos.

#Entendiendo Tipos de Alucinaciones en las Salidas

Analizamos cuidadosamente la proporción de diferentes tipos de alucinaciones generadas por varios modelos. Nuestros hallazgos incluyen:

• Las respuestas más cortas a menudo incluían principalmente alucinaciones de objetos, mientras que las más largas mostraron alucinaciones más diversas, incluyendo eventos.

• A pesar de que algunos modelos se desempeñaron mejor que otros, todos enfrentaron desafíos con la detección de alucinaciones, particularmente con discrepancias relacionadas con eventos.

#Perspectivas sobre el Control de Longitud y la Ocurrencia de Alucinaciones

A través de nuestros estudios, hemos subrayado la importancia de la longitud de la salida en relación con las alucinaciones. Las respuestas más simples y cortas tienden a producir menos alucinaciones, mientras que los modelos más largos tienen más probabilidades de generar alucinaciones de eventos. Esta información puede ayudar a ajustar los LVLMs para reducir la cantidad de alucinaciones que producen.

#Ajustando para un Mejor Desempeño

Para evaluar si nuestros datos generados podrían ayudar a mejorar el rendimiento de los LVLM, combinamos los datos anotados de alta calidad y ajustamos uno de los modelos. Los resultados mostraron mejoras notables, indicando que nuestros conjuntos de datos pueden jugar un papel en mitigar los problemas de alucinaciones.

#Trabajos Relacionados y Direcciones Futuras

Nuestra investigación se basa en trabajos anteriores en el campo de modelos de visión-lenguaje, pero también destaca la necesidad de evaluaciones más matizadas. Animamos a la investigación futura a seguir refinando las estrategias de detección de alucinaciones y expandiendo conjuntos de datos para cubrir más tipos de alucinaciones.

#Conclusión

En resumen, introdujimos una nueva categoría de alucinación en los LVLMs, establecimos un marco de evaluación detallado y obtuvimos información valiosa sobre cómo se pueden mejorar las salidas de los modelos para reducir las alucinaciones. La mejora continua y la evaluación de estos sistemas son esenciales para su aplicación en el mundo real.

#Declaración de Ética

Utilizamos conjuntos de datos disponibles públicamente y aseguramos que todos los anotadores consintieran su participación. Aunque nuestro enfoque está en reducir sesgos en las salidas del modelo, es crucial mantenerse alerta sobre posibles influencias en los datos de entrenamiento.

#Fuentes de Datos y Agradecimientos

Los conjuntos de datos que utilizamos incluyen COCO y otros, asegurando variedad y exhaustividad. Comparamos nuestros hallazgos con los benchmarks actuales para resaltar nuestras contribuciones únicas en esta área de investigación.

#Trabajo Futuro

Recomendamos explorar avenidas que amplíen la comprensión de las alucinaciones y desarrollen aún más estrategias para abordar estos problemas de manera efectiva. El objetivo final es mejorar la fiabilidad de los LVLMs en aplicaciones prácticas, allanando el camino para sistemas de IA más robustos.