Mejorando Modelos Multimodales Grandes: Una Nueva Perspectiva

Los Grandes Modelos Multimodales (LMMs) son herramientas que ayudan a las computadoras a entender tanto imágenes como texto juntas. Piénsalo como una mezcla de cerebros: una parte es buena con las palabras (el Gran Modelo de Lenguaje o LLM), y la otra parte es genial con las imágenes (como una cámara). Esta combinación permite que las máquinas respondan preguntas sobre imágenes de una manera que nos resulta más fácil de entender.

Sin embargo, estos modelos a menudo imaginan cosas que no están ahí, lo que llamamos Alucinaciones. Es como cuando crees que ves un delicioso pastel en la nevera, pero solo es una caja vacía. Mientras los científicos han estado tratando de encontrar maneras de arreglar estas alucinaciones, muchos métodos requieren mucho tiempo y entrenamiento extra. Afortunadamente, ideas recientes están mirando cómo funcionan los modelos internamente, en lugar de necesitar ayuda externa.

#¿Alucinación Qué?

Entonces, ¿qué son exactamente estas alucinaciones? Imagina esto: estás mirando una foto de un perro. Si el modelo dice con confianza: “¡Ese es un gato rojo!” cuando todos sabemos la verdad, ¡eso es un problema! No solo está equivocado; también puede ser bastante embarazoso. Para construir confianza, es super importante mostrar evidencia de lo que el modelo está afirmando.

Normalmente, arreglar estas alucinaciones significa empezar desde cero o usar otros modelos para ayudar. Ambas opciones pueden resultar caras y lentas, lo que no es ideal para la gente ocupada. Recientemente, algunos investigadores descubrieron que usar partes de los modelos mismos podría llevar a mejores respuestas sin costos adicionales.

#La Vieja Forma: Lente Logit

Una de las formas tradicionales de verificar alucinaciones se llama lente logit. Es como mirar por una cerradura para ver qué está pasando. Sin embargo, este método tiene algunos puntos ciegos. Tiende a buscar solo ciertas palabras y se pierde del panorama general, especialmente cuando se trata de entender escenarios complejos. Por ejemplo, si un modelo dice “la pelota es azul”, pero no verifica si es la pelota correcta o solo alguna cosa azul al azar, puede perderse.

#Un Nuevo Enfoque: Embeddings contextuales

Se nos ocurrió una nueva idea que utiliza más detalles sobre lo que está pasando en varios niveles del modelo. En lugar de solo verificar si una palabra aparece en algún lugar, miramos más a fondo lo que el modelo piensa. De esta manera, podemos entender mejor lo que se dice y si tiene sentido en el contexto de la imagen.

Al usar estos elegantes embeddings contextuales, podemos detectar alucinaciones que antes se pasaban por alto. ¡Es como actualizar de una linterna básica a un dispositivo de visión nocturna de alta tecnología! Ahora podemos ver lo que realmente hay ahí afuera.

#Cómo Lo Hacemos

Para averiguar si está ocurriendo una alucinación, tomamos las palabras que genera el modelo y vemos cómo se relacionan con diferentes partes de las imágenes. Nuestro método implica tres pasos clave:

1. Agarrar los Archivos de Palabras: Miramos las palabras generadas por el modelo.
2. Medir la Similitud: Revisamos todas las partes de la imagen, verificando cuán bien se conectan con las palabras. Si encontramos un eslabón débil, sabemos que hay un problema.
3. Dar Sentido a la Fundamentación: Para cada sección de la imagen, dibujamos una pequeña caja alrededor de la parte que creemos que señala la respuesta.

Este método funciona como tener un amigo conocedor que puede señalar dónde está cada cosa en una habitación desordenada, en lugar de solo adivinar.

#El Gran Panorama: Poniéndolo Todo Junto

Cuando hacemos pruebas, descubrimos que nuestro nuevo método supera a la vieja lente logit. Es como pasear con Google Maps en lugar de usar un mapa de papel aleatorio que está medio roto. Nuestro nuevo método es mejor para detectar cuando el modelo está equivocado, especialmente en preguntas complicadas sobre relaciones, atributos o comparaciones.

Por ejemplo, si alguien pregunta “¿De qué color es el carro al lado del árbol?”, en lugar de solo buscar “carro” y “color”, nuestro método también mira dónde está el carro en relación al árbol y empareja eso con la respuesta.

#Respuesta a Preguntas Visuales Fundamentadas

Nuestro nuevo método no solo es para detectar alucinaciones; también ayuda en la Respuesta a Preguntas Visuales Fundamentadas (GVQA). Esta es una manera elegante de decir que queremos fundamentar las respuestas a preguntas visuales con las partes correspondientes de una imagen.

Imagina preguntar “¿Dónde está la Torre Eiffel?” y obtener no solo un “París” sino una pequeña caja sobre la Torre Eiffel real. ¡Esa es la magia de GVQA! Podemos proporcionar evidencia clara para las respuestas, y este método ayuda con eso.

Para lograr esto, tenemos dos maneras de identificar las partes relevantes de una imagen:

1. Método Básico: Miramos todas las capas del modelo para encontrar la mejor coincidencia entre las palabras y diferentes partes de la imagen. Esto nos ayuda a entender dónde está cada cosa.

2. Método de Caja Delimitadora: Este es un poco más genial. En lugar de solo revisar cada parte, miramos todos los parches de la imagen y encontramos la caja delimitadora que mejor coincide con la respuesta. Así, podemos dar un espacio visible claro en lugar de solo puntos.

Esto hace que sea más fácil para los usuarios seguir el hilo, especialmente cuando su objetivo principal es descubrir dónde está algo y no solo ver un montón de puntos desajustados.

#Probando Nuestras Teorías

Para asegurarnos de que nuestras ideas funcionen, las probamos en tres conjuntos de datos diferentes. Estos conjuntos incluyen una variedad de imágenes y preguntas para poder ver qué tan bien se sostiene nuestro método en diferentes situaciones.

En nuestras pruebas, encontramos que nuestro método funciona muy bien en muchas áreas. Para detectar alucinaciones, revisamos un conjunto de datos llamado HQH, que tiene una colección de fotos con preguntas que pueden llevar a varios tipos de alucinaciones.

Para tareas de GVQA, usamos otros dos conjuntos de datos llamados TextVQA-X y VizWiz-G. Nuestro nuevo método a menudo tuvo un mejor rendimiento que las técnicas más antiguas, demostrando que puede encontrar de manera efectiva conexiones claras entre imágenes y respuestas.

#Resultados y Qué Significan

En nuestras pruebas, vimos que, si bien la lente logit tenía sus fortalezas, luchaba cuando se trataba de preguntas más complicadas que involucraban comparaciones o relaciones espaciales. Aquí es donde nuestro método entró en acción, desempeñándose mucho mejor y dando respuestas que tenían sentido.

En áreas como contar, donde el modelo necesita determinar cuántos objetos están presentes, el método más antiguo aún lo hacía mejor. Esto nos muestra que, aunque estamos mejorando, todavía hay espacio para crecer en ciertas tareas específicas.

Nuestro método también proporciona una precisión excelente. Cuando creamos cajas delimitadoras, se ajustan estrechamente a las partes relevantes. Esto facilita a los usuarios verificar visualmente las respuestas. Es como recibir un pin de Google Maps preciso en lugar de solo un área vaga.

#Perspectivas Cualitativas

Para ilustrar qué tan bien funciona nuestro método, nos divertimos mostrando resultados. Elegimos ejemplos donde el modelo fundamentó con éxito respuestas dentro de las imágenes. Por ejemplo, destacó el lugar correcto de Big Ben en el horizonte. Este tipo de éxito muestra cómo nuestro método no solo encuentra respuestas, sino que también las vincula de manera precisa a la evidencia visual de una manera que tiene sentido.

Además, nuestro método incluso puede fundamentar respuestas en gráficos o infografías, lo cual es impresionante. Esto abre la puerta para usar estos modelos multimodales en áreas más complejas, haciéndolos herramientas realmente versátiles.

#Lecciones Aprendidas

Nuestro trabajo demuestra que usar embeddings contextuales puede mejorar significativamente la detección de alucinaciones y la fundamentación visual en LMMs. Al aprovechar la información más rica que se encuentra en estos embeddings, podemos hacer que los modelos funcionen mejor, entender relaciones complejas y dar respuestas más claras.

Sin embargo, también reconocemos algunos desafíos. La mayoría de nuestras pruebas se han centrado en preguntas sencillas, y expandirnos a conjuntos de datos más diversos o complicados podría mejorar aún más el rendimiento del modelo. Además, aprendimos que contar sigue siendo un área complicada donde se pueden hacer mejoras, y encontrar maneras de aumentar la recuperación sin sacrificar la precisión podría llevar a un sistema aún mejor.

#Conclusión

En resumen, hemos avanzado en hacer que los modelos sean más inteligentes y menos propensos a imaginar cosas que no están ahí. Al usar embeddings contextuales, hemos mejorado la capacidad de detectar alucinaciones y refinar respuestas de una manera que hace que los usuarios confíen más en la tecnología. Creemos que esto allana el camino hacia una mejor comprensión de imágenes y texto combinados, facilitando que las personas obtengan la información que necesitan sin preocuparse de ser engañadas.

Así que la próxima vez que escuches a un modelo declarando con confianza “¡Ese pastel es delicioso!”, recuerda, podría ser bueno verificar si realmente hay pastel en la nevera. Con nuestros avances, al menos podemos hacer que esas conclusiones sean más fáciles de fundamentar en la realidad.