Evaluando la percepción visual en modelos de lenguaje

Los modelos de lenguaje grandes (LLMs) son programas de computadora que pueden entender y generar lenguaje humano. Recientemente, algunos de estos modelos se han diseñado para trabajar tanto con texto como con imágenes. Esto significa que pueden mirar fotos y responder preguntas o describir lo que ven. Sin embargo, hay una gran diferencia entre "ver" una imagen y realmente "percibirla". La percepción implica entender e interpretar lo que vemos, algo que los humanos hacemos muy bien, pero los LLMs actuales tienen dificultades con eso.

#El Desafío de la Percepción Visual

Los humanos a menudo pueden responder preguntas sobre imágenes casi de inmediato. Por ejemplo, podemos decir fácilmente qué objeto está más cerca en una foto o cuál imagen es un reflejo. Pero para los LLMs que trabajan con imágenes, estas Tareas son mucho más complicadas. Este documento presenta un benchmark especial, que es un conjunto de pruebas diseñadas para evaluar qué tan bien estos modelos pueden entender la información visual. El benchmark se basa en problemas clásicos de visión por computadora, pero estos problemas se han convertido en preguntas de opción múltiple adecuadas para los LLMs.

#Estructura del Benchmark

El benchmark consiste en 14 tareas diferentes de percepción visual, todas diseñadas para ser respondidas rápidamente por humanos, pero difíciles para las máquinas. Mientras que los humanos obtienen un puntaje promedio de alrededor del 95% en estas tareas, los mejores LLMs solo alcanzan aproximadamente el 51%. Esto significa que hay una brecha notable entre las habilidades humanas y las de los LLMs. El benchmark incluye varios tipos de preguntas sobre imágenes, desde comparaciones básicas como identificar colores hasta tareas de razonamiento más complejas que involucran profundidad y distancia entre objetos.

#Comparación con la Visión por Computadora Tradicional

Tradicionalmente, la visión por computadora tenía como objetivo analizar imágenes como escenas 3D en lugar de solo fotos planas. La investigación temprana en visión por computadora estableció muchas tareas que se centraban en entender varios aspectos de las imágenes, como cómo la luz interactúa con los materiales y cómo reconocer objetos específicos. Sin embargo, con el auge de los LLMs, el enfoque se trasladó hacia tareas de lenguaje que combinan imágenes y palabras. Este cambio puede no haber sido beneficioso, ya que muchas tareas que requieren una verdadera comprensión de las imágenes no se abordan bien solo usando lenguaje.

#Importancia de la Percepción Visual

La capacidad de percibir e interpretar información visual es crítica para muchas aplicaciones, incluyendo robótica, salud y seguridad. Entender cómo se desempeñan los LLMs en estas tareas visuales puede ayudar a mejorar sus diseños. Este documento tiene como objetivo resaltar las deficiencias de los LLMs actuales y fomentar un mayor desarrollo en esta área.

#Métodos de Evaluación Actuales

Los benchmarks existentes para evaluar el rendimiento de LLMs a menudo confunden la percepción visual con la comprensión del lenguaje. Por ejemplo, podrían pedir a un modelo que describa una imagen o adivine qué sucederá a continuación basándose en una imagen. Tales tareas se centran más en el conocimiento del lenguaje que en la verdadera percepción. Esto puede llevar a una mala interpretación de las habilidades de los modelos, ya que pueden parecer competentes en estas tareas cuando, en realidad, dependen mucho de sus habilidades lingüísticas.

#Características Nuevas del Benchmark

Este nuevo benchmark tiene varios aspectos únicos que lo distinguen de los anteriores.

1. Prompts Visuales Diversos: A diferencia de los benchmarks previos, que típicamente usaban solo preguntas de texto, este incluye diversos prompts visuales. Esto significa que el modelo debe analizar áreas específicas de las imágenes, mejorando la evaluación de su comprensión.

2. Rango Integral de Tareas: El benchmark se extiende más allá de simples preguntas de reconocimiento para incluir habilidades de razonamiento complejas, como entender profundidad y relaciones espaciales.

3. Problemas de Sentido Común Visual: Muchas preguntas están diseñadas para ser sencillas para los humanos, lo que permite una comparación más clara entre el rendimiento humano y el de la máquina.

4. Formatos Intercalados: Algunas preguntas presentan tanto texto como imágenes, desafiando a los LLMs a demostrar una verdadera comprensión en lugar de solo reconocimiento.

5. Colección de Imágenes Diversas: El benchmark incluye imágenes de varios contextos, asegurando una evaluación completa de las habilidades tanto en ambientes interiores como exteriores.

#Descripción de Muestras de Tareas

El benchmark incluye varias tareas que evalúan diferentes niveles de comprensión visual:

1. Correspondencia Visual: Esta tarea prueba la capacidad de identificar los mismos puntos en imágenes tomadas desde diferentes ángulos o iluminación. Mide qué tan bien puede reconocer un modelo los cambios en la perspectiva.

2. Reflectancia Relativa: Aquí, los modelos deben evaluar el brillo de diferentes áreas en una imagen, lo que evalúa su comprensión de materiales y luz.

3. Profundidad Relativa: Esta tarea verifica si el modelo puede determinar qué objetos están más cerca o más lejos de la cámara.

4. Relaciones Espaciales: Entender dónde están los objetos en relación unos con otros es esencial para captar escenas, y esta tarea ayuda a medir esa habilidad.

5. Razonamiento de Múltiples Vistas: Esto evalúa cuán bien pueden inferir movimientos o acciones los modelos basándose en imágenes tomadas desde diferentes perspectivas.

6. Reconocimiento de Patrones: Los modelos necesitan reconocer formas o colores similares en múltiples imágenes para evaluar su capacidad de identificar patrones.

7. Evaluación de Estilo Artístico: Esta tarea revisa si el modelo puede determinar similitudes en estilo artístico entre imágenes.

8. Localización de Objetos: Aquí, los modelos deben identificar con precisión las posiciones de los objetos dentro de escenas complejas.

9. Detección Forense: Esto implica distinguir entre imágenes reales y falsas, un aspecto importante en el paisaje digital de hoy.

10. Similitud Visual: Los modelos deben identificar cuál de varias imágenes es más similar a una imagen de referencia dada.

11. Correspondencia Funcional: Esta tarea verifica si el modelo puede reconocer funciones similares en diferentes imágenes de objetos.

12. Correspondencia Semántica: Los modelos deben emparejar partes semánticamente similares de diferentes imágenes, poniendo a prueba su comprensión de significados subyacentes.

#Configuración Experimental

Para este benchmark, se evaluaron 16 LLMs multimodales diferentes para medir su rendimiento. La evaluación usó una variedad de configuraciones estándar para asegurar consistencia y fiabilidad. Los resultados mostraron una clara brecha de rendimiento entre humanos y los modelos, confirmando la inadecuación de los LLMs actuales en tareas visuales.

#Resultados Principales

Los resultados ilustran que, aunque los LLMs pueden lograr cierta comprensión de imágenes, su rendimiento general es significativamente inferior al de los humanos. Los LLMs más exitosos obtuvieron alrededor del 51%, mientras que los humanos lograron más del 95%. Estos hallazgos subrayan la necesidad de mejoras en cómo se entrenan y evalúan los LLMs.

#Comparación con Modelos Especializados

El benchmark también nos permite comparar los LLMs con modelos especializados que se centran únicamente en tareas visuales. Estos modelos se desempeñaron mucho mejor en diversas tareas, proporcionando una idea de lo que los LLMs multimodales podrían lograr si se entrenaran con los datos y la metodología adecuados.

#Análisis de Errores

Un análisis de errores reveló problemas comunes entre los LLMs. Muchos tuvieron dificultades para reconocer pequeños detalles o entender las relaciones espaciales. Tales errores muestran que los LLMs a menudo no comprenden completamente las imágenes que analizan.

#Conclusiones y Direcciones Futuras

En conclusión, la brecha entre la percepción visual humana y la comprensión de las máquinas es evidente. El nuevo benchmark proporciona un marco más claro para evaluar las capacidades visuales de los LLMs y sugiere caminos para futuras mejoras. Al centrar el enfoque en tareas centrales de percepción visual, podemos obtener mejores ideas sobre cómo mejorar estos modelos.

#La Necesidad de Modelos Mejorados

Las mejoras en la percepción visual serán críticas no solo para avanzar en la tecnología de LLMs, sino también para mejorar aplicaciones en varios campos. A medida que estos modelos continúan desarrollándose, incorporar ideas de modelos especializados podría proporcionar los avances necesarios en comprensión visual.

#Importancia de las Perspectivas Interdisciplinarias

Cerrar la brecha entre las tareas tradicionales de percepción visual y las capacidades multimodales modernas puede llevar a mejores sistemas. A medida que los investigadores exploran la intersección de lenguaje y visión, es importante recordar los principios fundamentales de percepción que pueden y deben integrarse en futuros modelos.

#Reflexiones Finales

A medida que la tecnología sigue evolucionando, entender y mejorar cómo las máquinas perciben la información visual será esencial. La introducción de este nuevo benchmark es un paso significativo en esa dirección, ofreciendo una plataforma para la evaluación y el avance continuo en la IA multimodal. El trabajo realizado aquí ayudará a guiar investigaciones y desarrollos futuros destinados a cerrar la brecha entre las capacidades de percepción humana y de máquina.