Chain-of-Sight: Un Nuevo Método para Entrenar MLLMs

En los últimos años, los modelos de lenguaje grandes (LLMs) han ganado mucha atención por su capacidad de leer y crear texto de manera efectiva. Estos modelos se están combinando con información visual, lo que ha dado lugar al desarrollo de Modelos de lenguaje grandes multimodales (MLLMs). Los MLLMs han mostrado un gran potencial en tareas que requieren entender texto e interpretar imágenes, como generar subtítulos para imágenes y responder preguntas basadas en contenido visual.

#La Necesidad de un Entrenamiento Eficiente

A medida que crece el tamaño y la complejidad de los MLLMs, también crecen los recursos de computación necesarios para entrenarlos. Entrenar un modelo de 7 mil millones de parámetros puede requerir decenas de miles de horas de computación, lo que no solo dificulta el acceso para muchos investigadores, sino que también tiene un impacto ambiental significativo. Un factor importante que contribuye a este largo tiempo de entrenamiento es la cantidad de información visual, o "Tokens Visuales", usados durante el proceso de entrenamiento.

Normalmente, en una sesión de entrenamiento, se procesan alrededor de 144 a 256 tokens visuales por cada par de imagen-texto. Reducir el número de tokens visuales podría hacer que el entrenamiento sea más rápido al permitir lotes más grandes y tiempos de paso más cortos. Sin embargo, esto a menudo viene con una desventaja: menos tokens visuales pueden llevar a un rendimiento reducido en la capacidad del modelo para entender y generar texto relacionado con las imágenes.

#Introduciendo Chain-of-Sight

Para afrontar el desafío de acelerar el entrenamiento de los MLLMs mientras se mantiene el rendimiento, se ha introducido un nuevo método llamado Chain-of-Sight. Este método modifica cómo se usan los tokens visuales durante el entrenamiento. En lugar de mantener un número constante de tokens visuales a lo largo del proceso de entrenamiento, Chain-of-Sight permite un número menor de tokens visuales durante el entrenamiento inicial y un aumento significativo en la cantidad de tokens más adelante al afinar el modelo.

El núcleo de Chain-of-Sight es una técnica de re-muestreo visual que captura información visual a diferentes escalas. Esto ayuda al modelo a retener detalles importantes de las imágenes, incluso cuando comienza con menos tokens visuales. Al gestionar eficazmente estos tokens visuales, el método Chain-of-Sight puede reducir el número necesario durante el entrenamiento inicial en hasta un 90%.

#Cómo Funciona Chain-of-Sight

El método funciona dividiendo las características visuales en secciones más pequeñas llamadas ventanas de diferentes tamaños. Al procesar estas ventanas, el modelo recoge información visual desde perspectivas amplias y detalladas. Este enfoque permite que el modelo mantenga un nivel de comprensión sobre la imagen mientras usa menos tokens visuales.

Una vez que el modelo está listo para la afinación, se puede aumentar significativamente el número de tokens visuales, permitiendo capturar más detalles de las imágenes. Este enfoque flexible no solo acelera el entrenamiento, sino que también permite que el modelo se adapte y mejore su rendimiento con un mayor número de tokens cuando sea necesario.

#Beneficios de Usar Chain-of-Sight

1. Entrenamiento más Rápido: Al reducir el número de tokens visuales inicialmente, el tiempo de entrenamiento puede disminuir en casi un 73%, permitiendo que los investigadores entrenen modelos de manera más eficiente.

2. Rendimiento Mantenido: La investigación muestra que incluso con menos tokens durante el entrenamiento, los modelos logran resultados competitivos en comparación con los entrenados con un conjunto completo de tokens visuales. Por ejemplo, un modelo entrenado solo con 32 tokens visuales puede rendir igual de bien que uno entrenado con 336 tokens después de la afinación.

3. Escalabilidad: La capacidad de aumentar el número de tokens visuales durante la afinación permite que el modelo se adapte a diferentes tareas mientras aprovecha las ganancias de eficiencia iniciales.

4. Eficiencia de Recursos: Este método reduce la demanda computacional durante la fase de pre-entrenamiento, lo cual es crítico para reducir costos y el impacto ambiental del entrenamiento de modelos grandes.

#Resultados Experimentales

La efectividad de Chain-of-Sight ha sido validada a través de varias pruebas. Los resultados indican que los modelos entrenados con el nuevo método superaron consistentemente a aquellos que usaron técnicas de entrenamiento tradicionales, requiriendo menos tiempo y recursos.

• Tiempo de Entrenamiento Reducido: El modelo entrenado con Chain-of-Sight vio una reducción significativa en el tiempo de entrenamiento en comparación con los métodos tradicionales, lo que llevó a un ahorro de recursos.

• Rendimiento en Tareas de Visión-Lenguaje: Al ser probados en tareas como subtitulación de imágenes y preguntas visuales, los modelos mostraron un gran rendimiento, igualando o superando los estándares establecidos por modelos tradicionales.

• Adaptabilidad: La capacidad de ajustar el conteo de tokens visuales permitió mejores resultados en tareas específicas cuando se realizó la afinación, demostrando que Chain-of-Sight mejora efectivamente las capacidades del modelo.

#Desafíos y Direcciones Futuras

Aunque Chain-of-Sight ofrece soluciones prometedoras, quedan algunos desafíos. Esta técnica se centra principalmente en los tokens visuales y puede necesitar más exploración en términos de cómo se integra con los tokens de texto durante el entrenamiento. Además, a medida que los MLLMs continúan creciendo en tamaño y complejidad, será esencial encontrar maneras de mantener la eficiencia sin sacrificar el rendimiento.

Investigaciones futuras podrían explorar otros métodos para mejorar la comprensión visual en los MLLMs y cómo estos modelos pueden ser aún más optimizados para diversas aplicaciones. La exploración de estas áreas tiene el potencial de hacer que los MLLMs sean aún más poderosos y eficientes.

#Conclusión

La introducción de Chain-of-Sight es un gran avance en el entrenamiento de modelos de lenguaje grandes multimodales. Al reducir el número de tokens visuales durante el pre-entrenamiento y permitir un escalado flexible durante la afinación, este método no solo acelera el entrenamiento, sino que también mantiene o mejora el rendimiento de los modelos. A medida que la investigación continúa, Chain-of-Sight podría allanar el camino para procesos de entrenamiento más eficientes, ayudando a los investigadores a aprovechar todo el potencial de los MLLMs para una amplia gama de aplicaciones.