Avanzando Modelos Multimodales con X-LLaVA

Los grandes modelos de lenguaje (LLMs) están avanzando un montón, y ahora se están combinando con datos visuales para crear grandes modelos multimodales (LMMs). Estos modelos pueden procesar diferentes tipos de datos, no solo texto, sino también imágenes. Sin embargo, crear estos modelos no es nada fácil y puede ser costoso, especialmente cuando se trata de reunir los datos de entrenamiento necesarios. Esto se complica aún más al intentar construir datos multilingües para estos modelos, ya que los idiomas pueden variar mucho en estructura y estilo.

En este proyecto, nuestro objetivo es abordar estos desafíos proponiendo dos métodos rentables: ampliar el vocabulario de los modelos existentes y construir Conjuntos de datos automáticamente usando un sistema llamado GPT-4-V. Con estos métodos, construimos un conjunto de datos de entrenamiento que incluye 91,000 muestras en inglés, coreano y chino. También desarrollamos un modelo bilingüe que tiene un rendimiento excepcional tanto en coreano como en inglés, superando a los modelos anteriores.

#Antecedentes sobre Modelos Multimodales

Recientemente, los LMMs se han vuelto populares porque pueden seguir instrucciones visuales. Se presentó un modelo llamado LLaVA1.0, que usó GPT-4 para crear un conjunto de datos para respuestas a preguntas visuales (VQA). Aunque este enfoque mostró muy buenos resultados, tenía limitaciones: solo usaba texto y solo era compatible con inglés.

LLaVA1.5 mejoró esto utilizando un conjunto de datos multilingüe llamado ShareGPT, ampliando sus capacidades. Sin embargo, este conjunto de datos seguía careciendo de información visual, que es crucial para tareas de VQA. El nuevo conjunto de datos llamado ShareGPT4V abordó esto al incorporar datos visuales, pero, al igual que su predecesor, estaba limitado al idioma inglés.

Para superar estas barreras, nos propusimos crear un conjunto de datos multilingüe enfocado en información sobre objetos y relaciones. Nuestro conjunto de datos contiene preguntas y respuestas que cubren una amplia gama de temas, incluidos objetos, ubicaciones y conversaciones. Elegimos inglés, coreano y chino como nuestros idiomas objetivo porque provienen de diferentes familias lingüísticas.

#Resumen de la Construcción del Conjunto de Datos

Creamos un nuevo conjunto de datos con 23,496 pares de preguntas y respuestas relacionadas con contenido visual. El objetivo era asegurarnos de que el conjunto de datos capture una amplia variedad de expresiones y contextos. El nuevo conjunto de datos de seguimiento de instrucciones visuales multilingües (VIF) permitirá que nuestro modelo opere mejor en diferentes tareas.

El nuevo modelo, X-LLaVA, utiliza este conjunto de datos y mejora el modelo anterior, LLaVA1.5, con tres métodos específicos:

1. Expansión del Vocabulario: Agregamos nuevas palabras específicamente para coreano para fortalecer el modelo, ya que tenía un vocabulario más pequeño en comparación con el inglés.
2. Preentrenamiento: Se entrenó más al modelo para conectar el conocimiento en diferentes idiomas.
3. VIF Multilingüe: Realizamos un entrenamiento que permite al modelo manejar instrucciones en múltiples idiomas.

Los resultados iniciales mostraron que X-LLaVA mejoró el rendimiento en coreano en aproximadamente un 5.2% en comparación con el modelo anterior, KoLLaVA. También tuvo buen rendimiento en varias evaluaciones en inglés.

#Entendiendo las Mejoras del Modelo

#Expansión del Vocabulario

Uno de los problemas que encontramos fue que el vocabulario del modelo de lenguaje existente no apoyaba adecuadamente el coreano. Para solucionarlo, ampliamos el vocabulario para incluir palabras adicionales en coreano. Después de expandir el vocabulario, nuestro modelo aprendió nuevas representaciones que hicieron posible generar respuestas en coreano de manera más efectiva.

#Preentrenamiento

Además, realizamos una fase de preentrenamiento usando datos de Wikipedia en coreano e inglés. Este paso ayudó al modelo a mejorar su comprensión y habilidad para procesar información en ambos idiomas.

#Seguimiento de Instrucciones Visuales Multilingües (VIT)

Finalmente, aplicamos métodos VIT para entrenar al modelo para que entendiera mejor las instrucciones visuales. Este entrenamiento involucró usar nuestro nuevo conjunto de datos construido y reforzó la capacidad del modelo para conectar imágenes con respuestas textuales apropiadas en múltiples idiomas.

#Resultados Experimentales

En nuestros experimentos, evaluamos a X-LLaVA usando varios puntos de referencia. El objetivo principal era analizar qué tan bien se desempeñaba el modelo en diferentes situaciones.

#Evaluación Cuantitativa

Usamos varios conjuntos de datos para evaluar el rendimiento de nuestro modelo. Específicamente, analizamos conjuntos de datos VQA tanto para inglés como para coreano. Nuestros resultados destacaron el impacto de la expansión del vocabulario y los métodos de preentrenamiento:

• La evaluación mostró que X-LLaVA se desempeñó mejor que los modelos existentes, especialmente en coreano.
• El modelo también mantuvo un buen rendimiento en inglés, demostrando que el entrenamiento multilingüe podría beneficiar tanto a idiomas de alto recurso como de bajo recurso.

#Evaluación Cualitativa

Además de los resultados cuantitativos, realizamos evaluaciones cualitativas para entender qué tan bien el modelo podía generar respuestas significativas. Comparamos las respuestas de nuestro modelo con las de otros modelos.

Nuestros hallazgos indicaron que X-LLaVA superó a la mayoría de los otros modelos en generar respuestas detalladas y relevantes en contexto. También notamos que la expansión del vocabulario del modelo contribuyó positivamente a su rendimiento, permitiendo una mayor variedad de respuestas.

#Proceso de Generación de Datos

Al crear nuestro conjunto de datos, nos enfocamos en cuatro tipos de datos:

1. Céntrico en Objetos: Describe objetos específicos en una imagen.
2. Céntrico en Ubicación: Se concentra en las posiciones relativas de los objetos.
3. Céntrico en Atmósfera: Se enfoca en el estado de ánimo o la ambientación general de la imagen.
4. Conversacional: Involucra diálogos de múltiples turnos basados en las imágenes.

Para generar estos datos, usamos GPT-4-V, proporcionándole imágenes y mensajes que guiaron la creación de diversas preguntas y respuestas. Este proceso no solo generó una gran cantidad de datos, sino que también aseguró que fueran relevantes y aplicables en diferentes contextos.

#Desafíos en la Generación de Datos

Durante el proceso de creación de datos, nos enfrentamos a varios desafíos. Uno de los problemas principales fue asegurarnos de que las preguntas y respuestas fueran significativas y culturalmente apropiadas. Tuvimos que eliminar respuestas que contenían sesgos o que se enfocaban demasiado en una sola cultura.

Por ejemplo, notamos que GPT-4-V a veces producía respuestas que incluían nombres propios o referencias culturales que no tendrían sentido en todos los idiomas. Filtramos estas del conjunto de datos para asegurar una mejor calidad de datos.

#Resultados de la Evaluación

#Rendimiento Comparativo

Para evaluar el rendimiento de X-LLaVA, lo comparamos con varios modelos establecidos, incluidos BLIP-2, InstructBLIP, LLaVA1.5 y KoLLaVA. Los resultados mostraron:

• X-LLaVA logró puntajes significativamente mejores en evaluaciones en coreano y mantuvo un rendimiento competitivo en inglés.
• Las mejoras observadas fueron especialmente notorias en tareas que requerían comprensión de relaciones entre objetos y contextos culturales específicos.

#Evaluación de Preferencias

Además de las evaluaciones cuantitativas y cualitativas, también realizamos una evaluación de preferencias usando anotadores humanos. Las evaluaciones humanas mostraron que X-LLaVA produjo respuestas más preferidas en comparación con otros modelos, especialmente en coreano.

La evaluación indicó que, aunque GPT-4-V todavía proporcionaba respuestas superiores, X-LLaVA estuvo muy cerca. Cuando limitamos las respuestas por conteo de palabras, el rendimiento de X-LLaVA relativo a GPT-4-V mejoró, sugiriendo que la habilidad de comunicarse de manera concisa también importa al evaluar la calidad.

#Conclusión

En este estudio, presentamos un marco para desarrollar un modelo multimodal grande y multilingüe. Nos enfocamos en construir un conjunto de datos detallado y mejorar el proceso de entrenamiento para mejorar el rendimiento del modelo en varios idiomas. Nuestro modelo X-LLaVA mostró resultados prometedores, logrando un alto rendimiento tanto en coreano como en inglés mientras mantenía respuestas efectivas a entradas visuales.

Nuestra investigación resalta la importancia de la expansión del vocabulario y el preentrenamiento para modelos multilingües. Como consecuencia de este trabajo, hemos construido una base sólida para futuras investigaciones en modelos LMMs multilingües más extensos. Esta área sigue siendo rica en exploración, especialmente a escalas más allá de lo que hemos logrado hasta ahora.

De cara al futuro, planeamos refinar aún más nuestro modelo y conjunto de datos. Hay una clara necesidad de investigar cómo podemos integrar más idiomas y asegurar que nuestros métodos sean robustos a través de diversos paisajes lingüísticos y culturales. El camino por delante es emocionante, con grandes oportunidades para avanzar en nuestra comprensión y capacidad en el campo del procesamiento multimodal.