Faire avancer les modèles multimodaux avec RagLLaVA

Les grands modèles de langage (LLMs) ont montré un super succès pour comprendre la langue et générer des textes qui ressemblent à ceux des humains. Ils sont conçus pour lire et écrire, ce qui les rend utiles pour plein de tâches. Cependant, ces modèles galèrent souvent quand ils se retrouvent face à des infos complexes qui nécessitent des entrées en plus des mots, comme des images ou du son. Cette limitation a conduit au développement de modèles de langage multimodaux (MLLMs), capables de traiter et de générer des infos à partir de plusieurs types de données en même temps, comme du texte, des images et des sons.

Malgré leur potentiel, les MLLMs font face à des défis à cause de leur dépendance à des données d'entraînement fixes. Ça peut mener à l'utilisation d'infos dépassées et à un manque de conscience des événements récents ou des changements de contexte. Quand un modèle est bloqué avec de vieilles données, il peut donner des réponses incorrectes ou sans rapport, surtout quand la situation change rapidement. Pour surmonter ça, une méthode appelée génération augmentée par récupération multimodale (RAG) a été créée. Ça permet aux modèles d'accéder à des infos plus récentes et d'améliorer leurs réponses en tirant des données de diverses sources.

Cependant, en utilisant cette méthode, un nouveau problème apparaît, connu sous le nom de correspondance bruyante à multi-granularité (MNC). Ça veut dire que le système peut être confus par le bruit dans les données à différents niveaux. Par exemple, quand on récupère des images pour répondre à une question, le système pourrait tirer des images qui ne sont pas vraiment pertinentes, ce qui peut mener à des réponses inexactes. Le bruit de gros grain vient de l'utilisation de descriptions générales qui ne représentent peut-être pas bien des images complexes, tandis que le bruit de grain fin se produit quand les détails d'une image ne correspondent pas aux spécificités de la question.

Pour adresser ces soucis, un nouveau cadre appelé RagLLaVA a été introduit. Ce cadre vise à améliorer la performance des MLLMs en gérant à la fois le bruit de gros grain et le bruit de grain fin, s'assurant que les infos récupérées sont plus pertinentes et utiles.

#Les défis avec les modèles actuels

Bien que les MLLMs aient progressé dans leur capacité à gérer plusieurs types de données, ils rencontrent toujours des obstacles significatifs. Un des défis clés est leur dépendance à la richesse d'infos stockées dans leurs paramètres. Ça peut mener à certains problèmes, comme des lacunes de connaissances, des infos incorrectes et une diminution de la clarté dans les réponses du modèle. Les connaissances stockées ne sont pas toujours à jour ou complètes, ce qui peut être particulièrement problématique dans des domaines qui changent souvent, comme la technologie ou la santé.

Pour améliorer la performance, des modèles de langage augmentés par récupération (RALMs) ont été développés. Ces modèles utilisent une base de données externe pour trouver des infos précises et opportunes. De même, le RAG multimodal amène des infos externes dans les MLLMs pour aider à générer des réponses. Ça s'assure que les modèles aient accès à du contenu actuel et pertinent, ce qui idéalement améliore l'exactitude et la fiabilité de leurs résultats.

Un exemple de comment ces modèles fonctionnent peut être trouvé dans une tâche comme la réponse à des questions visuelles (VQA). Dans cette tâche, un modèle doit répondre à des questions sur des images. Par exemple, si on demande, "Qu'est-ce qui est plus détaillé, la sculpture sur un bâtiment historique ou une autre sculpture spécifique ?", le modèle doit récupérer et analyser des données visuelles avec précision pour répondre correctement. Cette exigence augmente la complexité des tâches que les MLLMs doivent gérer.

#Introduction de RagLLaVA

RagLLaVA est un nouveau cadre qui introduit deux techniques majeures pour améliorer la performance des MLLMs lors de l'utilisation du RAG multimodal. La première technique est le reranking amélioré par la connaissance, qui aide le modèle à mieux évaluer la pertinence des images ou des données qu'il récupère. La seconde technique est l'entraînement avec injection de bruit, qui vise à augmenter la capacité du modèle à gérer le bruit et les distractions dans les données.

#Reranking amélioré par la connaissance

Dans la phase de récupération, RagLLaVA utilise une méthode appelée CLIP pour tirer les meilleures images d'une mémoire externe. Cependant, simplement récupérer des images ne suffit pas, car certaines images peuvent ne pas être très pertinentes pour la question. Pour y remédier, le modèle est réglé avec une instruction spécifique qui l'aide à évaluer quelles images sont les plus pertinentes. En faisant cela, RagLLaVA peut sélectionner plus précisément des images qui correspondent à la requête, améliorant ainsi la qualité des informations qu'il utilise.

#Entraînement avec injection de bruit

Pour renforcer la robustesse du modèle, l'entraînement avec injection de bruit est appliqué. Ce processus implique d'introduire du bruit visuel pendant la phase d'entraînement, ce qui inclut à la fois du bruit au niveau des données et au niveau des tokens. Ça veut dire que, pendant l'entraînement, le modèle apprend à distinguer entre des informations pertinentes et non pertinentes, même quand il y a beaucoup de bruit.

#Bruit au niveau des données

Au niveau des données, RagLLaVA utilise une technique appelée échantillonnage négatif. Ça implique d'introduire des images qui ne sont pas pertinentes pour la question posée. Ça aide le modèle à mieux apprendre parce que ça force le modèle à réfléchir de manière critique sur ce qui rend une image pertinente dans le contexte de la question.

#Bruit au niveau des tokens

Au niveau des tokens, une incertitude visuelle est appliquée aux images pendant l'entraînement. Ça veut dire que du bruit gaussien est ajouté, créant des variations dans les images. Le modèle est entraîné à différencier ces images bruitées des images originales claires, ce qui renforce sa compréhension visuelle.

#Configuration de l'expérience

Pour tester l'efficacité de RagLLaVA, les chercheurs ont utilisé deux ensembles de données de questions-réponses multimodales : WebQA et MultimodalQA. Ces ensembles de données comprennent des questions qui nécessitent des images pour des réponses précises, aidant à évaluer comment bien le modèle intègre des données visuelles.

Les chercheurs se sont concentrés sur les sous-ensembles de ces ensembles de données qui impliquaient la récupération d'images pertinentes en réponse à des requêtes spécifiques. Le but était d'évaluer comment RagLLaVA peut améliorer la précision des réponses par rapport aux méthodes traditionnelles.

#Résultats

Les expériences ont montré que RagLLaVA a considérablement amélioré la capacité des MLLMs à récupérer des images pertinentes et à générer des réponses précises. Quand des méthodes d'évaluation standard ont été appliquées, RagLLaVA a constamment surpassé d'autres modèles qui n'utilisaient pas les techniques de reranking amélioré par la connaissance et d'entraînement avec injection de bruit.

#Performance de reranking

Quand le composant de reranking a été utilisé, les résultats étaient meilleurs dans tous les domaines. Il a efficacement filtré les images non pertinentes, menant à des scores améliorés en précision et en qualité globale des réponses générées. Cela démontre l'efficacité d'utiliser un modèle réglé par instruction pour le reranking, qui a surpassé les modèles traditionnels s'appuyant uniquement sur des descriptions visuelles ou une pertinence générale.

#Avantages de l'injection de bruit

De plus, la méthode d'entraînement avec injection de bruit s'est révélée bénéfique. En permettant au modèle d'apprendre à faire face au bruit, RagLLaVA a amélioré sa performance dans des scénarios réels où les informations ne sont pas toujours nettes ou clairement définies. L'introduction de bruit aux niveaux des données et des tokens a aidé le modèle à mieux gérer les disparités entre ce qu'il récupère et ce qui est réellement nécessaire pour générer des réponses correctes.

#Conclusion

Pour conclure, RagLLaVA représente un fort avancement pour les modèles de langage multimodaux en abordant le problème de correspondance bruyante à multi-granularité grâce à un reranking amélioré par la connaissance et un entraînement avec injection de bruit. Ce cadre améliore non seulement l'exactitude de la récupération d'informations, mais renforce aussi la capacité du modèle à traiter les complexités qui apparaissent dans les tâches multimodales.

Avec le besoin croissant de systèmes d'IA qui comprennent et traitent l'information comme les humains, RagLLaVA représente un pas significatif vers l'obtention de réponses plus fiables et précises dans des applications nécessitant de traiter des types de données mixtes, comme des informations visuelles et textuelles. Les résultats soulignent l'importance de méthodes d'entraînement robustes qui préparent les modèles aux défis du monde réel, ouvrant la voie à de futures innovations dans le domaine de l'intelligence artificielle.