Aborder les hallucinations dans les modèles de langage multimodaux

Les Modèles de Langage Multi-Modal (MLLMs) sont des systèmes avancés qui combinent la compréhension du langage avec la reconnaissance d'images. Ils sont utilisés dans plein d'applications, comme créer des sous-titres pour des images et répondre à des questions basées sur du contenu visuel. Malgré leurs capacités, ces modèles produisent parfois des informations incorrectes ou trompeuses qui ne correspondent pas aux images qu'ils analysent, un phénomène connu sous le nom de "hallucination".

#Le Problème de l'Hallucination dans les MLLMs

L'hallucination se produit lorsque les MLLMs génèrent des sorties qui sont incohérentes avec les images fournies. Par exemple, si un modèle voit une image d'une pomme et prétend qu'il y a des bananes dans l'image, c'est une hallucination. La plupart des recherches sur ce sujet se sont concentrées sur des tests standards qui ne tiennent pas compte des facteurs du monde réel comme le Recadrage ou le flou. Ces facteurs peuvent affecter la performance des modèles et entraîner des sorties incorrectes, surtout dans des domaines critiques comme la santé et la conduite automatique.

#Présentation de Hallu-PI

Pour mieux évaluer comment les MLLMs gèrent l'hallucination dans des scénarios réels, on lance un nouveau benchmark appelé Hallu-PI. Ce benchmark est conçu pour évaluer les réponses des MLLMs quand les images d'entrée sont modifiées ou perturbées. Hallu-PI combine différents types de Perturbations d'images, comme le bruit, le flou et le recadrage, et analyse comment ces changements impactent la performance des modèles.

#Création de Hallu-PI

#Collecte d'Images

La première étape pour créer Hallu-PI a été de rassembler un ensemble diversifié d'images. On a voulu rassembler des images de 11 types d'objets différents pour assurer une bonne représentation. Les annotateurs ont dû choisir des images de haute qualité et libres de droits.

#Types de Perturbation

Ensuite, on a catégorisé les types d'altérations pouvant être appliquées aux images. Les types courants de changements d'images incluent :

• Bruit : Ajouter des variations aléatoires aux images.
• Flou : Rendre les images moins claires.
• Effets Météo : Simuler l'impact de la neige, de la pluie ou du brouillard.
• Manipulations Numériques : Ajuster les couleurs et la netteté.

On a aussi identifié des perturbations spécifiques comme le recadrage d'images et des prompts trompeurs qui peuvent piéger le modèle en lui faisant donner de fausses informations.

#Processus d'Annotation

Une fois les images perturbées, les chercheurs les ont annotées avec des détails concernant les Hallucinations présentes. Cela incluait d'identifier si le modèle avait généré des objets, attributs ou relations incorrects basés sur les images.

#Réalisation d'Expériences

On a mené des tests approfondis sur 12 MLLMs différents, comme GPT-4V et Gemini-Pro Vision. Ces tests ont montré une augmentation distincte des hallucinations quand les modèles étaient confrontés à des images perturbées par rapport à celles non modifiées.

#Résultats des Expériences

Les résultats ont mis en évidence une différence significative dans la performance des modèles. La plupart des modèles ont montré des résultats dégradés en traitant des images perturbées. Certains modèles, comme GPT-4V, ont maintenu un certain degré de précision, tandis que d'autres ont eu plus de difficultés sous des perturbations spécifiques, comme le recadrage et les prompts trompeurs.

#Identification du Biais d'Hallucination

Les expériences ont révélé que les MLLMs montrent souvent un biais envers certains types d'hallucinations. Par exemple, les modèles avaient souvent le plus de mal avec le recadrage d'images, où des parties de l'image sont retirées, entraînant des mauvaises interprétations du contenu. Les prompts trompeurs qui incitaient les modèles à générer des réponses incorrectes ont aussi causé une chute significative de performance.

#Méthodes pour Réduire l'Hallucination

Pour traiter le problème de l'hallucination, on a développé deux stratégies :

#Perturbed-Reminder

Cette méthode consiste à ajouter un rappel à l'entrée du modèle qui souligne l'importance de se concentrer sur le contenu visuel. En disant simplement que le modèle doit faire attention à l'image, on a observé une diminution globale des hallucinations.

#Perturbed-ICL

La deuxième méthode est appelée Perturbed-ICL, pour Apprentissage In-Context Perturbé. Cette approche intègre des exemples d'entrées perturbées avec leurs bonnes réponses dans le contexte du modèle. En montrant au modèle comment répondre à des scénarios similaires, on vise à améliorer sa capacité à gérer efficacement les perturbations.

#Résumé des Découvertes

Grâce au benchmark Hallu-PI, on a appris des informations précieuses sur les limites des MLLMs lorsqu'ils sont confrontés à des entrées perturbées. Nos recherches ont montré que ces modèles produisent souvent des hallucinations en traitant des images modifiées, particulièrement dans des scénarios courants comme le recadrage et les prompts trompeurs. L'introduction des méthodes Perturbed-Reminder et Perturbed-ICL a montré des promesses pour réduire les hallucinations, suggérant des pistes pour des améliorations futures.

#Conclusion

En conclusion, notre étude souligne l'importance d'évaluer les MLLMs dans des conditions réalistes qui reflètent les défis auxquels ils font face au quotidien. En développant des benchmarks comme Hallu-PI, on vise à mieux comprendre comment ces modèles peuvent être améliorés pour minimiser les hallucinations et renforcer leur fiabilité dans des applications réelles.