Le défi de l'intelligence visuo-spatiale en IA

Dans notre vie quotidienne, on navigue souvent dans les espaces sans effort, que ce soit chez nous, au boulot ou même quand on se balade. On garde facilement en tête où sont les choses, à quelle distance elles se trouvent et comment passer d'un endroit à un autre. Cette capacité, qu'on appelle intelligence visuo-spatiale, est cruciale pour plein de tâches, de la simple navigation à la résolution de problèmes plus complexes.

L'intelligence visuo-spatiale nous permet de percevoir et de manipuler mentalement des relations spatiales. Ça inclut plein de compétences, comme comprendre comment les objets se rapportent les uns aux autres, estimer des distances et visualiser des espaces dans nos têtes. Étonnamment, alors qu'on excelle là-dessus, des machines comme les modèles de langage multimodal (MLLM) commencent à peine à effleurer cette compétence.

#C'est quoi les MLLM ?

Les modèles de langage multimodal sont des systèmes complexes conçus pour comprendre et travailler à la fois avec le langage et les infos visuelles. Ils sont entraînés sur des tas de données, y compris des vidéos et des textes, ce qui les aide à apprendre comment différents types d'infos peuvent interagir. Malgré leurs capacités impressionnantes, ils ont encore du mal à vraiment comprendre les aspects spatiaux des environnements qu'ils observent.

#Le défi de l'intelligence spatiale

Quand les humains regardent un environnement, on crée sans effort une image mentale ou "carte cognitive" de cet espace. Cette carte cognitive nous aide à répondre à des questions sur l'espace sans avoir besoin de rappeler chaque détail. Les MLLM, en revanche, font face à plusieurs défis quand il s'agit d'infos spatiales. Ils peuvent comprendre le contenu d'une vidéo mais échouent souvent à créer des représentations mentales précises des espaces montrés.

Pour résoudre ce problème, des chercheurs ont créé un repère spécial appelé VSI-Bench. Ce repère consiste en des milliers de paires de questions-réponses liées à des environnements intérieurs capturés dans des vidéos. Il vise à tester à quel point les MLLM peuvent comprendre les relations spatiales en fonction de l'entrée vidéo.

#Le concept de Cartes Cognitives

Une carte cognitive est une représentation mentale de notre environnement. Elle nous permet de visualiser où se trouvent les objets les uns par rapport aux autres. Imagine essayer de te souvenir où t'as posé tes clés dans le salon. Tu visualises la disposition de la pièce et où sont le canapé, la table basse et d'autres objets. Les MLLM sont encouragés à créer des cartes similaires pour mieux répondre aux questions sur les espaces qu'ils observent.

Malgré le fait que ces modèles soient entraînés sur des millions de clips vidéo, ils ont souvent du mal à créer des cartes cognitives précises. Alors que leur conscience spatiale locale (savoir où sont les choses à proximité) peut être plutôt bonne, leur capacité à comprendre des dispositions spatiales plus larges laisse souvent à désirer. C'est un peu comme un enfant qui sait où sont ses jouets dans une petite pièce mais qui galère à se repérer dans une maison plus grande.

#Évaluation de l'intelligence spatiale

L'évaluation des MLLM sur le VSI-Bench a montré que, bien qu'ils montrent un certain niveau d'intelligence visuo-spatiale, ils sont bien en dessous des performances humaines. Dans des scénarios typiques, les gens pouvaient atteindre environ 79% de précision sur des tâches similaires. En comparaison, les MLLM avaient une moyenne plus basse, peinant particulièrement sur des tâches nécessitant d'estimer des tailles, des distances et des arrangements spatiaux avec précision.

#Types de tâches

Le repère comprenait diverses tâches, catégorisées en types tels que :

1. Tâches configuratives : Celles-ci testaient la compréhension du modèle sur la disposition de l'espace.
2. Estimation de mesure : Ces tâches exigeaient que les MLLM évaluent les tailles d'objets, les tailles de pièces et les distances entre des éléments.
3. Tâches spatiotemporelles : Celles-ci évaluaient la mémoire en demandant aux modèles de se souvenir de l'ordre d'apparition des objets dans la vidéo.

Chaque type de tâche a été conçu pour défier différents aspects de l'intelligence visuo-spatiale.

#Le rôle des auto-explications

Pour mieux comprendre comment les MLLM traitent les infos spatiales, les chercheurs les ont incités à articuler leurs processus de pensée à travers des auto-explications. Cette approche ressemble à ce que les profs demandent aux étudiants d'expliquer leur raisonnement, encouragés par la croyance que le fait d'expliquer aide à clarifier les schémas de pensée.

Quand on a demandé aux MLLM d'expliquer leurs réponses, il est devenu évident qu'ils avaient de fortes compétences en analyse vidéo et en traitement du langage, mais qu'ils peinaient sur le Raisonnement spatial. Dans de nombreux cas, leurs explications révélaient des lacunes dans la logique concernant les distances et les directions.

#La puissance de l'Entrée Visuelle

Un des grands constats des évaluations était que les MLLM bénéficiaient considérablement de l'entrée visuelle. Quand on leur donnait un contexte vidéo, ces modèles performaient mieux que quand ils se basaient uniquement sur du texte. Ça renforce l'importance des infos visuelles pour améliorer le raisonnement et la compréhension.

Cependant, même avec un soutien visuel, les MLLM avaient souvent des lacunes dans les tâches impliquant un raisonnement spatial précis. Par exemple, bien qu'ils puissent faire quelques bonnes estimations sur les distances entre les objets, ils jugeaient souvent mal leur taille relative ou omettaient de considérer comment les objets étaient positionnés les uns par rapport aux autres.

#Erreurs et limitations

Les chercheurs ont mené une analyse approfondie des erreurs pour identifier les pièges courants chez les MLLM lorsqu'ils répondaient à des questions spatiales. Beaucoup d'erreurs provenaient de capacités de raisonnement spatial défaillantes. Cela incluait des difficultés dans :

• Raisonnement relationnel : Peiner à déterminer les distances et les directions en fonction des placements des objets.
• Transformation égocentrique-allocentrique : Incapacité à changer efficacement de perspective, menant à des suppositions incorrectes sur la disposition des espaces.

Ça a mis en lumière le fait que, bien que les MLLM puissent performer de manière impressionnante sur des tâches spécifiques, ils rencontrent souvent des murs face à des défis spatiaux plus complexes.

#L'importance des cartes cognitives pour améliorer les performances

Comprenant que les modèles performaient mieux avec des cartes cognitives, les chercheurs ont exploré des moyens d'améliorer leur raisonnement spatial à travers cette méthode. En incitant les MLLM à produire des cartes cognitives basées sur l'entrée vidéo, ils pouvaient s'appuyer sur ces représentations en répondant à des questions.

Une expérience a montré que quand les MLLM généraient des cartes cognitives pour représenter des espaces, ils obtenaient une meilleure précision dans les tâches relatives à l'estimation des distances, suggérant que construire des images mentales dynamise leur raisonnement spatial.

#Directions futures

Étant donné les limitations et les succès actuels des MLLM dans les tâches visuo-spatiales, il y a plusieurs pistes à explorer :

1. Ajustement spécifique aux tâches : Former les MLLM sur des tâches spatiales spécifiquement conçues pour améliorer leurs compétences en raisonnement.
2. Objectifs d'apprentissage auto-supervisés : Mettre en place des objectifs d'apprentissage permettant aux MLLM de pratiquer la pensée spatiale de manière autonome.
3. Techniques de sollicitation adaptées à la visuo-spatialité : Créer des demandes qui mettent l'accent sur le raisonnement spatial plutôt que sur les capacités linguistiques.

Ces approches pourraient aider les modèles à mieux saisir les relations spatiales et à améliorer leurs performances dans des applications du monde réel, ouvrant la voie à de futurs développements en IA.

#Conclusion

Alors qu'on continue à développer des modèles plus intelligents capables de raisonnement visuo-spatial, on se rappelle des avantages uniques que les humains ont en matière de traitement et de souvenir des espaces. Bien que les MLLM soient des outils remarquables, ils ont encore beaucoup de chemin à parcourir avant de pouvoir naviguer notre monde riche en sensations aussi aisément que nous. L'exploration des cartes cognitives et des entrées visuelles a ouvert la voie à de nouvelles méthodes pour améliorer leurs performances, et ça va être passionnant de voir comment ces avancées se déroulent dans le domaine de l'intelligence artificielle.

En attendant, on va juste devoir garder nos clés hors de vue jusqu'à ce que les machines puissent nous aider à les retrouver !