Évaluer le raisonnement spatial dans les modèles de langage

Le raisonnement spatial est une compétence clé qui aide les humains à comprendre leur environnement. Ça nous permet de Saisir comment les objets se rapportent les uns aux autres dans l'espace. Cette capacité est cruciale pour des tâches quotidiennes comme marcher, conduire, ou jouer à des jeux. Ces dernières années, les grands modèles de langage (LLMs) ont montré qu'ils pouvaient comprendre le langage et effectuer des tâches de raisonnement. Mais, évaluer à quel point ces modèles gèrent le raisonnement spatial dans des situations pratiques n'a pas été assez exploré.

Les tests actuels se concentrent surtout sur comment les LLMs interprètent des descriptions écrites ou visuelles de l'espace, plutôt que sur comment ils planifient et agissent dans un scénario spatial. Pour combler cette lacune, on a créé un nouveau benchmark appelé GRASP (Benchmark Basé sur une Grille pour Évaluer le Raisonnement Spatial de Bon Sens). Ce benchmark propose un grand ensemble d'environnements en grille où des Agents doivent collecter de l'Énergie tout en naviguant à travers des Obstacles et en respectant diverses contraintes.

#Le Benchmark GRASP

GRASP se compose de 16 000 scénarios basés sur une grille où un agent doit résoudre un problème de collecte d'énergie. Chaque scénario présente différents agencements, distributions d'énergie, positions de départ pour l'agent, et types d'obstacles. En testant les LLMs dans ces environnements, on peut voir comment ils appliquent le raisonnement spatial dans des tâches pratiques.

Les scénarios incluent diverses distributions d'énergie comme aléatoire, inclinée verticalement, inclinée horizontalement, groupée, et en spirale. Il y a aussi différentes positions de départ pour l'agent, soit dans une zone désignée à l'intérieur de la grille, soit dans l'espace extérieur autour. La présence d'obstacles ajoute une couche de complexité, impactant comment les agents peuvent naviguer à travers la grille pour collecter de l'énergie.

#L'Importance du Raisonnement Spatial

Le raisonnement spatial, c'est plus que juste reconnaître où sont les choses. Ça implique de comprendre comment se déplacer dans l'espace, interagir avec des objets, et planifier des trajets efficaces. Par exemple, si un obstacle bloque le chemin, un bon raisonneur spatial va trouver un chemin alternatif. De même, si les ressources sont proches, c'est plus intelligent de les collecter en un seul voyage au lieu de faire plusieurs trajets.

Avoir une bonne maîtrise du raisonnement spatial aide dans beaucoup de scénarios du monde réel. Que ce soit en conduisant, en jouant à un sport, ou même en arrangeant des meubles, on utilise constamment ces compétences. Donc, c'est important pour les modèles qui visent à émuler le raisonnement humain, comme les LLMs, de bien performer dans des tâches qui nécessitent un raisonnement spatial de bon sens.

#Benchmarks Existants et Leurs Limites

Plusieurs benchmarks ont été développés pour évaluer le raisonnement spatial, comme SpartQA, StepGame, et BabyAI. Ces tests se concentrent généralement sur l'interprétation des relations spatiales à travers du texte ou des images. Cependant, ils ne mesurent pas efficacement à quel point un LLM peut utiliser l'information spatiale pour prendre des décisions et agir.

Ce qui rend GRASP unique, c'est qu'il se concentre sur des tâches pratiques nécessitant un raisonnement spatial. En mettant l'accent sur comment un agent peut planifier et agir en fonction des relations spatiales, GRASP offre une vision plus claire des capacités d'un LLM.

#Conception du Benchmark GRASP

#Environnements de Grille

GRASP inclut différents motifs de grille pour créer des scénarios de test variés. La grille est un espace bidimensionnel où chaque cellule peut être vide, remplie d'énergie, ou bloquée par un obstacle. L'objectif de l'agent est de collecter autant d'énergie que possible en un nombre limité d'étapes.

Au total, GRASP a 2 000 instances différentes de grille, façonnées par divers contrôles pour le placement de l'énergie, des obstacles, et des positions de départ de l'agent. Ces éléments créent 16 000 environnements de test uniques.

#Types de Distribution d'Énergie

Dans GRASP, il y a cinq types d'arrangements d'énergie :

1. Distribution Aléatoire : Chaque cellule a la même chance de contenir de l'énergie.
2. Distribution Inclinée Verticalement : Les cellules dans la moitié supérieure ont différentes probabilités de contenir de l'énergie par rapport à celles dans la moitié inférieure.
3. Distribution Inclinée Horizontalement : Semblable au cas incliné verticalement, mais elle s'applique aux moitiés gauche et droite de la grille.
4. Distribution en Regroupement : Des groupes de cellules sont remplis d'énergie, ce qui signifie que l'énergie est concentrée dans des zones spécifiques.
5. Distribution en Spirale : L'énergie est disposée en un motif en spirale partant du centre de la grille.

#Contraintes des Agents

En plus des configurations de grille, les agents font face à diverses contraintes qui affectent leurs actions. Ces contraintes peuvent inclure :

• Le nombre d'étapes que l'agent peut faire.
• Les types de mouvements autorisés (de base ou diagonaux).
• Des limites sur la quantité d'énergie que l'agent peut transporter.
• Les coûts associés à chaque étape.

Ces contraintes rendent les tâches plus difficiles et réalistes, car elles simulent le processus de prise de décision dans un contexte du monde réel.

#Évaluation des Performances

Pour évaluer l'efficacité de GRASP, on a mis en place et testé deux méthodes de base-marche aléatoire et recherche gourmande-contre deux LLMs avancés, GPT-3.5-Turbo et GPT-4o.

#Approches de Base

1. Marche Aléatoire : Cette méthode simule un agent qui se déplace aléatoirement sans aucune connaissance de la grille ou de son agencement. Il choisit des directions au hasard pour naviguer dans la grille et essaie de collecter de l'énergie.

2. Recherche Gourmande : Cet agent connaît l'agencement mais manque de compétences de planification. Il utilise une méthode de recherche basique pour se diriger vers la source d'énergie la plus proche.

#LLMs Avancés

Pour la comparaison, on a utilisé deux LLMs avancés :

• GPT-3.5-Turbo : Connu pour sa compréhension et génération de langage naturel.
• GPT-4o : Un modèle mis à jour qui devrait avoir de meilleures performances.

On a observé comment ces LLMs se comportaient sous les contraintes et on a comparé leur comportement par rapport aux deux méthodes de base.

#Résultats Expérimentaux

Les résultats ont montré qu'aucun des modèles avancés n'a constamment obtenu des résultats satisfaisants dans les environnements de grille. La méthode de recherche gourmande a eu la meilleure performance dans la plupart des scénarios, tandis que GPT-3.5-Turbo a eu beaucoup de mal.

Étonnamment, GPT-4o a montré une certaine amélioration par rapport à GPT-3.5-Turbo mais restait derrière l'agent de recherche gourmande. En moyenne, les modèles ont pris des longueurs de pas différentes pour compléter leurs tâches. GPT-4o a réussi à prendre moins de pas que les autres mais n'a pas réussi à collecter de l'énergie efficacement et à revenir au point de départ.

Ces résultats ont révélé des aperçus cruciaux sur les limites des LLMs actuels en matière de raisonnement spatial de bon sens. Malgré leur capacité à comprendre le langage, ils ont souvent du mal à appliquer cette compréhension à des applications pratiques dans un environnement contrôlé.

#Observations sur le Comportement des Agents

En analysant les actions des différents agents pendant les tâches, on a remarqué des comportements distincts. L'agent en marche aléatoire se baladait sans but dans la grille, démontrant un manque de mouvement orienté vers un objectif. Il tentait souvent de "collecter" de l'énergie même quand il n'y en avait pas.

En revanche, l'agent de recherche gourmande avait un fort focus sur l'atteinte des cellules d'énergie mais ne pouvait pas s'adapter aux conditions changeantes de la grille. Il ratait parfois des chemins directs ou se retrouvait bloqué par des obstacles.

Le comportement des LLMs avancés était mitigé. GPT-3.5-Turbo échouait souvent à identifier des chemins clairs et se déplaçait parfois même dans des cellules bloquées, tandis que GPT-4o faisait preuve d'une certaine réflexion stratégique mais ne faisait pas les mouvements les plus efficaces.

#Limites et Travaux Futurs

Bien que GRASP offre un moyen structuré d'évaluer le raisonnement spatial, il a ses limites. Les environnements sont générés de manière synthétique et peuvent ne pas reproduire uniformément la complexité des situations du monde réel. Les environnements de la vie réelle sont souvent dynamiques, avec de nombreuses pièces mobiles. De plus, GRASP se concentre actuellement sur un seul agent, tandis que beaucoup de tâches du monde réel impliquent plusieurs agents.

Il y a aussi un besoin de combiner des informations visuelles et spatiales pour améliorer l'évaluation des LLMs. Une approche multi-modale pourrait enrichir le dataset et fournir des aperçus plus profonds des capacités de modèles comme GPT-4o.

Les travaux futurs devraient viser à étendre GRASP pour simuler des tâches du monde réel et considérer divers agents interagissant dans une grille. En intégrant ces améliorations, on peut mieux comprendre comment les LLMs peuvent aborder des tâches de raisonnement spatial de bon sens.

#Conclusion

L'introduction de GRASP marque une avancée significative vers une meilleure évaluation des capacités de raisonnement spatial de bon sens des LLMs. En offrant un ensemble structuré et diversifié d'environnements en grille, on peut plus clairement voir les forces et faiblesses de ces modèles dans la gestion de tâches spatiales. Les observations des expériences soulignent les limites des modèles actuels et mettent en évidence le besoin de recherches et développements continus dans ce domaine. GRASP pose les bases pour des améliorations futures, aidant à créer des systèmes plus intelligents capables de raisonnements de bon sens plus efficaces dans des environnements variés et complexes.