Combiner des modèles de langage avec des outils de planification classiques

Les grands modèles de langage (LLMs) sont devenus populaires parce qu'ils peuvent répondre à des questions et tenir des conversations. Ces outils ont montré qu'ils peuvent bien répondre à plein de questions du quotidien sans avoir besoin d'une formation spécifique pour chacune d'elles. Cependant, ils ont du mal avec des tâches complexes, comme planifier des actions pour des Robots sur des périodes plus longues. Alors que les outils de Planification traditionnels peuvent rapidement trouver des solutions lorsqu'ils ont un problème clair, les LLMs ne s'en sortent pas aussi bien dans ces situations.

Pour régler ce problème, une nouvelle idée a été introduite. Cette approche combine les forces des outils de planification classiques avec les LLMs. L'objectif est de permettre aux LLMs de gérer des problèmes de planification avec précision en transformant des descriptions en langage naturel en un format spécifique appelé Planning Domain Definition Language (PDDL). La nouvelle méthode prend une description linguistique d'une tâche de planification, la traduit en PDDL, utilise un planificateur classique pour trouver une solution, puis transforme cette solution de nouveau en langage naturel. Avec cette méthode, divers problèmes de référence issus de tâches de planification de robots ont été définis.

Dans les tests, cette méthode a montré qu'elle pouvait trouver des solutions optimales pour la plupart des problèmes, tandis que les LLMs échouent généralement à proposer même des plans raisonnables.

#Contexte sur les Modèles de Langage

Les chercheurs rêvent depuis longtemps de créer des programmes informatiques capables de parler comme des humains. Même des modèles simples comme Eliza, créés il y a des décennies, pouvaient générer des réponses acceptables aux questions. Mais ils ont toujours eu des faiblesses qui soulignent leur incapacité à vraiment comprendre. Des modèles plus avancés, comme GPT-4 et ChatGPT, ont largement dépassé les attentes antérieures mais ont encore des limites. Beaucoup de gens aiment trouver des moyens de faire donner des réponses incorrectes ou absurdes à ces modèles, montrant ainsi leur manque de compréhension réelle.

Les LLMs sont formés pour générer des séquences de mots qui semblent plausibles selon le contexte. Ils sont devenus habiles à savoir quoi dire mais ratent souvent le coche sur ce qu'ils devraient dire, surtout dans le cadre de tâches de planification ou de problèmes mathématiques. Par exemple, lorsqu'on leur demande de résoudre un problème simple, ils peuvent lutter à cause de leur conception et de leur formation.

#Le Défi de la Planification

Prenons un problème de planification où un robot doit gérer un ensemble de blocs. Le robot pourrait avoir certaines règles à suivre, comme ne pas mettre plus d'un bloc sur un autre ou avoir des arrangements spécifiques sur une table. Quand des systèmes comme GPT-4 essaient de s'attaquer à de telles tâches, ils génèrent souvent des plans incorrects. Cela pose la question : devrions-nous obliger les LLMs à apprendre tous les problèmes arithmétiques et de planification possibles ? Clairement, ce serait impraticable. À la place, on peut utiliser des outils existants comme des calculatrices et des planificateurs classiques qui peuvent garantir des réponses correctes.

L'objectif de la recherche est de permettre aux LLMs de résoudre des problèmes de planification sans changer leur structure sous-jacente. La méthode proposée permet au LLM de :

1. Générer une description du problème adaptée à un planificateur.
2. Utiliser le planificateur pour trouver une solution.
3. Convertir la sortie du planificateur en un langage compréhensible.

De cette manière, les LLMs peuvent être guidés pour résoudre les problèmes de planification plus efficacement.

#Mise en Place du Problème de Planification

La planification est définie avec un cadre spécifique. Un problème de planification est composé d'un ensemble d'états utilisés pour décrire le scénario, un état initial, des états cibles souhaités, des actions à réaliser et une fonction qui décrit comment passer d'un état à un autre. La solution à la tâche de planification est essentiellement une séquence d'actions qui changera l'état initial en l'un des états cibles.

Le PDDL est un format standard utilisé pour représenter ces problèmes de planification. Il implique généralement deux fichiers : un qui décrit le domaine (les règles générales) et un autre qui décrit le problème spécifique en question (les conditions initiales et les objectifs).

Dans cette approche, l'objectif est de prendre une description en langage simple et de la remodeler en PDDL afin que des planificateurs efficaces puissent déterminer une solution. L'hypothèse est que les règles du domaine sont déjà définies.

#Utilisation des Modèles de Langage pour Écrire en PDDL

Les LLMs ne sont peut-être pas excellents en planification mais sont plutôt habiles à convertir le langage en divers formats. L'idée est que réécrire des problèmes de planification en PDDL est semblable à traduire d'une langue à une autre, quelque chose que les LLMs font bien.

Lorsqu'on leur donne une tâche en langage naturel, le LLM peut produire un fichier de problème PDDL. Cependant, s'ils ne reçoivent pas le bon contexte, les résultats peuvent contenir des erreurs ou des informations manquantes. Par exemple, le modèle pourrait générer un fichier PDDL qui a la bonne structure mais qui manque de détails cruciaux sur les conditions initiales du problème.

#Apprentissage par Exemples

Une caractéristique impressionnante des LLMs est leur capacité à apprendre à partir d'exemples sans nécessiter de formation supplémentaire. Lorsqu'on leur donne quelques entrées exemples et leurs sorties, ils peuvent s'adapter et réaliser des tâches liées. En fournissant un contexte sous la forme de descriptions en langage naturel d'exemples accompagnées de formulations PDDL, les LLMs peuvent générer des descriptions de problèmes plus précises.

Une fois équipés de cet apprentissage basé sur des exemples, les LLMs peuvent créer le PDDL nécessaire dont un planificateur a besoin. Ainsi, cette méthode agit comme un pont qui aide à faciliter la communication entre le langage humain et les exigences logiques des outils de planification.

#Intégration des Modèles de Langage avec la Planification Classique

La stratégie consiste à incorporer un planificateur classique dans le flux de travail du LLM. On part du principe que pour tout domaine de problème de planification, un humain peut fournir une description cohérente des actions qui guidera le LLM. Le LLM utilise ensuite les exemples fournis pour inférer comment traduire de nouvelles tâches en format PDDL.

Une fois que le LLM a généré le fichier PDDL, il est envoyé à un planificateur classique pour trouver le meilleur plan. Une fois que le planificateur a une solution, le LLM la traduit de nouveau en langage naturel. Cette méthodologie robuste permet au LLM de s'attaquer aux tâches de planification plus efficacement.

#Applications Pratiques et Tests

Les tests ont confirmé que cette méthode fonctionne bien dans divers scénarios du monde réel, comme des tâches que pourrait rencontrer un robot. Par exemple, lors d'un test, un robot a été instruit de déplacer une bouteille d'un endroit à un autre tout en se débarrassant d'une canette dans le processus. La méthode a réussi à générer un plan efficace qui a réduit les mouvements inutiles par rapport aux plans générés par les LLMs seuls.

Dans les situations où les LLMs manquaient de contexte approprié, leurs plans proposés devenaient souvent impraticables. La méthode s'est révélée capable de générer des plans optimaux pour la majorité des problèmes de planification, surtout quand des exemples bien définis étaient disponibles.

#Conclusion et Perspectives Futures

En résumé, la nouvelle approche combine efficacement des outils de planification classiques avec les LLMs pour améliorer leur capacité à gérer les tâches de planification. En se concentrant sur la traduction des descriptions de planification dans le format structuré PDDL, le LLM peut travailler aux côtés de planificateurs efficaces.

Bien que cette méthode montre de la promesse, il existe encore des opportunités pour un développement supplémentaire. Les futures recherches pourraient explorer des moyens pour que le LLM identifie quand engager automatiquement le processus de planification et réduise sa dépendance à des informations spécifiques fournies par des humains. Dans l'ensemble, cette approche marque une avancée significative dans l'amélioration de l'utilité des modèles de langage pour des tâches pratiques impliquant la planification et la prise de décision.