Évaluer les LLM avec le benchmark PPTC-R

Les grands modèles de langage (LLMs) sont de plus en plus utilisés pour aider les gens à accomplir des tâches basées sur les instructions des utilisateurs. Cette dépendance soulève des questions importantes sur la performance de ces modèles dans des situations réelles où les tâches peuvent être complexes. Pour mieux évaluer les forces et les faiblesses des LLMs, nous avons créé un nouveau référentiel appelé PowerPoint Task Completion-Robustness (PPTC-R). Ce référentiel teste la capacité des LLMs à suivre des tâches liées à PowerPoint face à divers défis, comme des changements dans les instructions des utilisateurs et différentes versions de logiciels.

#Objectif du Référentiel

L'objectif principal du PPTC-R est d'évaluer la robustesse des LLMs quand ils font face à différents types de défis. On a élaboré des instructions d'utilisateur difficiles et manipulé la version du logiciel pour voir comment ces facteurs affectent la performance des modèles. Les instructions d'utilisateur adversariales sont mises en place pour perturber les capacités d'accomplissement de tâches des LLMs. Notre référentiel est unique parce qu'il se concentre sur la façon dont les LLMs interagissent avec et appellent des interfaces de programmation d'application (APIs) pour réaliser des tâches, ce qui est crucial pour utiliser les LLMs dans de vraies applications.

#Création du Référentiel

Pour créer le référentiel PPTC-R, nous avons établi plusieurs facteurs à analyser la performance des LLMs :

1. Instructions Adversariales : On a créé des instructions d'utilisateur compliquées qui poussent les limites de la compréhension des LLMs. On a changé les instructions à différents niveaux, comme la structure des phrases, le sens, et la langue.

2. Variations de Logiciel : On a ajusté le nombre d’APIs disponibles pour les LLMs pour voir comment cela impactait leur capacité à accomplir des tâches PowerPoint. Cela simule à la fois des mises à jour de logiciels et des lacunes potentielles dans les versions antérieures.

3. Test de Divers LLMs : On a sélectionné une gamme de LLMs fermés et open-source pour voir comment ils se comparaissent dans les mêmes conditions.

#Création d'Instructions Adversariales

On a développé trois catégories d'instructions adversariales :

1. Changements au Niveau de la Phrase : Cela implique d’ajouter des phrases sans rapport avec l'instruction originale. L'idée est de brouiller les pistes du LLM et de voir s'il réussit quand même à accomplir la tâche principale.

2. Changements Sémantiques : Dans ce cas, on a reformulé l'instruction originale sans changer son sens. Ça teste la capacité des LLMs à comprendre différentes phrases qui véhiculent la même idée.

3. Changements de Langue : On a traduit l'instruction originale dans plusieurs langues. Cela évalue comment les LLMs gèrent les tâches qui ne sont pas dans leur langue principale.

#Variations de Version de Logiciel

En plus de tester les instructions adversariales, on a ajusté la version du logiciel pour voir comment les LLMs se débrouillaient dans différents scénarios.

1. Mise à Jour d’API : On a ajouté de nouvelles APIs pour voir comment les LLMs réagissaient à des commandes inconnues. Ça simule ce qui se passe quand un logiciel est mis à jour avec de nouvelles fonctionnalités.

2. Réduction d’API : On a limité les APIs disponibles pour voir comment les LLMs s’en sortaient quand ils n'avaient pas tous les outils nécessaires pour accomplir les tâches.

#Évaluation des LLMs en Utilisant le Référentiel

On a testé sept LLMs différents, y compris des populaires comme GPT-4 et ChatGPT, ainsi que plusieurs modèles open-source. L'évaluation était axée sur des tâches basées sur des tours et des sessions.

• Évaluation Basée sur des Tours : Ça évalue une étape unique dans le processus de tâche. On a vérifié à quel point les LLMs pouvaient accomplir des instructions individuelles.

• Évaluation Basée sur des Sessions : Ça évalue comment les LLMs gèrent plusieurs instructions dans une seule session. Le défi ici est de garder une trace des instructions passées et de les intégrer dans les actions futures.

#Principales Conclusions des Tests

Nos résultats ont montré que GPT-4 a surpassé tous les autres modèles, surtout dans la gestion des mises à jour logicielles et des tâches multilingues. Cependant, tous les LLMs ont montré une performance réduite quand ils étaient confrontés à des tâches plus complexes ou quand plusieurs défis apparaissaient en même temps.

#Chutes de Performance

On a noté des baisses significatives de performance dans certaines conditions, surtout quand :

• Les instructions devenaient trop compliquées.
• Plusieurs langues étaient utilisées.

La plupart des LLMs avaient du mal à suivre quand les instructions n'étaient pas claires ou quand ils étaient testés dans des évaluations basées sur des sessions plutôt que sur des tours.

#Analyse des Erreurs

Pour mieux comprendre où les LLMs échouent, on a analysé les erreurs communes :

1. Distraction par des Chichis : Certains modèles se laissaient distraire par des phrases ajoutées sans rapport pendant l'évaluation, les amenant à manquer l'instruction principale.

2. Appel d’APIs Invalides : Dans les cas où les APIs étaient limitées, beaucoup de LLMs ont essayé d'utiliser des APIs qui n'étaient pas disponibles, entraînant des résultats incorrects.

3. Mauvaise Interprétation des Instructions : Dans les changements sémantiques et au niveau des phrases, certains LLMs ont mal compris les instructions modifiées, ce qui les a poussés à sélectionner des APIs inappropriées.

#Contributions du Référentiel

Le référentiel PPTC-R contribue à la compréhension de la performance des LLMs dans des applications pratiques. Il :

1. Offre une méthode pour évaluer la robustesse d'accomplissement des tâches dans les LLMs.
2. Donne des aperçus sur les faiblesses des modèles actuels, mettant en lumière des domaines à améliorer.
3. Propose un nouveau moyen de générer des ensembles de données adversariales qui peuvent aider la recherche future.

#Travaux Connexes

Les précédents référentiels se concentraient principalement sur des tâches simples en langage naturel, ne s'attaquant pas aux complexités du monde réel. Les études antérieures examinaient comment les LLMs réagissaient à des demandes simples mais n'évaluaient pas leur performance dans des scénarios variés d'accomplissement de tâches.

On pense qu’en se concentrant sur les tâches spécifiques nécessaires pour des applications comme PowerPoint, on peut obtenir des aperçus plus profonds sur l'utilité des LLMs, poussant les limites de ce que ces modèles peuvent faire.

#Directions de Recherche Futures

Le référentiel PPTC-R ouvre plusieurs pistes pour de futures recherches :

1. Élargissement des Types de Tâches : Les recherches futures peuvent élargir la gamme de tâches pour évaluer des scénarios plus complexes impliquant différents logiciels et outils.

2. Identification de Plus d'Erreurs : Une analyse continue des points d'échec dans les LLMs pourrait mener à de meilleures méthodes de formation et de conception des modèles.

3. Amélioration des Capacités Linguistiques : Étant donné les baisses de performance sur les tâches non-anglophones, la recherche devrait viser à améliorer la compréhension et l'exécution des LLMs dans les langues à faibles ressources.

#Limitations

Bien que le référentiel PPTC-R soit robuste, il a des limites. Par exemple, il n'évalue pas l'impact des différents types de contenu dans les fichiers PowerPoint. Les changements dans ces fichiers peuvent également influencer la performance des LLMs. Plus de recherches sont nécessaires pour créer des tâches qui intègrent ces variables pour une évaluation plus complète.

#Conclusion

Le référentiel PPTC-R représente un pas en avant significatif dans l'évaluation de la robustesse des grands modèles de langage dans l'accomplissement de tâches complexes. En examinant comment ces modèles réagissent aux instructions adversariales et aux variations logicielles, on peut mieux comprendre leur potentiel et leurs limites. À mesure que les LLMs deviennent plus intégrés dans les tâches quotidiennes, ce type de recherche sera crucial pour s'assurer qu'ils peuvent efficacement aider les utilisateurs dans des applications réelles.