Améliorer les modèles de prompt pour les LLMs

Le prompting, c'est une façon de donner des instructions à un Modèle de Langage de Grande Taille (LLM). Les prompts contextuels ajoutent des infos supplémentaires, comme des documents ou des conversations, avec des instructions en langage naturel. Ça aide le LLM à rester dans le vrai dans le contexte donné. Cet article présente une méthode pour fabriquer de meilleurs templates en utilisant ceux qui existent sans montrer le contexte au LLM. L'étude examine différentes manières d'améliorer les prompts et comment utiliser quelques exemples peut aider tout en gardant le même style de langage.

Les Modèles de Langage de Grande Taille (LLMs) comme GPT-3 ont changé la façon de traiter le langage naturel. Ils peuvent répondre à des questions en se basant sur les infos fournies ou compléter des textes. Pour obtenir les meilleurs résultats de ces modèles, il est important de concevoir des prompts de manière efficace. Les techniques de prompting varient selon la tâche ou le domaine spécifique. Les prompts contextuels guident le LLM en incluant des infos supplémentaires.

Les prompts basés sur des templates ont une structure définie qui aide à contrôler comment le LLM reçoit les entrées. Ces prompts peuvent aussi inclure le contexte dans un format spécifique. Le meta-prompting désigne le fait de demander au LLM de créer des prompts. Cet article étudie le domaine du tuning des hard prompts, qui n'a pas encore été beaucoup exploré. L'objectif est de générer de meilleurs templates de prompts sans partager le contexte. Ça implique de voir comment les LLMs peuvent apprendre et garder des styles de langage tout en changeant des templates de prompts.

#Travaux Connus

L'optimisation des prompts est une façon efficace d'améliorer la précision des réponses d'un LLM. Ça implique de tweaker les instructions pour obtenir de meilleures réponses sans changer les réglages du LLM. Il y a deux types de prompts : les Soft Prompts et les hard prompts. Les soft prompts sont moins lisibles et plus complexes, tandis que les hard prompts sont clairs et structurés pour être compris par les humains. Cet article se concentre sur le perfectionnement des hard prompts.

Certaines tentatives passées pour améliorer les hard prompts n'ont pas donné de résultats compréhensibles. Il a été noté que les LLMs peuvent améliorer les prompts qu'ils utilisent. La recherche montre que changer les prompts peut améliorer la façon dont le LLM fournit des réponses. De plus, des exemples à faible échantillonnage peuvent grandement améliorer la qualité des réponses du LLM, et le prompting en chaîne de pensée peut fournir une façon logique d'arriver à des réponses.

On compare des méthodes qui génèrent des meta-prompts pour diverses tâches, y compris question-réponse, résumé, et résumé de dialogue sur ChatGPT 3.5 Turbo. Différents ensembles de prompts sont inclus pour évaluer leur efficacité.

#La Méthode de Régénération

Cette méthode comporte deux parties principales : la méthode Feeder et la méthode Propagation.

#Les Méthodes Feeder

L'expérience commence avec un ensemble de templates de prompts écrits manuellement. Deux méthodes feeder sont utilisées :

• Méthode Feeder A : Échantillonne les meilleurs prompts écrits manuellement en fonction des scores des métriques d'évaluation.
• Méthode Feeder B : Échantillonne à la fois les meilleurs et les pires prompts pour voir si savoir quoi éviter améliore les résultats.

Utiliser différentes méthodes feeder permet de comparer et d'évaluer leur impact sur la performance du LLM dans la génération de prompts.

#Les Méthodes de Propagation

Deux méthodes de propagation sont utilisées :

• Méthode Propagation A : Combine tous les templates de prompts précédents en un seul ensemble pour l'itération suivante.
• Méthode Propagation B : Combine les templates de prompts précédents, tout en continuant à utiliser la méthode feeder pour échantillonner de nouveaux prompts pour l'itération suivante.

Ces méthodes aident à comparer comment l'étape de génération affecte les futures itérations en fonction des prompts fournis.

Les prompts sont évalués sur plusieurs tâches, utilisant des métriques comme le score moyen ROUGE-L F1 basé sur différents ensembles de données pour chaque tâche. Cela inclut question-réponse, résumé, et résumé de dialogue.

#Comparaison des Résultats

Les comparaisons montrent l'efficacité de l'utilisation de différentes méthodes. Les résultats indiquent que la méthode de propagation peut avoir un impact plus important que la méthode feeder. Certaines méthodes ont montré des améliorations significatives des scores moyens et maximaux pour les tâches évaluées.

Les meilleurs résultats de l'expérience proviennent de méthodes qui combinent des exemples positifs et négatifs, indiquant un besoin de diversité parmi les prompts.

#Expérimentation Étendue

Des tests supplémentaires ont utilisé un ensemble de données plus large pour évaluer la robustesse des méthodes. Les résultats ont montré que, bien que les prompts les plus performants s'améliorent au fil des itérations, maintenir la diversité est crucial. Les résultats suggèrent que des scores de similarité plus faibles indiquent une meilleure diversité et adaptabilité dans les prompts générés.

#Évolution des Prompts

L'article met en lumière un changement dans les prompts, passant de leurs versions initiales à des versions améliorées grâce à des processus itératifs, montrant les avancées réalisées dans la création de prompts efficaces.

L'étude fournit des aperçus sur la relation complexe entre les différentes méthodes de prompt et leurs performances, suggérant des opportunités de recherche supplémentaire pour mieux comprendre l'optimisation des prompts.