Améliorer la récupération d'infos grâce au suivi d'instructions
Un nouveau jeu de données aide les modèles IR à s'adapter à des instructions complexes pour de meilleures performances.
― 3 min lire
Table des matières
Les grands Modèles de langage (LLMs) ont vraiment progressé dans leur capacité à suivre des Instructions complexes, leur permettant d'aider dans plein de tâches. Cependant, la plupart des modèles de recherche d'information (IR) se basent encore sur des requêtes basiques et n'utilisent pas vraiment ces instructions. Quelques modèles récents ont commencé à embrasser cet aspect, mais c'est encore flou sur comment ils s'y prennent.
Notre Contribution
On présente un jeu de données et un benchmark d'Évaluation qui aident les modèles IR à mieux suivre les instructions. Ce dataset s'appuie sur la longue histoire des conférences TREC, où des annotateurs humains utilisent des instructions détaillées pour évaluer la Pertinence des documents. Notre travail propose un moyen de mesurer à quel point les modèles IR répondent aux instructions changeantes, ce qui est super important pour améliorer leur fonctionnalité.
Méthodologie
Notre benchmark d'évaluation est basé sur trois collections TREC : Robust 2004, Common Core 2017, et News 2021. On modifie légèrement les instructions des annotateurs et on réévalue les documents pertinents. Ça nous permet de voir à quel point les modèles IR s'adaptent à ces changements à travers un nouveau cadre d'évaluation par paires.
Nos résultats montrent que beaucoup de modèles de recherche existants ont du mal à suivre efficacement ces instructions complexes. Cependant, on a identifié qu'il est possible pour les modèles de s'améliorer. Après un ajustement sur notre dataset, un de nos modèles a montré plus de 13% d'amélioration dans sa capacité à suivre les instructions.
L'Importance des Instructions
Utiliser des instructions en langage naturel flexibles peut aider les experts à affiner leurs recherches pour répondre à des besoins d'information complexes. Par exemple, un chercheur pourrait avoir besoin de trouver des articles qui répondent à des critères spécifiques tout en évitant ceux qui ne le font pas. Des études récentes ont exploré ce domaine, mais beaucoup utilisent encore des instructions courtes et répétitives.
Notre dataset mesure explicitement les compétences de suivi des instructions des modèles IR et inclut une variété d'exemples du monde réel. Les instructions fournies aux annotateurs humains incluent souvent des directives détaillées sur la pertinence, ce qui aide les modèles IR à mieux comprendre ce qui est demandé.
Cadre d'Évaluation
Pour évaluer le suivi des instructions, on a développé un nouveau cadre qui mesure les changements de pertinence des documents basés sur les instructions modifiées. Notre analyse montre que beaucoup de modèles n'utilisent pas efficacement les instructions à moins qu'ils ne soient grands ou spécifiquement ajustés pour ça.
Résultats
Les résultats indiquent un fossé clair : les modèles plus petits ne peuvent généralement pas gérer des instructions détaillées et se replient sur des recherches par mots-clés. En revanche, les modèles plus grands et ceux entraînés sur des instructions réussissent mieux à s'adapter à de nouvelles définitions de pertinence.
Conclusion
On contribue des ressources précieuses pour la communauté IR, y compris un benchmark pour évaluer le suivi des instructions et un nouveau modèle, qui démontre des performances améliorées dans ce domaine. Avec ces ressources, on vise à faire avancer le développement de modèles de recherche plus capables qui peuvent s'adapter efficacement aux instructions et mieux servir les besoins des utilisateurs.
Titre: FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions
Résumé: Modern Language Models (LMs) are capable of following long and complex instructions that enable a large and diverse set of user requests. While Information Retrieval (IR) models use these LMs as the backbone of their architectures, virtually none of them allow users to provide detailed instructions alongside queries, thus limiting their ability to satisfy complex information needs. In this work, we study the use of instructions in IR systems. First, we introduce our dataset FollowIR, which contains a rigorous instruction evaluation benchmark as well as a training set for helping IR models learn to better follow real-world instructions. FollowIR repurposes detailed instructions -- also known as narratives -- developed for professional assessors to evaluate retrieval systems. In particular, we build our benchmark from three collections curated for shared tasks at the Text REtrieval Conference (TREC). These collections contains hundreds to thousands of labeled documents per query, making them suitable for our exploration. Through this process, we can measure how well IR models follow instructions, through a new pairwise evaluation framework. Our results indicate that existing retrieval models fail to correctly use instructions, using them for basic keywords and struggling to understand long-form information. However, we show that it is possible for IR models to learn to follow complex instructions: our new FollowIR-7B model has significant improvements after fine-tuning on our training set.
Auteurs: Orion Weller, Benjamin Chang, Sean MacAvaney, Kyle Lo, Arman Cohan, Benjamin Van Durme, Dawn Lawrie, Luca Soldaini
Dernière mise à jour: 2024-05-07 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2403.15246
Source PDF: https://arxiv.org/pdf/2403.15246
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.