PE-Rank : Une nouvelle approche pour le reclassement des passages

Des études récentes montrent que les grands modèles de langage (LLMs) peuvent classer efficacement des passages. Les méthodes listwise, comme RankGPT, ont établi de nouveaux standards dans ce domaine. Cependant, RankGPT a des limites à cause de sa longueur de contexte maximale et d'une latence plus élevée pendant l'Inférence. Cet article présente PE-Rank, qui utilise des Embeddings de passage uniques pour une meilleure compression de contexte dans le reranking listwise. En traitant chaque passage comme un token spécial, on peut entrer ces embeddings dans les LLMs, ce qui réduit la longueur d'entrée. On présente aussi une technique d'inférence qui change l'espace de décodage pour ces tokens spéciaux, accélérant ainsi le décodage. Pour l'entraînement, on applique une perte d’apprentissage listwise pour le Classement. L'évaluation sur divers benchmarks montre que PE-Rank améliore l'efficacité tout en maintenant de bons résultats de classement.

#Contexte

Le classement des passages est essentiel dans de nombreuses applications, y compris la recherche sur le web. La méthode courante est "récupération puis rerank", où un ensemble de candidats est d'abord récupéré puis reranké pour de meilleurs résultats. Lors de la phase de récupération, les modèles denses utilisant une structure bi-encodeur sont populaires. Ces modèles encodent le texte en embeddings de faible dimension, capturant la pertinence sémantique à travers la similarité des vecteurs.

#Comparaison entre RankGPT et PE-Rank

RankGPT utilise des passages complets et donne des sorties ordonnées. En revanche, PE-Rank utilise une liste de tokens spéciaux pour les entrées et les sorties, comme le montre ses résultats de reranking. Pendant la phase de reranking, on peut appliquer des modèles plus avancés pour améliorer les performances. Les LLMs, comme GPT-4, ont également été testés pour le reranking zéro-shot, avec des méthodes listwise comme RankGPT atteignant une performance notable en générant une liste de classement finale pour plusieurs passages.

#Défis des approches listwise

Bien que ces méthodes soient efficaces, elles rencontrent des défis. D'abord, les LLMs sont limités par la longueur du contexte, ce qui rend difficile le classement de plusieurs passages à la fois. Ensuite, inclure des passages entiers dans les prompts augmente les coûts d'inférence et la latence. Donc, compresser les prompts listwise est crucial. Les méthodes existantes de compression de contexte tendent à avoir de faibles taux de compression et se concentrent sur les passages uniques, les rendant inadéquates pour les besoins de classement.

#Proposition de PE-Rank

PE-Rank utilise des embeddings de passage uniques comme représentations compressées. On obtient ces embeddings à partir d'un modèle de récupération dense et on remplace les entrées de texte originales par eux. On comble ensuite le fossé entre le modèle de récupération et les LLMs en utilisant un projecteur. PE-Rank s'adapte à la tâche de classement grâce à de nouvelles méthodes d'inférence et d'entraînement. Pour une inférence efficace, on utilise le "Dynamic-Constrained Decoding", ajustant les espaces de décodage pour n'inclure que des tokens spéciaux pour le classement.

#Évaluation

PE-Rank a été évalué sur les benchmarks TREC DL et BEIR. Les résultats montrent qu'il maintient une performance compétitive par rapport aux méthodes non compressées tout en améliorant considérablement l'efficacité. Notamment, lors du reranking des 100 meilleurs candidats de BM25 sur DL19, la dégradation de la performance était inférieure à 2%, tandis que la latence a été réduite par 4.5 fois.

#Conclusion

On présente PE-Rank comme une approche nouvelle et efficace pour le reranking listwise des passages, tirant parti des embeddings pour la compression de contexte. Les évaluations montrent des performances compétitives et des gains d'efficacité considérables, marquant une avancée significative dans le domaine du classement.

#Travaux futurs

Ce travail a des limites, y compris le besoin d'embeddings de passage et de décodage dynamique, ce qui augmente la complexité et l'utilisation de mémoire. De plus, utiliser différents modèles d'embeddings nécessite un ajustement fin à la fois pour le MLP et le LLM. Les recherches futures pourraient viser une approche plus simple en permettant l'utilisation uniquement du MLP. Enfin, les modèles utilisés dans cette étude étaient relativement petits, et des investigations supplémentaires sont nécessaires pour comprendre comment des modèles plus grands pourraient affecter les méthodes proposées.