Évaluer les modèles de langage en gardant l'incertitude à l'esprit

Ces dernières années, les grands modèles de langage (LLMs) ont pris de l'ampleur dans différents domaines, que ce soit dans la recherche ou le business. Plein d’organisations et d’entreprises ont sorti leurs propres versions de ces modèles. Les LLMs peuvent faire plein de tâches, comme répondre à des questions, résumer des documents et discuter. Avec l’intérêt croissant pour les LLMs, il est important d’avoir des moyens efficaces pour évaluer leur performance.

Un gros souci pour évaluer les LLMs, c’est de comprendre leur précision, souvent mesurée par des plateformes qui classent ces modèles, comme les classements de HuggingFace. Mais ces plateformes ne tiennent pas compte de l'incertitude associée aux prédictions des LLMs. Par exemple, deux modèles peuvent faire la même prédiction, mais l'un peut être plus sûr que l'autre. Cet aspect d'incertitude est super important pour une évaluation complète.

Pour résoudre ce problème, une nouvelle méthode d'évaluation des LLMs est introduite. Cette méthode met l'accent sur l'incertitude, offrant une image plus complète de la performance de ces modèles. En prenant en compte l'incertitude, on peut mieux comprendre les forces et faiblesses des différents LLMs.

#Évaluation des Modèles de Langage

Évaluer la performance des LLMs est essentiel pour leur développement et leur application. Les méthodes actuelles utilisent souvent des ensembles de données spécifiques pour évaluer les modèles, mais elles négligent souvent l'incertitude. Cette recherche vise à combler cette lacune en mesurant à la fois la précision des prédictions et l'incertitude des LLMs.

Pour mesurer l'incertitude dans les prédictions, une méthode appelée prédiction conforme est proposée. Cette approche donne une vision plus claire de la confiance d'un modèle dans ses prédictions tout en étant plus simple à mettre en œuvre par rapport à d'autres méthodes. En appliquant cette méthode, les chercheurs peuvent évaluer les modèles de manière plus structurée et fiable.

#Méthodologie

#Tâches et Ensembles de Données

Cinq tâches typiques sont sélectionnées pour évaluer les LLMs : réponse à des questions, compréhension de lecture, inférence de sens commun, sélection de réponses de dialogue, et résumé de documents. Pour chacune de ces tâches, un ensemble de données a été créé contenant 10 000 questions. Chaque question propose des réponses à choix multiples, parmi lesquelles les modèles doivent sélectionner la bonne.

1. Réponse à des Questions (QA) : Cette tâche évalue combien un LLM peut utiliser ses connaissances du monde pour répondre à diverses questions. L'ensemble de données choisi pour cette tâche est MMLU, qui inclut une variété de sujets dans différentes catégories.

2. Compréhension de Lecture (RC) : Dans cette tâche, les modèles doivent comprendre un contexte donné pour répondre à des questions basées dessus. L'ensemble de données CosmosQA est utilisé, se concentrant sur des récits qui demandent un raisonnement au-delà du texte exact.

3. Inférence de Sens Commun (CI) : Cette tâche teste la capacité du modèle à raisonner sur les relations entre les concepts basés sur des connaissances générales. L'ensemble de données HellaSwag est utilisé pour cette évaluation.

4. Sélection de Réponses de Dialogue (DRS) : Dans cette tâche, les modèles doivent comprendre des dialogues et choisir la réponse la plus appropriée parmi un ensemble d'options. L'ensemble de données utilisé pour cela est HaluDial.

5. Résumé de Documents (DS) : Cette tâche évalue combien les modèles peuvent résumer les idées principales d'un document. L'ensemble de données HaluSum est utilisé, axé sur des articles de presse.

Chaque ensemble de données comprend des questions avec des options, où au moins une option est correcte. Deux options supplémentaires, "Je ne sais pas" et "Aucune des réponses ci-dessus", sont incluses pour augmenter la complexité des tâches.

#Mesurer la Performance

Pour évaluer la performance des LLMs, deux aspects principaux sont considérés : la précision des prédictions et l'incertitude des prédictions.

• Précision des Prédictions (Acc) : Cela est mesuré en utilisant la proportion de réponses correctes prédites par le modèle.

• Incertitude des Prédictions (Taille de l’Ensemble, SS) : Cet aspect se concentre sur le nombre moyen d'options dans les ensembles de prédictions des modèles. Une taille plus grande indique une plus grande incertitude dans les prédictions du modèle.

De plus, une nouvelle métrique appelée Précision Tenant Compte de l’Incertitude (UAcc) est introduite. Cette métrique combine à la fois précision et incertitude, permettant une évaluation plus nuancée des modèles.

#Résultats

#Taux de couverture

Un point clé de cette recherche est le taux de couverture, qui est la proportion de questions pour lesquelles l'ensemble de prédictions inclut la bonne réponse. Les résultats montrent que la plupart des modèles respectent l'exigence de couverture d'au moins 90%. Cela indique que les ensembles de prédictions générés sont significatifs.

#Relation Précision et Incertitude

Un résultat notable est que plus de précision ne signifie pas toujours moins d'incertitude. En fait, certains modèles ont montré une plus grande précision tout en ayant une incertitude plus élevée. Cela suggère que se fier uniquement à la précision peut être trompeur.

#Précision Tenant Compte de l’Incertitude

La nouvelle métrique, UAcc, est conçue pour refléter à la fois précision et incertitude. Elle pénalise les modèles avec une forte incertitude tout en récompensant ceux avec une moindre incertitude. Cela permet une comparaison plus claire entre les modèles. Par exemple, un modèle avec une bonne précision pourrait mal se classer sur l'UAcc si ses prédictions sont incertaines.

#Effets de la Taille du Modèle

La recherche examine aussi comment la taille du modèle impacte sa performance. En général, les plus grands modèles montrent de meilleures performances dans les tâches. Cependant, certaines instances révèlent que les plus grands modèles peuvent aussi avoir une incertitude plus élevée dans leurs prédictions.

#Effets du Réglage par Instruction

Le réglage par instruction consiste à affiner la capacité d'un modèle à suivre des instructions. Dans cette recherche, cet effet est exploré en comparant les résultats des versions de base et des versions réglées par instruction des modèles. Les résultats suggèrent que le réglage par instruction peut entraîner une précision diminuée et une incertitude accrue dans certains cas.

#Données de calibration

La quantité de données de calibration utilisée pour la prédiction conforme est examinée. La recherche indique que faire varier la proportion de ces données n'affecte pas significativement le taux de couverture ou l'incertitude globale.

#Implications pour la Recherche Future

Les insights collectés dans cette recherche indiquent la nécessité d'incorporer la mesure de l'incertitude dans les cadres d'évaluation des LLMs. Ce changement de perspective peut conduire à de meilleures évaluations de la performance des modèles, ce qui est essentiel pour améliorer et développer les futurs LLMs.

De plus, bien que la prédiction conforme montre des promesses, il y a certaines limites, comme sa dépendance aux résultats des modèles et les défis d'évaluation des capacités générationnelles. La recherche future devrait chercher à adresser ces problèmes, éventuellement en parallèle avec le développement de modèles capables de traitement multimodal, en évaluant la performance à travers différents types de données.

#Conclusion

Quantifier l'incertitude dans les LLMs est crucial pour assurer leur utilisation fiable dans des applications pratiques. En adoptant des méthodes comme la prédiction conforme, on peut mieux comprendre comment ces modèles fonctionnent et comment ils peuvent être améliorés. Cette recherche pose les bases pour de futures investigations dans les LLMs, en mettant l'accent sur une évaluation équilibrée qui considère à la fois précision et incertitude comme des composants vitaux de l'évaluation des modèles. Explorer cette dimension contribuera à l'application sûre et efficace de ces outils puissants dans divers domaines.