Évaluation des modèles de langage pour les preuves d'hypothèse

Quand on fait des recherches, former et tester des Hypothèses, c'est super important. Une hypothèse, c'est essentiellement une bonne devinette basée sur ce qu'on sait déjà et ce qui a été étudié. Mais avec le nombre d'articles scientifiques publiés chaque année qui augmente vite, c'est galère de rassembler et de comprendre toutes les Preuves liées à une hypothèse spécifique.

Ce boulot examine à quel point les Modèles de langage actuels (LLMs) peuvent trouver des preuves pour soutenir ou contredire des hypothèses spécifiques basées sur des Résumés d'articles scientifiques. Un résumé, c'est une petite synthèse d'un papier de recherche. L'étude fournit un nouveau jeu de données axé sur les sciences sociales, qui inclut des infos de diverses études. L'objectif est de comparer la performance des LLMs quand ils cherchent des preuves contre certains benchmarks, tout en essayant de montrer ce que la recherche future pourrait explorer.

Quand les chercheurs essaient de transformer des découvertes en applications réelles, comprendre un phénomène à travers différentes études et contextes est crucial. Traditionnellement, les hypothèses sont des théories ou des devinettes éclairées qui doivent être façonnées par la littérature existante. Synthétiser et comprendre la recherche actuelle est essentiel pour planifier efficacement des études. Cependant, beaucoup de bases de données ne regroupent pas ou ne comparent pas les études existantes de manière à faciliter l'accès à la littérature pertinente pour une question de recherche donnée. La quantité croissante de recherches publiées rend encore plus difficile de trouver l'information spécifique nécessaire.

Le traitement du langage naturel (NLP) et la compréhension du langage naturel (NLU) sont des domaines qui aident à relever ces défis. Un axe de travail est la vérification automatique des faits, surtout concernant la désinformation. Ce processus évalue si une affirmation factuelle est exacte sur la base de la littérature existante.

Néanmoins, il reste une lacune pour déterminer si un papier aborde une question de recherche spécifique dans son résumé, et si oui, est-ce que la recherche soutient ou contredit cette hypothèse ? Ce travail propose une tâche appelée évaluation des hypothèses scientifiques (SHE) pour aborder cette question.

Un exemple typique du jeu de données d'entraînement inclut un résumé d'un papier, une hypothèse d'intérêt, et une étiquette qui montre comment l'hypothèse se rapporte à ce résumé. Il y a eu des efforts de base pour compiler la littérature de manière utile, souvent vu dans des documents collaboratifs où les auteurs résument des études existantes qui explorent des questions étroitement liées.

Par exemple, les auteurs pourraient compiler des recherches qui examinent si les médias sociaux influencent la polarisation politique. Ces documents peuvent ajouter de la structure en classant les études avec des résultats et des configurations expérimentales similaires.

Ce travail examine à quel point les avancées en NLU et les LLMs peuvent remplacer les revues de littérature dirigées par des experts pour cerner des hypothèses et des résultats principaux à partir de résumés scientifiques, particulièrement dans les sciences sociales où existent des ensembles de données annotées de haute qualité.

Les principales contributions de cette étude incluent :

• Proposer la tâche SHE pour identifier les preuves soutenant ou disputant une hypothèse à partir d'un résumé scientifique.
• Créer et partager un ensemble de données de référence pour le SHE avec une littérature revue par des experts.
• Tester trois types de modèles pour évaluer à quel point ils peuvent trouver des preuves d'hypothèses scientifiques en utilisant différentes approches.

Les résultats indiquent que l'identification des preuves est un défi pour les systèmes de compréhension du langage naturel actuels. Les LLMs ne montrent pas de meilleures performances que les modèles traditionnels. Cet article offre des idées et des recommandations pour avancer.

#Contexte et Travaux Connexes

La tâche de vérification des affirmations scientifiques peut être compliquée de deux manières. Une approche utilise des réseaux d'apprentissage profond pour l'inférence en langage naturel (NLI) en adaptant de grands ensembles de données annotées par des humains. L'autre approche considère la relation affirmation-preuve en utilisant une représentation conjointe.

De nombreux ensembles de données de vérification ont été produits pour aider dans ce domaine, notamment en santé publique et sur des sujets environnementaux. Ces ensembles de données incluent Stanford Natural Language Inference (SNLI) et SciTail d'Allen AI, qui contiennent des paires de prémisses-hypothèses dérivées de divers contextes.

Les LLMs sont entraînés sur de vastes ensembles de données qui incluent des connaissances générales et spécifiques. Ils ont montré des performances impressionnantes sur diverses tâches de NLU comme la compréhension de lecture et la réponse à des questions. La tâche SHE donne aux chercheurs une chance d'évaluer ces modèles dans des domaines scientifiques.

Cependant, la tâche SHE présente des différences notables par rapport aux défis NLI traditionnels parce que les textes scientifiques utilisent souvent un langage spécialisé et présentent des données qu'on ne trouve pas généralement dans les ensembles de données NLP classiques.

#Définir le Problème

L'évaluation des hypothèses scientifiques (SHE) consiste à lier une hypothèse spécifique à un résumé pertinent. Cette connexion peut être catégorisée en trois types : soutien, contradiction, ou inconclusive. Le défi réside dans la compréhension du contexte. Par exemple, reconnaître qu'un terme dans un résumé fait référence à un concept plus général nécessite du raisonnement.

Cette étude suppose que chaque hypothèse dans l'ensemble de données est directement abordée dans le papier. Cependant, trouver des preuves pour n'importe quelle hypothèse à travers une grande quantité de littérature ajoute de la complexité et nécessite généralement plus de documents étiquetés comme références.

Pour y remédier, un ensemble de données de revues collaboratives (CoRe) a été créé en utilisant 12 revues de littérature collaboratives open-source maintenues par des experts dans des domaines comme les sciences sociales et comportementales. Beaucoup de ces revues ont commencé en 2019 et sont créées avec Google Docs. Elles se concentrent sur des études importantes et permettent un accès public pour que les chercheurs puissent contribuer ou suggérer des modifications.

#Aperçu de l'Ensemble de Données

Les données brutes pour l'ensemble de données CoRe ont été collectées jusqu'au 1er juillet 2023. Les questions de recherche, les étiquettes de résultats et les numéros DOI ont été pris des revues. Les articles ont été identifiés et leurs résumés récupérés en utilisant des bases de données académiques acceptées. L'ensemble de données contient des combinaisons (hypothèse, résumé, étiquette) où le résumé donne les preuves nécessaires concernant l'hypothèse.

L'ensemble de données complet comprend 69 hypothèses uniques avec des résultats provenant de 602 articles scientifiques, totalisant 638 combinaisons puisque certains articles traitent de plusieurs hypothèses. Parmi ces combinaisons, environ 61,6 % contiennent des preuves soutenant l'hypothèse, tandis que 25,7 % la contredisent, et environ 12,7 % sont inconclusifs.

#Méthodologie

Cette étude évalue trois stratégies principales utilisant l'ensemble de données CoRe : des classificateurs supervisés basés sur des modèles pré-entraînés, des modèles d'apprentissage par transfert, et des modèles de langage de grande taille.

Pour la classification supervisée, deux modèles pré-entraînés, longformer et text-embedding-ada-002, ont été utilisés. Ces modèles aident à traiter de longs textes et produisent des embeddings de mots efficaces pour l'analyse.

Dans l'approche d'apprentissage par transfert, la tâche est vue comme une tâche d'inférence en langage naturel. Des modèles comme Enhanced Sequential Inference Model (ESIM) et Multi-Task Deep Neural Network (MT-DNN) ont été évalués sur leur capacité à identifier la relation entre les hypothèses et les résumés.

Deux LLMs, ChatGPT et PaLM 2, ont également été testés sur l'ensemble de données. En utilisant la version API de ChatGPT et le modèle génératif de PaLM 2, différents réglages ont été examinés, y compris des contextes zéro-shot et few-shot.

#Évaluation de la Performance

La performance de tous les modèles a été mesurée en utilisant des métriques comme le score macro-F1 et la précision. Divers hyperparamètres ont été testés, et les résultats ont confirmé que l'identification des preuves pour les hypothèses est une tâche difficile. La meilleure performance est venue de l'utilisation de text-embedding-ada-002.

Fait intéressant, même si les LLMs n'ont pas été spécifiquement entraînés avec l'ensemble de données CoRe, ils ont réussi à traiter efficacement les résumés scientifiques et à les lier aux hypothèses, probablement grâce à leur vaste entraînement sur de multiples tâches. Dans des réglages zéro-shot, les LLMs ont offert des performances comparables à celles des modèles spécialement entraînés sur l'ensemble de données CoRe.

#Conclusion et Directions Futures

La recherche a posé une nouvelle tâche appelée évaluation des hypothèses scientifiques et a créé un ensemble de données pour soutenir cette tâche. Les résultats indiquent que c'est toujours un domaine difficile pour les modèles NLU actuels, même pour les LLMs avancés. Notamment, les modèles basés sur l'apprentissage supervisé avec des embeddings ont montré de meilleurs résultats par rapport aux LLMs.

À l'avenir, il y a un potentiel d'amélioration des LLMs grâce à un ajustement fin sur des ensembles de données spécifiques. Les études futures devraient envisager des méthodes de validation plus rigoureuses et travailler à équilibrer la distribution des classes dans les ensembles de données.

En plus, améliorer la conception des prompts peut également mener à de meilleurs résultats. Dans l'ensemble, cette recherche met en avant des opportunités significatives pour une exploration plus poussée dans ce domaine.