Évaluer la fiabilité des modèles linguistiques en science

Les grands modèles de langage (LLM) deviennent de plus en plus courants dans notre vie quotidienne. Ils sont utilisés à la fois par des pros et des utilisateurs occasionnels pour différentes tâches. Cet article examine à quel point ces modèles sont fiables lorsqu'il s'agit d'expliquer des idées scientifiques et de répondre à des questions de science. On a créé un nouveau jeu de données appelé SCiPS-QA, avec 742 questions Oui/Non qui touchent à des concepts scientifiques complexes. Ça nous aide à voir à quel point ces modèles peuvent comprendre et répondre à des questions scientifiques.

#Contexte sur les LLM

Les LLMs sont des programmes informatiques capables de lire et d’écrire comme des humains. Ils peuvent générer du texte en fonction des schémas qu'ils apprennent à partir de grandes quantités de données. À mesure que la technologie progresse, de plus en plus de gens utilisent les LLM dans différents domaines, surtout dans le milieu académique. Cependant, il y a eu des cas où les LLMs génèrent des informations trompeuses ou incorrectes, surtout dans des articles scientifiques. Ça soulève des inquiétudes sur leur fiabilité et sur le fait qu'ils puissent servir de sources d'information dignes de confiance.

#Le besoin d’évaluation

Évaluer les LLMs est crucial, surtout en science. Des informations trompeuses peuvent entraîner des malentendus sur des concepts scientifiques. En plus, les LLMs génèrent souvent des réponses confiantes mais fausses, ce qui peut induire les utilisateurs en erreur. Donc, il faut un moyen pour évaluer à quel point ces modèles comprennent le savoir scientifique complexe.

#Jeu de données SCiPS-QA

Le jeu de données SCiPS-QA est conçu pour mettre au défi les LLMs avec des questions scientifiques complexes Oui/Non. Les questions touchent à diverses disciplines scientifiques, y compris la physique, la chimie, les mathématiques, et plus encore. Il se compose de Questions fermées, qui ont des réponses définies, et de Questions ouvertes qui sont encore débattues dans le domaine scientifique.

#Questions de recherche

Pour évaluer efficacement les LLMs, on se concentre sur quatre questions clés :

1. Les LLMs actuels peuvent-ils répondre avec précision à des questions de raisonnement scientifique complexe ?
2. Les LLMs sont-ils capables de reconnaître quand ils n'ont pas suffisamment d'informations pour répondre à une question ?
3. Les LLMs peuvent-ils valider leurs propres réponses ?
4. Les humains se laissent-ils facilement tromper par des réponses incorrectes mais convaincantes des LLM ?

#Tester la performance des LLM

On a testé plusieurs LLMs, y compris des modèles propriétaires d'OpenAI et des modèles en accès libre de Meta et d'autres. Notre but était de voir à quel point ces modèles pouvaient gérer les questions du jeu de données SCiPS-QA.

#Résultats des tests

#Aperçu des performances

La plupart des modèles en accès libre ont eu du mal par rapport aux modèles propriétaires, comme GPT-4 Turbo. Cependant, le modèle Llama-3-70B a montré des résultats impressionnants, surpassant souvent GPT-4 Turbo dans des domaines spécifiques. Malgré ces résultats, aucun des modèles n'a pu comprendre constamment les complexités du raisonnement scientifique, surtout pour les questions ouvertes.

#Réponse aux questions fermées

Pour les questions fermées, tant GPT-4 Turbo que Llama-3-70B ont bien performé. Ils ont donné principalement des réponses correctes et ont montré de la constance dans leurs réponses. Pourtant, les modèles en accès libre étaient largement à la traîne, beaucoup produisant des réponses incorrectes ou hors sujet.

#Gestion des questions ouvertes

Les résultats étaient moins favorables pour les questions ouvertes. La plupart des modèles n'ont pas réussi à reconnaître quand ils ne connaissaient pas la réponse. Llama-3-70B a été le meilleur dans ce domaine mais a quand même eu des difficultés globalement, montrant que beaucoup de LLMs ne sont pas équipés pour traiter des questions scientifiques ouvertes.

#Vérification des réponses

Une découverte alarmante était que même les meilleurs modèles avaient du mal à vérifier leurs propres réponses. Ça mène à la possibilité que des réponses incorrectes soient acceptées comme correctes, ce qui est particulièrement préoccupant dans des contextes scientifiques.

#Biais des Évaluateurs humains

Les évaluateurs humains ont également été influencés par la nature persuasive des réponses des LLM. Souvent, ils ont évalué des réponses incorrectes de manière favorable, surtout quand la réponse était incluse dans la réponse du modèle. Cette tendance souligne le risque que les LLMs propagent des informations scientifiques incorrectes, car leur confiance peut influencer le jugement des humains.

#Implications pour la communication scientifique

La dépendance aux LLMs dans les contextes scientifiques pose des risques significatifs. La capacité de ces modèles à fournir des informations trompeuses pourrait entraîner des malentendus et des erreurs de communication en science. Il est essentiel d'établir des cadres qui garantissent l'exactitude et la fiabilité des informations générées par les LLMs.

#Conclusion

Les LLMs ont du potentiel pour diverses applications, y compris la communication scientifique. Cependant, ils ne sont pas encore assez fiables pour remplacer des communicateurs expérimentés comme Neil deGrasse Tyson. Les évaluations actuelles suggèrent que, même si les LLMs peuvent générer du texte qui semble scientifiquement correct, ils manquent de la compréhension plus profonde nécessaire pour une communication scientifique précise et responsable.

#Directions futures

À mesure que les LLMs continuent de se développer et de s'améliorer, il sera vital d'améliorer leurs capacités de raisonnement. Les futures recherches devraient se concentrer sur la création de jeux de données qui reflètent mieux les questions scientifiques du monde réel et sur le perfectionnement des méthodes d'évaluation utilisées pour tester ces modèles. Ce faisant, on peut avancer vers la création de LLMs de véritables partenaires dans la communication scientifique.