Améliorer la détection des hallucinations dans les LLMs

Les grands modèles de langage (LLMs) génèrent parfois de fausses informations, ce qui est nuisible pour les utilisateurs. Ce problème est connu sous le nom d'hallucination. Détecter ces inexactitudes est crucial car les LLMs sont utilisés pour de nombreuses tâches dans la vie quotidienne et dans les affaires.

#Méthodes de Détection Actuelles

Les méthodes actuelles peuvent être classées en trois catégories :

1. Récupérer des faits externes : Ces méthodes comparent la sortie du LLM avec des faits provenant de sources fiables.
2. Analyser l'état interne du LLM : Cela consiste à examiner comment le modèle génère du texte pour trouver des incohérences.
3. Détection sans ressources : Cette approche repose uniquement sur l'entrée et la sortie du LLM, sans nécessiter de données externes.

Cet article se concentre sur le troisième type, qui peut être appliqué à n'importe quel LLM sans avoir besoin d'informations supplémentaires. Une méthode notable dans cette catégorie est SelfCheckGPT-Prompt (SCGP), qui vérifie la sortie du LLM par rapport à différentes versions du même texte. Cependant, SCGP a du mal lorsque l'histoire change, rendant les textes difficiles à comparer.

#Méthode Proposée

On introduit une nouvelle méthode pour détecter les Hallucinations en utilisant un format d'examen à complétion. Cette méthode aborde le problème des changements de l'histoire en suivant ces étapes :

1. Créer un examen à trous basé sur le texte original en masquant des objets clés.
2. Demander au LLM de répondre à cet examen plusieurs fois.
3. Évaluer les réponses pour déterminer la probabilité d'hallucination dans chaque phrase.

En gardant l'histoire cohérente à travers les réponses à l'examen, notre méthode améliore la Précision de la détection des hallucinations.

#Contributions Clés

1. Nouvelle Méthode de Détection : On présente une technique de détection qui améliore la précision en s'attaquant aux changements d'histoire dans les sorties des LLM.
2. Précision Améliorée : Notre méthode montre de meilleures performances dans la détection des hallucinations par rapport aux méthodes existantes, surtout dans les textes plus complexes.

#Résultats Expérimentaux

On a évalué notre méthode en utilisant un ensemble de données de textes générés par un LLM. Les résultats ont montré que notre méthode, combinée avec SCGP, a obtenu les meilleures performances sur tous les indicateurs.

#Conclusion

Notre recherche souligne l'importance de détecter les inexactitudes dans les LLM, surtout à mesure qu'ils continuent à être intégrés dans divers domaines. L'approche de détection proposée offre une manière plus précise d'identifier les hallucinations, garantissant des sorties plus fiables de ces modèles. Les futurs travaux devraient explorer l'utilisation de jeux de données divers et de différents LLM pour valider l'efficacité de notre méthode dans divers contextes.