Aborder les hallucinations dans les modèles de langage

Les grands modèles de langage (LMs) sont des programmes informatiques avancés capables de générer du texte qui ressemble à du langage humain. Cependant, ils créent souvent des affirmations qui ne sont pas vraies ou précises ; on les appelle généralement des Hallucinations. Ces sorties incorrectes peuvent poser problème lorsque l'on utilise les LMs dans des applications réelles où l'exactitude est importante.

Les méthodes actuelles pour détecter ou corriger ces hallucinations se concentrent souvent sur des catégories larges, ce qui signifie qu'elles peuvent passer à côté d'Erreurs plus subtiles. Une approche plus détaillée peut nous aider à comprendre les différents types d'erreurs que ces modèles commettent et à améliorer leur fiabilité.

Dans ce travail, nous présentons une nouvelle approche pour détecter automatiquement ces erreurs subtiles, que nous appelons Détection d'hallucinations fines. Nous créons également un système de classification détaillé qui décompose les hallucinations en six types spécifiques. Cela aide à clarifier quels types d'erreurs les LMs commettent et comment nous pouvons y remédier.

#Le besoin d'une détection fine

À mesure que les LMs deviennent plus populaires, le besoin de moyens efficaces pour attraper et corriger les erreurs augmente. Le terme "hallucination" fait référence aux déclarations produites par les LMs qui sont factuellement incorrectes ou non vérifiables. Ces inexactitudes peuvent entraver le déploiement des LMs dans diverses applications car les utilisateurs comptent sur des informations correctes.

Les études précédentes sur les LMs se concentraient souvent sur la vérification de l'alignement du texte généré avec une source de référence spécifique. Cependant, de nombreux LMs produisent également des informations basées sur des connaissances générales plutôt que sur une source spécifique. Cela peut entraîner des inexactitudes qui ne sont pas facilement détectables.

Étant donné cette situation, nous proposons une méthode plus détaillée pour identifier les erreurs, qui inclut la distinction entre différents types d'inexactitudes. C'est important non seulement pour l'amélioration des modèles, mais aussi pour les processus de vérification humaine.

#Une Taxonomie des hallucinations

Nous introduisons un nouveau système de classification pour les hallucinations qui aide à catégoriser les différents types d'erreurs factuelles qui peuvent survenir dans les sorties des LMs. Ce système est ancré dans la théorie linguistique et basé sur l'analyse d'experts du texte généré. Cette taxonomie se compose de six types distincts d'hallucinations :

1. Erreurs d'entités contradictoires : Ce sont des cas où une entité spécifique mentionnée dans une déclaration est incorrecte. Par exemple, si le modèle affirme qu'une personne est née dans la mauvaise ville.

2. Erreurs de relations contradictoires : Ces erreurs impliquent les relations entre les mots. Par exemple, si un modèle dit qu'un pays est la capitale d'un autre alors que ce n'est pas le cas.

3. Erreurs de déclarations contradictoires : Dans cette catégorie, une déclaration entière contredit des faits bien établis. Par exemple, dire qu'un événement historique bien connu ne s'est pas produit alors qu'il s'est effectivement produit.

4. Erreurs inventées : Ce type fait référence à des déclarations sur des concepts ou des entités qui n'existent pas du tout. Un exemple serait un personnage fictif présenté comme une figure historique.

5. Erreurs subjectives : Ce sont des déclarations qui reflètent des opinions ou des croyances personnelles plutôt que des informations factuelles. Elles ne peuvent pas être jugées comme vraies ou fausses de manière définitive.

6. Erreurs non vérifiables : Cela inclut des déclarations qui contiennent des faits mais qui ne peuvent pas être confirmées avec les preuves disponibles. Par exemple, des revendications sur des expériences personnelles qui n'ont pas de documentation publique.

Cette classification détaillée permet aux chercheurs et aux développeurs de cibler plus efficacement des problèmes spécifiques.

#Création d'un référentiel pour la détection d'hallucinations fines

Pour évaluer notre méthode de détection d'hallucinations fines, nous avons développé un nouveau jeu de données comprenant des jugements humains concernant l'exactitude factuelle des sorties des LMs. Ce référentiel comprend environ 400 réponses de LMs populaires, comme ChatGPT et Llama2-Chat, couvrant divers domaines.

Notre analyse a révélé que ChatGPT et Llama2-Chat produisent des hallucinations dans environ 60 % et 75 % de leurs sorties, respectivement. De plus, la majorité de ces inexactitudes appartiennent à des catégories qui n'ont pas été étudiées en profondeur. Cette découverte souligne l'importance d'un système capable d'identifier et de classer ces erreurs de manière précise.

#Développement d'un nouveau modèle pour la détection et la correction

En réponse au besoin d'une meilleure détection, nous avons développé un modèle qui peut détecter et corriger les hallucinations fines. Ce modèle utilise une approche augmentée par récupération, ce qui signifie qu'il peut accéder et utiliser des informations pertinentes provenant de sources externes lorsqu'il génère sa sortie.

Notre modèle est formé sur des données synthétiques conçues pour mettre en évidence divers types d'erreurs. Ce processus de génération de données a impliqué la création d'exemples avec des erreurs spécifiques, puis l'apprentissage du modèle pour identifier et corriger ces inexactitudes.

Nous avons constaté que notre modèle surpasse significativement ChatGPT en matière de détection des hallucinations fines. Il est également efficace pour suggérer des modifications qui améliorent la correction factuelle du texte généré, entraînant des améliorations mesurables de l'exactitude.

#Évaluation des performances de notre modèle

Pour mesurer l'efficacité de notre approche, nous avons réalisé des évaluations automatiques et humaines. Ces évaluations comprenaient la vérification de la capacité du modèle à identifier différents types d'hallucinations ainsi que son efficacité à suggérer des corrections.

Nos résultats ont montré que le nouveau modèle performait mieux dans la détection des hallucinations que les systèmes existants. Il a pu identifier plus d'inexactitudes et fournir des modifications appropriées, entraînant des améliorations de la factualité globale.

En particulier, notre modèle a obtenu de meilleurs scores par rapport à ChatGPT et à d'autres modèles de référence. Bien qu'il y ait encore des marges d'amélioration, nos résultats montrent des progrès significatifs dans le domaine de la détection d'erreurs fines.

#Défis de l'évaluation automatique

Bien que nos évaluations automatiques fournissent des informations précieuses, elles ne peuvent pas capturer tous les aspects des performances du modèle. Les évaluations humaines aident à pallier cette limitation en offrant une compréhension plus nuancée de la manière dont le modèle fonctionne dans des scénarios réels.

Les évaluateurs ont vérifié un échantillon aléatoire de sorties de notre modèle et du meilleur modèle de référence performant. Ils ont évalué combien des erreurs détectées et des modifications suggérées étaient précises. Ce processus ajoute une couche de rigueur qui complète les métriques automatiques.

#Exploration de différentes techniques de récupération

En plus d'améliorer la détection, nous avons également exploré différentes méthodes de récupération d'informations supplémentaires pour soutenir le processus de modification. Utiliser les bonnes techniques de récupération peut améliorer la qualité des modifications apportées au texte généré.

Nous avons expérimenté la récupération des meilleurs documents en fonction de requêtes spécifiques et mélangé différentes sources de données pour voir comment cela affectait les performances. Notre analyse a révélé que l'optimisation du processus de récupération entraînait des améliorations dans les tâches d'édition.

#Conclusion et directions futures

Ce travail introduit une nouvelle façon de détecter et corriger les hallucinations produites par les modèles de langage. En développant une taxonomie fine et en créant un jeu de données de référence, nous fournissons des outils pour mieux comprendre et améliorer les sorties des modèles de langage.

Notre modèle montre des résultats prometteurs dans l'identification et la correction des erreurs, mais il reste encore du travail à faire. Les recherches futures peuvent viser à affiner davantage le processus de détection et explorer des méthodes supplémentaires pour améliorer l'exactitude des LMs.

À mesure que les modèles de langage continuent d'évoluer, il sera crucial de donner la priorité à la détection des inexactitudes factuelles. Cela garantit que ces outils puissants peuvent être déployés efficacement dans diverses applications où l'exactitude est essentielle.