Check-Eval : Une nouvelle façon de mesurer la qualité des textes

Évaluer la Qualité du texte produit par des grands modèles de langage (LLMs) peut être compliqué. Les méthodes standard ne correspondent souvent pas bien aux opinions des Humains, surtout quand la sortie demande créativité ou subtilité. Pour résoudre ce problème, on introduit Check-Eval, une nouvelle méthode qui utilise des listes de contrôle pour évaluer la qualité du texte généré.

Check-Eval fonctionne en deux étapes principales : créer une liste de contrôle et l'utiliser pour évaluer le texte. Cette méthode peut vérifier la qualité du texte avec ou sans texte de référence, ce qui la rend flexible. On a testé Check-Eval avec deux ensembles de données liés à des Textes juridiques portugais et des résumés de texte. Nos résultats montrent que Check-Eval s'aligne mieux avec les avis humains que certaines méthodes d'évaluation existantes. Ça montre son potentiel comme moyen plus fiable d'évaluer la qualité du texte dans les tâches de génération de langage.

#Le besoin d'une meilleure évaluation

Évaluer du texte généré automatiquement est un problème récurrent dans le domaine de la génération de langage. Les méthodes traditionnelles comme BLEU, ROUGE et METEOR ont été largement utilisées, mais elles ne correspondent souvent pas bien aux opinions humaines, surtout dans des tâches créatives comme la génération de dialogue ou le résumé. Malgré les avancées des LLMs capables de produire du texte fluide et de haute qualité, le défi reste d'évaluer avec précision cette sortie.

Des méthodes récentes utilisant les LLMs comme évaluateurs ont montré de la promesse, mais rencontrent encore des difficultés à atteindre un alignement fiable avec les avis humains. Ce fossé met en évidence le besoin de systèmes d'évaluation améliorés qui peuvent relier les métriques automatisées et les jugements humains, garantissant que les textes générés répondent aux normes de cohérence, de pertinence et de qualité.

#Introduction de Check-Eval

Check-Eval vise à surmonter ces problèmes en utilisant les forces des LLMs pour évaluer la qualité du texte par le biais d'une approche basée sur des listes de contrôle. Dans cette méthode, le LLM génère une liste de contrôle des éléments importants qui devraient être présents dans un texte de qualité. Cette liste de contrôle est basée soit sur un document de référence, soit sur des critères d'évaluation spécifiques, ce qui en fait une manière claire et structurée d'évaluer le texte.

Le processus commence par le LLM créant une liste de contrôle des points clés qui devraient être présents dans le texte. En comparant le texte généré à cette liste de contrôle, Check-Eval fournit une évaluation détaillée de la qualité, se concentrant sur des aspects comme la cohérence du contenu, la cohérence et la pertinence.

#Scénarios d'évaluation

On a testé Check-Eval dans deux principaux contextes, tous deux basés sur des jugements humains. Le premier impliquait un ensemble de données pour évaluer la similarité sémantique des textes juridiques en portugais. Le second portait sur un ensemble de données pour résumer du texte. Nos expériences ont montré que Check-Eval atteint un meilleur alignement avec les jugements humains que d'autres méthodes, mettant en évidence sa capacité à identifier les domaines où les résumés générés peuvent s'améliorer.

#Caractéristiques clés de Check-Eval

Check-Eval a plusieurs caractéristiques importantes :

1. Approche structurée : La liste de contrôle fournit une référence claire sur ce qui devrait être dans un bon texte.
2. Utilisation polyvalente : Check-Eval peut être adapté à différents scénarios d'évaluation selon qu'un texte de référence est disponible ou non.
3. Retour d'information actionnable : En identifiant des domaines spécifiques à améliorer, Check-Eval aide à affiner le processus de génération de texte.

#Travaux connexes

Évaluer le texte généré automatiquement a été un défi de longue date. Les métriques traditionnelles, bien que couramment utilisées, ont du mal à s'aligner avec le jugement humain, surtout dans des tâches créatives. Récemment, des cadres d'évaluation plus avancés ont émergé qui utilisent des LLMs, comme GPTScore et G-Eval.

GPTScore se concentre sur l'évaluation de la probabilité assignée au texte généré par les LLMs, fonctionnant sans textes de référence. Cette méthode a rapporté un meilleur alignement avec les jugements humains, en particulier dans des tâches ouvertes. Cependant, elle peut manquer d'interprétabilité et peut être biaisée en faveur des textes similaires aux exemples vus lors de l'entraînement du modèle.

G-Eval adopte une approche différente, utilisant GPT-4 pour améliorer les Évaluations grâce à un processus étape par étape. Cette méthode a montré des améliorations en alignement avec les évaluations humaines, surtout dans les tâches de résumé et de dialogue. Elle génère plusieurs échantillons pour aborder les problèmes de distribution des scores, offrant une évaluation plus nuancée de la qualité du texte.

Bien que ces méthodes marquent des progrès, Check-Eval vise à répondre à leurs limites grâce à une approche basée sur une liste de contrôle. Au lieu de se fier uniquement aux résultats statistiques, Check-Eval se concentre sur des points de contenu spécifiques du texte. Cette méthode permet une évaluation plus organisée et informative de la qualité et de la pertinence.

#Comment fonctionne Check-Eval

Check-Eval se compose de deux étapes principales : la génération de la liste de contrôle et l'évaluation de la liste de contrôle. La génération de la liste de contrôle implique la création d'un ensemble de questions oui/non qui représentent des éléments clés que le texte devrait inclure. Ces questions sont conçues pour être claires et ciblées, capturant les concepts principaux tout en évitant les détails inutiles.

#Génération de la liste de contrôle

À ce stade, le LLM génère une liste de contrôle basée soit sur le texte de référence, soit sur le texte candidat. Selon le scénario d'évaluation, la liste de contrôle peut mettre en évidence des points importants à vérifier pour la cohérence, la pertinence et la fluidité.

Après avoir généré la liste de contrôle, l'étape suivante consiste à l'utiliser pour évaluer le texte candidat. Cela implique de demander au LLM de comparer le contenu du texte candidat à la liste de contrôle, déterminant si chaque point clé est présent ou absent.

#Évaluation de la liste de contrôle

À ce stade d'évaluation, le LLM évalue le texte candidat en fonction de la liste de contrôle générée. Le processus consiste à examiner si le texte candidat correspond aux points clés notés dans la liste de contrôle, ce qui conduit à un score reflétant sa qualité globale. Le score final indique à quel point le texte capture des éléments essentiels, fournissant une mesure quantitative de la qualité.

#Paramètres expérimentaux

On a évalué Check-Eval en utilisant deux ensembles de données différents. Le premier était le jeu de données de similarité textuelle juridique en portugais, qui fournissait des paires de documents juridiques annotés avec des scores de similarité. On s'est concentré sur des paires de textes labellisés par des experts juridiques et ceux annotés avec des méthodes automatisées.

Le deuxième ensemble de données était SummEval, qui consiste en des résumés d'articles de presse. Les annotations humaines dans cet ensemble de données se concentrent sur plusieurs dimensions de qualité, y compris la cohérence, la consistance, la fluidité et la pertinence. On a évalué la performance de Check-Eval dans les deux scénarios pour déterminer son efficacité.

#Résultats et conclusions

Check-Eval a bien performé dans les deux ensembles de données. Dans l'ensemble de données portugais, Check-Eval a montré des scores de corrélation plus élevés avec les jugements humains que les annotations automatisées, démontrant sa fiabilité dans l'évaluation des textes juridiques.

Pour l'ensemble de données SummEval, Check-Eval a été comparé aux métriques d'évaluation existantes. Il a atteint des corrélations impressionnantes avec les opinions humaines sur différents critères, montrant sa robustesse dans l'évaluation de la qualité. En gros, Check-Eval a surpassé d'autres méthodes, reflétant son approche détaillée et structurée de l'évaluation.

#Conclusion

En résumé, Check-Eval présente une méthode nouvelle et efficace pour évaluer le texte généré automatiquement. En utilisant des LLMs pour créer des listes de contrôle de points de contenu clés, Check-Eval offre une manière structurée d'évaluer la qualité du texte qui s'aligne étroitement avec les jugements humains.

La méthode démontre une forte performance à travers diverses dimensions de qualité de texte, prouvant qu'elle est un outil précieux pour les tâches de génération de langage. À mesure qu'on continue à affiner Check-Eval, on s'attend à ce qu'il contribue significativement au domaine de l'évaluation de texte, offrant des avantages clairs par rapport aux méthodes traditionnelles.

#Directions futures

À l'avenir, il y a de la place pour l'amélioration. Certaines limitations incluent la dépendance au LLM sous-jacent, qui peut ne pas toujours fournir des résultats cohérents. De plus, les ressources informatiques nécessaires peuvent être un obstacle pour certains chercheurs.

Les efforts futurs se concentreront sur l'amélioration de l'efficacité de Check-Eval et l'élargissement de son application à diverses tâches de génération de langage. De plus, le raffinement du processus de génération de listes de contrôle aidera à minimiser les biais potentiels et à améliorer la robustesse des évaluations, solidifiant Check-Eval comme une méthode de premier plan dans le domaine.