Évaluation de l'édition de modèle dans de longs textes

Quand on parle de Modèles de Langage de Grande Taille (LLMs), on discute de systèmes capables de générer du texte basé sur les infos qu'ils ont apprises. Cependant, ces modèles ont parfois besoin de mettre à jour leurs connaissances. C'est là qu'intervient l'Édition de modèle. L'édition de modèle est une façon de changer ou de mettre à jour les faits que ces modèles connaissent. La plupart des évaluations de l'édition de modèle se concentrent uniquement sur la réponse immédiate du modèle après qu'on lui ait donné un nouveau fait. Cette vision à court terme ne nous dit pas grand-chose sur la façon dont ces modifications tiennent dans des textes plus longs.

Pour aborder ce problème, on présente une nouvelle méthode appelée Évaluation Longue de l’Édition de Modèle (LEME). Notre objectif est de voir à quel point les modifications de modèle fonctionnent efficacement lors de la génération de textes plus longs. Cette évaluation implique deux composants principaux : une enquête notée par des machines et des classifieurs qui s'alignent bien avec les évaluations humaines.

Une des découvertes surprenantes est que notre nouvelle méthode n'est pas fortement liée aux évaluations courtes existantes. Ça veut dire que ce qui fonctionne bien dans les évaluations courtes peut ne pas être efficace quand on regarde des sorties plus longues. En utilisant notre nouvelle méthode, on a testé diverses techniques d'édition de modèle et on a trouvé des résultats intéressants. Par exemple, bien que certaines méthodes réussissent à faire des modifications cohérentes, elles ont tendance à perdre plus de précision factuelle que d'autres.

Dans cet article, on va approfondir comment fonctionne l'édition de modèle, pourquoi c'est important, et comment on peut l'évaluer plus efficacement, surtout dans le contexte de la génération de textes plus longs.

#Le défi de l’évaluation courte

Les évaluations actuelles se concentrent principalement sur les premiers mots ou tokens qu'un modèle génère après avoir reçu une invite. Cette évaluation à court terme ne capture pas la qualité globale d'un texte plus long qui suit. Étant donné que les LLMs sont souvent appelés à produire des sorties plus longues, se fier uniquement à des évaluations courtes laisse une lacune significative dans notre compréhension de l'édition de modèle.

L'édition de modèle vise à changer ou à mettre à jour un fait existant dans un modèle. Il existe plusieurs façons d'y parvenir : mettre à jour directement les paramètres du modèle, ajouter de nouveaux paramètres, ou instruire le modèle via des invites pour qu'il fasse des changements. Bien que les premières évaluations de ces techniques aient montré des promesses, elles ont généralement été limitées à des sorties courtes.

Pour combler cette lacune, on a créé LEME, un protocole qui vise à évaluer comment les techniques d'édition de modèle fonctionnent lors de la génération de textes plus longs.

#Qu'est-ce que l'Évaluation Longue de l’Édition de Modèle (LEME) ?

LEME est conçu pour évaluer la solidité des modifications de modèle dans des formes plus longues de génération de langage naturel. Nos contributions incluent :

1. Un nouveau jeu de données : On a créé un jeu de données qui nous permet d'évaluer de plus longues sorties après édition.
2. Des métriques automatiques : Ces métriques s'alignent étroitement avec les évaluations humaines, ce qui nous aide à comprendre l'efficacité des différentes méthodes d'édition.

Avec ces outils, on a effectué une analyse détaillée de diverses techniques d'édition de modèle, découvrant des insights sur leur efficacité et les problèmes qu'elles pourraient rencontrer dans la génération de textes longs.

#Principales découvertes sur les techniques d'édition de modèle

#1. Dérive factuelle

Un des défis les plus importants observés était la dérive factuelle. Certaines méthodes, comme ROME et MEMIT, ont été notées comme performantes pour faire des modifications dans des scopes limités. Cependant, elles perdent plus en précision lorsque la génération dépasse les faits modifiés. Cela veut dire que, même si elles peuvent changer un fait dans un contexte court, elles peuvent avoir du mal à maintenir la précision dans un texte plus long où plusieurs faits sont interconnectés.

#2. Cohérence interne

Un autre aspect important est de savoir à quel point le texte reste logiquement cohérent. Dans les tâches de génération plus longues, des incohérences peuvent surgir où différentes parties du texte se contredisent. On a trouvé plusieurs exemples de ça, où un modèle pourrait énoncer un fait au début et ensuite le contredire plus tard dans le même passage.

#3. Dérive thématique

La dérive thématique se produit quand le texte généré s'éloigne du sujet principal. Ça peut arriver quand le modèle commence à discuter d'un sujet mais change graduellement pour un autre qui est moins pertinent. De tels problèmes ont été fréquemment notés dans les sorties plus longues, révélant le besoin d'une meilleure gestion de la façon dont les sujets sont abordés au fil du temps.

#4. Cohésion lexicale

La cohésion lexicale concerne la manière dont différentes parties du texte utilisent le langage pour soutenir les mêmes idées. Des problèmes surviennent quand différents termes ou phrases sont utilisés de manière interchangeable pour la même entité, ce qui peut créer de la confusion pour les lecteurs. Ce type d'incohérence était commun dans les sorties de longue durée, où le langage devrait idéalement rester stable.

#5. Qualité du texte généré

On a aussi observé la qualité globale du texte généré. Le texte généré après des modifications avait parfois l'air moins naturel. Des problèmes liés à la fluidité apparaissaient souvent, où le texte semblait haché ou confus. Ça impacte combien le texte est engageant ou utile pour les lecteurs.

#Comment évaluer l'édition de modèle ?

Pour mesurer la qualité des interventions d'édition de modèle, on a mis en place plusieurs mesures clés :

• Cohérence des modifications : Ça nous dit si le fait modifié apparaît dans le passage généré comme s'il avait toujours été vrai.
• Cohérence factuelle : Ça mesure si le reste du texte reste précis, malgré l'introduction de nouveaux faits.
• Cohérence interne : Ça vérifie si le texte généré se contredit.
• Thématique : Ça évalue si le texte généré reste concentré sur le sujet à traiter.
• Naturalité : Ça évalue à quel point le texte sonne fluide et cohérent dans l'ensemble.

On a construit un jeu de données basé sur deux types de tâches d'édition : mises à jour contrefactuelles et corrections factuelles, pour voir comment ces différentes tâches impactent l'efficacité et la qualité du texte généré.

#Construction de notre jeu de données

Le jeu de données qu'on a créé a deux invites pour chaque exemple. Une invite génère du texte sur un sujet qui a été modifié, tandis que l'autre concerne une entité étroitement associée. Ce paramètre nous permet de mesurer comment le modèle conserve des faits précédents tout en intégrant de nouveaux.

Par exemple, considérez la modification : "La Tour Eiffel est à Paris" changée en "La Tour Eiffel est à Rome." Ça nécessiterait que le modèle génère du texte sur la Tour Eiffel (le sujet) et le Champ de Mars (une entité liée) sans contredire la nouvelle information.

Pour créer le jeu de données, on a dû définir les modifications réussies comme celles où :

1. Le texte principal était aligné avec le nouveau fait.
2. Le texte lié ne contredisait pas le fait mis à jour.
3. La logique interne des deux textes restait cohérente.

En structurant le jeu de données de cette manière, on a pu obtenir des insights sur la performance de ces modifications dans le contexte de récits plus longs.

#Évaluations et enquêtes humaines

Pour évaluer le texte généré en utilisant diverses méthodes d'édition, on a développé une enquête que les participants ont remplie. Ils ont noté les passages selon les critères mentionnés ci-dessus. Quelques insights clés ont émergé de cette évaluation humaine :

• Le texte créé par des humains pour le même sujet a constamment été noté plus haut que le texte généré par des modèles édités.
• La méthode d'édition de modèle ROME a montré de moins bons résultats sur plusieurs dimensions de notation comparée aux textes générés par des humains et aux textes non modifiés.
• Le groupe de contrôle (sans modifications) a souvent eu de meilleures notes pour la cohérence factuelle comparé à la méthode ROME.

Ce retour a mis en lumière où et comment les techniques d'édition de modèle actuelles échouent et où elles réussissent.

#Évaluations automatiques

Pour compléter les évaluations humaines, on a aussi mis en place des métriques automatiques qui peuvent évaluer le texte généré. Ces métriques nous permettent de collecter des données plus efficacement, bien qu'elles ne capturent peut-être pas toutes les nuances.

On a construit des mesures automatiques qui analysent :

• Le degré de chevauchement entre le texte généré et les faits originaux.
• Si le texte généré s'écoule naturellement.
• La précision des modifications sur la base des vérités établies précédemment.

Nos expériences ont montré que, même si les mesures automatiques peuvent fournir des insights utiles, elles doivent être considérées comme complémentaires aux évaluations humaines, surtout lorsqu'il s'agit de comprendre les subtilités de la génération de langage.

#Défis des méthodes actuelles

Il est important de reconnaître les limites des méthodes d'édition de modèle actuelles. Bien que plusieurs techniques efficaces existent, beaucoup ne se traduisent pas bien des évaluations courtes aux longues. Les principaux défis incluent :

• Haute variance dans les résultats : Les différentes méthodes d'édition peuvent produire des sorties très différentes, allant de très précises à truffées d'incohérences.
• Dépendance au contexte : L'efficacité des techniques d'édition peut être très spécifique au contexte. Une méthode qui fonctionne bien pour une tâche peut ne pas nécessairement fonctionner pour une autre.
• Complexité inhérente : Le traitement du langage est intrinsèquement complexe, et des facteurs comme les relations entre les faits, la façon dont ils sont présentés, et la structure générale du texte peuvent significativement impacter les performances.

#Conclusion

Cette exploration de l'évaluation de l'édition de modèle dans des textes plus longs éclaire de nombreux défis qui accompagnent cette tâche. L'introduction d'une méthode d'évaluation plus complète comme LEME aide à comprendre non seulement l'efficacité mais aussi les implications des modifications sur des pièces de texte plus longues.

Nos découvertes révèlent que, bien que certaines méthodes d'édition fonctionnent bien dans des circonstances contrôlées, elles font face à des défis considérables lorsqu'elles sont appliquées à des générations de texte plus longues. Les problèmes de dérive factuelle, de cohérence interne, de dérive thématique et de cohésion lexicale jouent tous un rôle significatif dans la qualité du texte généré.

En fin de compte, ce travail vise à encourager la recherche future et les améliorations des techniques d'édition de modèle pour qu'elles deviennent plus fiables et efficaces pour des tâches d'écriture longues. L'espoir est de développer des méthodes qui maintiennent à la fois l'intégrité de la génération de langage et la précision factuelle des informations présentées.