Améliorer les modèles Table-to-Text grâce à la correction des entrées

Les modèles neuronaux qui transforment les tableaux en texte font souvent des erreurs, générant des affirmations incorrectes. Ces erreurs, appelées "Hallucinations", surviennent parce que les données d'entrée ne sont pas toujours claires ou bien organisées. Dans notre étude, on a examiné comment résoudre ces problèmes d'entrée peut mener à de meilleures sorties de ces modèles.

On a passé en revue 1 837 textes créés par différents modèles dans la section politique d'un ensemble de données appelé ToTTo. En examinant ces textes, on a découvert que beaucoup d'erreurs dans les résultats venaient de soucis dans les données d'entrée. Après avoir corrigé ces problèmes d'entrée, on a remarqué une chute significative du nombre d'erreurs, avec des erreurs réduites jusqu'à 76%, selon le modèle spécifique utilisé.

#Qu'est-ce que la génération de texte à partir de tableaux ?

La génération de texte à partir de tableaux est le processus de création de descriptions écrites à partir de données tabulaires. Cette technique est utilisée dans divers domaines comme la médecine, la finance, les rapports météo et les résumés sportifs. Bien que ces modèles linguistiques produisent du texte fluide, ils peuvent parfois donner des résultats factuellement incorrects. Ces cas surviennent souvent à cause de données de tableau peu claires ou mal organisées, ce qui crée de la confusion pour les modèles.

#Travaux précédents sur les tâches de conversion tableau-texte

La plupart des études précédentes se concentraient sur l'utilisation de méthodes traditionnelles de séquence à séquence (seq2seq) pour convertir des tableaux en texte. Récemment, des modèles plus avancés appelés modèles basés sur Transformer ont été utilisés, car ils ont montré des promesses dans les tâches de génération de langage. Cependant, convertir des données de tableau pose encore des défis, surtout quand les données ne sont pas clairement structurées avec des étiquettes appropriées pour les lignes et les colonnes.

#Identifier les problèmes d'entrée

En utilisant l'ensemble de données ToTTo, on a identifié des problèmes d'entrée courants qui ont conduit à des erreurs factuelles dans le texte généré. Quelques problèmes typiques incluent :

1. Valeurs de cellule non atomiques : Cela se produit lorsqu'une seule cellule de tableau contient plusieurs informations. Par exemple, si une cellule contient le nom d'un leader, son parti et le pourcentage de votes, cela peut embrouiller le modèle.

2. Valeurs importantes manquantes : Parfois, des informations cruciales sont omises dans l'entrée, ce qui peut mener à des sorties incorrectes.

3. Structures de tableau complexes : Les tableaux avec des en-têtes imbriqués peuvent embrouiller les modèles car cela complique la correspondance des valeurs avec leurs en-têtes respectifs.

#Exemples de problèmes d'entrée

Regardons comment ces problèmes se manifestent dans des exemples concrets :

• Dans un cas, un tableau incluait une cellule avec le nom d'un leader et son pourcentage de vote combinés. Ce format non atomique a conduit le modèle à produire des affirmations incorrectes sur le nombre de votes reçus par un leader.

• Un autre exemple concernait un tableau où certaines cellules, comme le pourcentage de votes, n’étaient pas mises en évidence et donc pas transmises au modèle. Cela a conduit à des erreurs factuelles parce que le modèle manquait d’informations essentielles pour générer une description précise.

#Annotation manuelle des erreurs

Pour évaluer la qualité des sorties de texte, on a annoté manuellement les textes générés au lieu de compter sur des systèmes de notation automatiques. On a analysé des échantillons de l'ensemble de données ToTTo, en se concentrant sur l'identification des motifs d'erreurs dans le texte généré. Cette approche manuelle nous a aidés à retracer beaucoup d'erreurs de sortie aux problèmes d'entrée identifiés plus tôt.

#Approche pour l'amélioration

On a systématiquement corrigé les entrées tabulaires dans la section politique de ToTTo. Les corrections comprenaient plusieurs étapes :

1. Identifier les cellules non atomiques : On a séparé les cellules complexes en valeurs plus simples pour garantir que chaque information soit claire.

2. Ajouter des valeurs manquantes : On s'est assuré que toutes les informations clés étaient incluses dans les données d'entrée.

3. Simplifier les structures complexes : On a restructuré les tableaux compliqués pour fournir des données plus claires aux modèles.

#Résultats après corrections

Après avoir appliqué ces corrections, on a mené des expériences avec deux types de modèles : T5 et Llama. Pour les modèles T5, on a constaté que corriger les entrées entraînait une réduction significative des erreurs, avec le T5-base montrant une diminution de 62% des erreurs factuelles, et le T5-large une diminution de 57%.

De même, les modèles Llama ont montré des améliorations, le Llama 2-7B et le Llama 2-13B atteignant des réductions de 52% et 76% des erreurs, respectivement. Cela indique qu'une meilleure organisation des entrées correspond directement à une amélioration de l'exactitude des sorties.

#Types d'erreurs analysées

Notre analyse a catégorisé les diverses erreurs en types, tels que :

• Erreurs de MOT : Ce sont des erreurs dans l'utilisation des verbes, des adjectifs ou d'autres parties du discours qui ne correspondent pas à l'entrée.

• Erreurs de NOM : Surviennent lorsqu'un nom ou un titre est incorrect dans le texte généré.

• Erreurs de NOMBRE : Se produisent lorsque les valeurs numériques, comme le nombre de votes ou les pourcentages, sont inexactes.

• Erreurs de CONTEXTE : Ces erreurs se produisent lorsque la sortie fait des suppositions non fondées basées sur les données d'entrée.

• Erreurs d'AJOUT : Résultent du modèle ajoutant des informations qui ne sont pas présentes dans l'entrée.

#Défis avec les données d'entrée

Malgré nos corrections, certains problèmes persistaient dans les sorties :

• Données complexes : Pour les tableaux avec des structures complexes, même après corrections, les modèles avaient parfois du mal à produire un texte précis. C'était particulièrement vrai quand les modèles avaient besoin de plus de contexte pour transmettre le bon sens.

• Noms de leaders : Lorsque les données d'entrée incluaient plusieurs candidats, les modèles avaient tendance à privilégier le premier mentionné, ce qui pouvait conduire à des erreurs dans la sortie.

#Procédures de correction manuelle

On a créé une procédure étape par étape pour corriger les problèmes d'entrée. Cela incluait :

1. Séparer les valeurs non atomiques : On s'est assuré que chaque pièce de donnée relative aux candidats était stockée dans sa propre colonne. Par exemple, plutôt que d'avoir plusieurs leaders dans une cellule, on a divisé les détails en colonnes individuelles.

2. Mettre à jour les en-têtes : On a veillé à ce que les en-têtes de colonne soient suffisamment informatifs pour que les modèles comprennent à quelles données ils se référaient.

3. Traiter les valeurs manquantes : On s'est assuré que toutes les données pertinentes étaient mises en évidence et incluses dans l'entrée.

#Expériences avec les modèles

On a testé à la fois les entrées corrigées et les entrées originales sur nos modèles. Les résultats ont mis en évidence les différences significatives de performance :

• Avant les corrections, les modèles généraient de nombreuses erreurs.
• Après avoir mis en œuvre nos corrections, on a observé une amélioration notable dans l'exactitude de leurs sorties.

#Précision accrue avec les entrées corrigées

Nos expériences ont clairement montré que corriger les problèmes d'entrée conduit à des sorties beaucoup plus factuelles. Par exemple, en testant avec nos données corrigées, on a constaté une chute considérable des erreurs liées au choix des mots, à l'exactitude des noms, à la représentation numérique et à la compréhension du contexte.

#Perspectives

Bien que notre étude ait mis en lumière l'importance de données d'entrée propres et claires pour améliorer l'exactitude des sorties, on a aussi reconnu des domaines pour de futures explorations. Par exemple, on prévoit d'étudier des tableaux plus complexes et divers autres ensembles de données pour affiner davantage nos méthodes.

De plus, on vise à simplifier les catégories d'erreurs dans nos annotations pour faciliter la compréhension des difficultés rencontrées par les modèles. Cela pourrait fournir de meilleures perspectives sur la façon d'améliorer encore l'entraînement des modèles.

#Conclusion

En se concentrant sur la correction des problèmes d'entrée dans les modèles de génération de texte à partir de tableaux, on a démontré qu'il est possible d'améliorer significativement l'exactitude factuelle des textes générés. Au fur et à mesure qu'on continue à affiner nos approches et à analyser des ensembles de données supplémentaires, on espère contribuer à de meilleurs systèmes de génération de langage naturel plus fiables à l'avenir.