Présentation d'Open-WikiTable : un nouveau dataset pour répondre à des questions complexes sur des tableaux

Cet article parle d'un nouveau jeu de données appelé Open-WikiTable. Ce jeu de données est fait pour répondre à des questions basées sur des informations trouvées dans des tableaux, en se concentrant sur un raisonnement plus complexe. Récemment, beaucoup de chercheurs se sont intéressés à trouver des moyens de répondre à des questions en utilisant des tableaux de données. Cependant, les jeux de données précédents ne profitaient souvent pas pleinement de la structure des tableaux, ce qui rendait les réponses moins efficaces.

#Contexte

Les tableaux contiennent divers types d'informations, comme des chiffres, des dates et du texte, bien organisés. Dans les anciens jeux de données, les questions étaient souvent simples et on s'attendait à ce qu'elles aient des réponses dans une seule cellule du tableau. Elles ne nécessitaient pas une compréhension plus profonde ou un raisonnement qui regarde plusieurs cellules. Les questions du monde réel, en revanche, peuvent être beaucoup plus complexes et nécessitent une approche plus large.

Pour résoudre ce problème, Open-WikiTable est conçu pour non seulement fournir des réponses dans une seule cellule mais aussi pour nécessiter un raisonnement à travers plusieurs cellules. Cela implique des tâches comme additionner des valeurs, comparer des informations et comprendre des relations complexes dans les données.

Ce jeu de données s'appuie sur deux jeux de données existants appelés WikiSQL et WikiTableQuestions. En faisant cela, Open-WikiTable permet des questions qui sont à la fois basées sur du texte et qui peuvent être traduites en Requêtes SQL, un langage utilisé pour gérer et obtenir des données à partir de bases de données. L'idée est de faciliter aux chercheurs le test de différentes méthodes pour répondre à des questions sur des tableaux.

#Importance des Tableaux dans la QA

Les tableaux jouent un rôle important dans la fourniture d'informations structurées pour répondre aux questions. Ils peuvent contenir divers types de données qui aident à répondre à des questions complexes. Les anciens jeux de données qui se concentraient sur les réponses aux questions basées sur les tableaux supposaient souvent que chaque question avait un tableau associé, ce qui limite notre application dans la vraie vie.

Il y a eu des tentatives d'adapter la réponse aux questions basées sur les tableaux à un cadre plus large où les tableaux pertinents sont récupérés en fonction des questions elles-mêmes. Cependant, ces tentatives ont souvent rencontré des limites car elles se concentraient uniquement sur des réponses à une seule cellule et avaient de petites quantités de données.

#Caractéristiques d'Open-WikiTable

Open-WikiTable est un grand jeu de données contenant plus de 67 000 questions et près de 25 000 tableaux. Voici quelques-unes de ses principales caractéristiques :

1. Raisonnement complexe : Environ 40 % des questions dans ce jeu de données nécessitent plus qu'une simple sélection. Elles ont besoin d'un modèle pour effectuer des actions comme additionner, trier et comparer des valeurs à travers différentes cellules.

2. Questions Contextuelles : Les questions ont été mises à jour pour fournir plus de contexte afin de récupérer les bons tableaux. Cela a impliqué une réannotation des descriptions des tableaux pour les rendre plus claires et plus informatives.

3. Paraphraser : Pour rendre le jeu de données plus réaliste, les questions ont été réécrites pour réduire le chevauchement de mots entre les questions et le contenu des tableaux. Cela reflète comment les gens formulent souvent des questions différemment, en utilisant un langage varié.

4. Types de Réponses : Chaque question est liée à une réponse textuelle et à une requête SQL, permettant d'explorer ensemble différentes méthodes de réponse aux questions.

#Processus de Construction des Données

Pour créer Open-WikiTable, l'équipe a d'abord examiné les deux jeux de données existants, WikiSQL et WikiTableQuestions. Bien que ces jeux de données contiennent des informations précieuses, ils avaient aussi quelques problèmes. Par exemple, les questions originales étaient parfois vagues, rendant difficile la recherche des bons tableaux.

Pour améliorer cela, un processus appelé décontextualisation a été utilisé. Cela signifie ajouter des informations aux questions pour aider à identifier les bons tableaux. Cependant, de nombreuses descriptions de tableaux des jeux de données originaux étaient soit manquantes, soit peu claires. L'équipe a résolu cela en retournant aux sources originales et en améliorant les descriptions.

Après avoir corrigé les descriptions des tableaux, les questions ont été révisées. Un modèle de langage a été utilisé pour garder l'intention originale tout en ajoutant plus de contexte. L'étape suivante a impliqué la paraphrase des questions, ce qui a aidé à réduire le chevauchement direct des mots et à rendre les questions plus variées.

#Contrôle de Qualité

Pour garantir la qualité des questions, les auteurs ont examiné un échantillon de 10 000 questions. Ils se sont concentrés sur la préservation du sens original de chaque question et sur l'exactitude des informations ajoutées après la paraphrase. Il a été constaté qu'un petit pourcentage (7,9 %) ne répondait pas à ces normes. La plupart des problèmes provenaient de l'ambiguïté des questions originales, tandis qu'une plus petite partie était due au processus de construction des données.

#Statistiques des Données

Le jeu de données a été divisé en trois parties : Entraînement, Validation et test, avec une répartition de 80-10-10. Cette partition est cruciale pour tester la performance des modèles sur des données non vues. Les tableaux ont également été divisés en segments plus petits pour que les modèles puissent gérer efficacement des tableaux plus longs.

Pendant cette préparation, une attention particulière a été accordée pour s'assurer que les différents sous-ensembles ne partageaient pas de tableaux, permettant une évaluation équitable de la généralisation des modèles.

#Configuration Expérimentale

Différents modèles ont été utilisés pour évaluer à quel point ils pouvaient récupérer des tableaux pertinents en fonction des questions. L'équipe a employé diverses techniques, y compris une méthode appelée BM25 pour la recherche sparse et une approche dual-encoder impliquant BERT et TAPAS pour la recherche dense.

Ils ont mesuré la performance à travers la précision dans la récupération des bons tableaux et ont évalué comment les différents types de questions se comportaient tout au long des expériences. Les résultats ont montré qu'ajouter du contexte améliorait la performance de récupération, mais qu'un trop grand chevauchement dans le langage facilitait la recherche des bons tableaux.

#Réponse aux Questions de bout en bout

Les chercheurs ont testé à la fois des modèles de lecteur et de parseur pour répondre à des questions basées sur les tableaux récupérés. Le modèle de parseur, qui génère des requêtes SQL pour trouver des réponses précises, a montré de meilleures performances globales. C'est parce qu'il peut travailler avec moins d'informations tant que les valeurs nécessaires sont dans les segments récupérés.

En revanche, le modèle de lecteur doit avoir accès à tous les segments corrects pour produire une réponse précise. Cette différence a mis en lumière les exigences variées des deux approches pour parvenir à une solution.

#Analyse des Résultats

Les questions ont été divisées en faciles et difficiles en fonction de si elles pouvaient être répondues à partir d'une seule cellule ou si elles nécessitaient plusieurs cellules. Le parseur a surpassé le modèle de lecteur dans les cas où les tableaux étaient divisés en plusieurs segments, fournissant des résultats cohérents malgré la complexité des questions.

Cependant, pour des questions particulièrement complexes, le lecteur a parfois mieux performé. Cela a montré que, bien que le parseur soit efficace, il peut ne pas capturer complètement la diversité des questions dérivées de requêtes SQL complexes.

#Conclusion

Open-WikiTable est une contribution significative au domaine de la réponse aux questions sur des tableaux. En révisant les jeux de données existants et en se concentrant sur le raisonnement complexe, il ouvre de nouvelles voies pour la recherche et l'application pratique. Le jeu de données fournit une excellente base pour explorer davantage comment différentes méthodes peuvent être utilisées pour répondre efficacement aux questions sur les tableaux.

Les chercheurs peuvent désormais enquêter sur différentes techniques pour récupérer et générer des réponses dans un cadre plus complexe et open-domain. Même s'il y a certaines limites, comme des ambiguïtés restantes des jeux de données originaux, Open-WikiTable a beaucoup de potentiel pour faire avancer notre compréhension et nos capacités en matière de réponse aux questions sur des tableaux.