Comprendre les données structurées dans les modèles de langage

Les Données structurées sont courantes dans les tableaux, les bases de données et les graphes de connaissances. Représenter ce genre d'infos peut être galère. Récemment, des grands modèles de langage (LLMs) ont été utilisés pour travailler avec des données structurées en les traitant comme une séquence de tokens. C'est différent des anciennes méthodes qui modélisaient généralement la structure des données comme un graphe. C'est important de comprendre comment ces nouvelles méthodes traitent les données structurées, étant donné que c'est intrinsèquement complexe.

Cet article examine comment les données structurées sont gérées dans les modèles de langage Encodeur-Décodeur, en se concentrant sur T5. On a découvert que le modèle peut imiter des processus conçus par des humains comme le lien de schéma et la prédiction de syntaxe. Ça suggère qu'il apprend la structure des données de manière significative plutôt que de simplement arranger des tokens. L'étude révèle aussi certaines des façons de faire du modèle, comme comment il encode les informations et la pratique de combiner différents types de données. Globalement, les résultats peuvent aider à guider les études futures dans ce domaine.

#Motivation

Les Interfaces de Langage Naturel (NLIs) permettent aux utilisateurs d'interagir avec des systèmes informatiques en utilisant un langage courant. Ça rend les fonctions de calcul avancées plus accessibles. Les premiers systèmes comme SHRDLU et LUNAR ont eu un succès limité à cause de la technologie de l'époque. Cependant, les améliorations des capacités de traitement du langage trouvées dans les LLMs ont ravivé l'intérêt pour les NLIs, comme ChatGPT.

ChatGPT et des systèmes similaires sont déjà des NLIs efficaces. Pourtant, un défi majeur reste d'adapter ces modèles à des situations réelles spécifiques. Le problème vient du fait que ces modèles doivent gérer des « données backend » stockées dans des formats structurés, comme des bases de données propriétaires et des graphes de connaissances, qui incluent divers intents et valeurs. On appelle ça la représentation de données structurées (SDR).

Ce travail se concentre sur une tâche spécifique de SDR : convertir le langage naturel en commandes SQL (parsing Texte-à-SQL). Cette tâche transforme automatiquement des questions en langage naturel en requêtes SQL, réduisant le besoin de compétences en programmation. Pour qu'un tel système fonctionne bien, il doit pouvoir s'adapter à de nouvelles bases de données et intégrer les requêtes des utilisateurs pour prédire les bonnes commandes SQL.

#L'essor des méthodes basées sur la linéarisation

Les méthodes récentes pour le parsing texte-à-SQL et d'autres tâches SDR tombent généralement dans deux catégories : les méthodes basées sur la linéarisation et celles basées sur la structure. Les techniques basées sur la structure utilisent la structure inhérente des données, souvent représentée comme un graphe. En revanche, les méthodes basées sur la linéarisation traitent les données structurées comme une séquence de tokens, similaire aux phrases en langage naturel. Ces approches de linéarisation sont devenues populaires grâce à leur compatibilité avec les LLMs, qui performe bien sur diverses tâches de traitement du langage naturel.

Malgré les progrès, les tâches SDR comme le texte-à-SQL continuent de poser des défis pour les LLMs, indiquant que les modèles actuels n'ont pas entièrement résolu le problème. Pour traiter ces questions, notre principale contribution est une enquête approfondie sur le fonctionnement d'un parser texte-à-SQL à la pointe utilisant T5.

Notre analyse inclut des classificateurs de probing et des techniques qui ajustent les états internes du modèle, en appliquant une méthode récente appelée traçage causal. On a trouvé que les méthodes basées sur la linéarisation peuvent efficacement représenter les données structurées. Plus précisément, on montre que le modèle T5 ajusté par préfixe maintient des détails textuels essentiels et aide à comprendre les relations dans les données structurées. On découvre aussi que l'encodage de l'information structurelle est souvent principalement axé sur chaque nœud spécifique. De plus, on découvre des redondances dans la façon dont différents types de données se combinent, ce qui pourrait aider à réduire la complexité du modèle.

Notre enquête fournit des insights sur le fonctionnement des méthodes basées sur la linéarisation et pourrait servir de feuille de route pour les recherches futures.

#Contexte et travaux connexes

#Représentation des données structurées pour texte-à-SQL

Des travaux antérieurs sur les méthodes basées sur la structure incluent des initiatives comme SchemaGNN, RAT-SQL et SSQL. En revanche, les stratégies basées sur la linéarisation ont aussi gagné du terrain, y compris BRIDGE et Picard. USKG, qui présente une approche unifiée de linéarisation pour diverses tâches SDR, entre dans cette catégorie. Récemment, des LLMs comme ceux derrière ChatGPT ont également montré de fortes performances dans le parsing texte-à-SQL en utilisant des méthodes de linéarisation.

#Analyse du comportement du modèle et interprétation

Des recherches passées ont examiné comment interpréter les modèles en vérifiant l'importance des caractéristiques d'entrée, souvent en utilisant des méthodes basées sur le gradient comme les cartes de saillance. Pour les modèles qui reposent sur des Mécanismes d'attention, différentes méthodes analytiques peuvent évaluer la signification des composants d'entrée individuels en examinant les poids d'attention. Cependant, certaines de ces analyses ont fait face à du scepticisme dans la communauté.

Une autre approche consiste à utiliser des classificateurs de probing, qui identifient des informations spécifiques dans les états intermédiaires des modèles. Bien que le probing puisse fournir des insights flexibles, interpréter ou comparer les résultats peut être difficile. Récemment, une analyse causale a émergé, où les chercheurs manipulent des parties spécifiques de l'entrée et observent l'impact sur la sortie du modèle.

Notre cadre d'analyse s'appuie sur des méthodes de probing et d'analyse causale précédentes tout en les adaptant pour mieux comprendre les tâches de représentation de données structurées.

#Entrée au parser texte-à-SQL

L'entrée au parser texte-à-SQL se compose de requêtes en langage naturel et de données structurées pertinentes. Le modèle utilise deux types de tokens d'entrée : "self-node", qui fait référence aux tokens correspondant au nœud de sortie attendu, et "structure-context", qui inclut tous les tokens d'entrée structurés à l'exception du self-node. La sortie est la requête SQL prédite.

Le modèle que nous examinons dans cette étude est T5-large, qui est une architecture Transformer standard encodeur-décodeur. Il a été entraîné avec une technique connue sous le nom d'ajustement par préfixe.

#Terminologie

Pour clarifier notre discussion, nous introduisons le terme "nœuds structurels" pour désigner à la fois les colonnes et les tables. Nous catégorisons aussi les couches dans l'encodeur et le décodeur en couches basses, intermédiaires et hautes. Chacune de ces couches a des rôles différents dans le traitement des informations.

#Questions de recherche

Nous visons à aborder plusieurs questions importantes concernant le fonctionnement du modèle :

• Q1 : Quelle information spécifique est transmise de l'encodeur au décodeur à travers les encodages des tokens texte et structure ?
• Q2 : Quelles parties du modèle contiennent les informations les plus importantes ?
• Q3 : Comment les modules d'attention gèrent-ils la combinaison de différents types d'informations ?
• Q4 : À quoi ressemble le pipeline de traitement interne du modèle ?

#Étude de probing

#Tâches de probing

Pour répondre à notre première question (Q1), nous nous sommes concentrés sur les informations stockées dans les vecteurs d'encodage. Nous avons réalisé deux tâches de probing :

• Reconstruction de noms de nœuds (NR) : Cette tâche vérifie si l'encodeur conserve des informations essentielles en tentant de reconstruire le nom d'un nœud. En raison de la façon dont T5 traite les tokens, un nœud peut être décomposé en plusieurs sous-tokens. Nous collectons tous les encodages de sous-tokens et utilisons un "décodeur de probe" pour reconstruire le nom du nœud.

• Prédiction de lien (LP) : Cette tâche évalue la capacité du modèle à capturer des informations structurelles d'ordre supérieur. En utilisant des encodages de paires de nœuds (y compris des tokens de questions), nous entraînons un classificateur pour prédire leur relation sur la base de connexions définies.

#Résultats du probing

Nous avons utilisé à la fois les ensembles d'entraînement et de validation du dataset Spider pour nos tâches de probing. Pour la Reconstruction de noms de nœuds, les modèles T5 ajustés par préfixe et pré-entraînés ont montré une haute précision, indiquant que l'ajustement par préfixe n'a pas compromis la capacité du modèle à préserver des détails de bas niveau.

Dans la tâche de Prédiction de lien, le modèle ajusté par préfixe a mieux performé que la version pré-entraînée, suggérant que l'ajustement par préfixe améliore la compréhension par le modèle des relations entre nœuds. Le modèle pré-entraîné a également montré une capacité à gérer le texte structuré, indiquant que les LLMs peuvent apprendre des caractéristiques non strictement alignées avec leurs principaux objectifs.

Pour comparaison, un modèle T5 initialisé au hasard a montré de faibles performances, confirmant que les bonnes performances n'étaient pas simplement le résultat d'un surajustement. Le modèle T5 ajusté par préfixe retient efficacement les détails textuels de bas niveau et améliore sa compréhension des relations dans les données structurées.

#Manipulation directe du modèle

Au-delà des insights issus de l'étude de probing, nous voulions déterminer si le modèle utilise efficacement les informations stockées dans ses représentations. Donc, nous avons directement manipulé les états du modèle et examiné les effets.

En utilisant la méthode de traçage causal, nous avons perturbé des informations intermédiaires spécifiques pour évaluer leur influence sur les prédictions finales. Nous nous sommes concentrés sur la précision des prédictions au niveau des tokens dans une requête SQL, catégorisant les résultats en fonction des types de tokens, y compris colonnes, tables et tokens de syntaxe.

#Investigation des états d'encodeur

Nous avons commencé par corrompre les embeddings d'entrée ou les vecteurs d'encodage final pour des tokens individuels. Corrompre un vecteur impliquait de le remplacer par un vecteur zéro, ce qui élimine effectivement l'information. Cette évaluation visait à déterminer l'importance des parties corrompues.

Nous avons confirmé que corrompre les embeddings de l'ensemble de la section texte affectait significativement la performance de prédiction. Corrompre les noms de colonnes causait une plus grande chute de performance que corrompre la syntaxe. Notamment, lors de la prédiction des colonnes, corrompre juste le self-node avait un impact aussi important que de retirer toute la section de structure.

Cela indique que les vecteurs d'encodage de self-node sont cruciaux pour les prédictions. Ils stockent principalement des informations pertinentes uniquement pour ce nœud particulier. Par la suite, nous avons inversé le processus de corruption pour examiner comment restaurer certains états affecte les résultats.

Lorsque nous avons restauré les états cachés du self-node, cela a permis de récupérer la prédiction correcte. En revanche, restaurer d'autres représentations de tokens avait un impact minimal. Cela renforce l'idée que les encodages de self-node contiennent des informations essentielles.

Nous avons aussi étudié les effets de la restauration des encodages finaux de sections entières. Les résultats indiquaient que restaurer les encodages de self-node s'est avéré plus efficace que de restaurer d'autres sections, soulignant l'importance des représentations de self-node.

#Représentations contextuelles de la structure

Nous nous sommes concentrés sur la compréhension de la façon dont les mécanismes d'attention fonctionnent et comment différents types d'informations se combinent. Le processus d'attention du modèle joue un rôle essentiel dans cette fusion de texte et de données structurées.

Lorsque les embeddings de texte étaient corrompus et que leurs encodages finaux étaient restaurés, la précision de prédiction souffrait toujours à cause de l'incapacité des nœuds de structure à accéder à des informations textuelles correctes. Cela souligne le rôle critique de l'information textuelle dans l'encodage des nœuds de structure.

#Étude de corruption d'attention

Pour examiner comment la fusion des modalités se produit, nous avons utilisé une technique de corruption d'attention où nous avons masqué certaines entrées d'attention. Cette approche nous a permis d'identifier quelles parties du modèle participent à la fusion des modalités.

Nous avons évalué la précision des prédictions tout en perturbant l'auto-attention de l'encodeur et l'attention croisée du décodeur à différentes couches. Notre attente était simple : les composants non impliqués dans la fusion des modalités montreraient moins de perte de performances.

#Résultats

Les résultats ont révélé des insights intéressants. Par exemple, perturber l'auto-attention de l'encodeur de structure vers le texte avait des impacts négatifs minimes. En revanche, bloquer l'attention croisée du décodeur vers le texte a conduit à une réduction plus importante de la précision.

Ces résultats suggèrent que le modèle a appris de manière indépendante certaines capacités tant dans l'encodeur que le décodeur. La capacité à gérer différents types d'informations est renforcée par la robustesse et l'adaptabilité du modèle lorsqu'il fait face à des interruptions dans le pipeline de traitement.

#Informations sur les poids d'attention

Nous avons également examiné la connexion entre les poids d'attention et les informations discernables pertinentes pour des tâches comme le lien de schéma. Examiner les relations entre les distributions d'attention et la pertinence des nœuds a fourni des preuves que le modèle identifie efficacement les nœuds importants.

En utilisant les motifs d'attention comme caractéristiques pour la classification de la pertinence des nœuds, nous avons confirmé que les poids d'attention sont étroitement corrélés à l'importance des nœuds dans les prédictions du modèle. Cela suggère que l'encodeur a intégré la tâche de lien de schéma, lui permettant d'identifier efficacement quels nœuds devraient être inclus dans le SQL de sortie.

#Performance SQL de bout en bout et analyse des erreurs

Pour valider nos résultats des prédictions au niveau des tokens, nous avons étendu nos expériences pour évaluer la performance générale de prédiction SQL en utilisant des métriques de correspondance exacte et d'exécution.

Nos expériences ont introduit des corruptions à différentes couches, ciblant des sections spécifiques, comme l'auto-attention de l'encodeur et l'attention croisée du décodeur. Nous avons trouvé des tendances cohérentes où perturber l'attention croisée du décodeur a conduit à des erreurs fondamentales dans le SQL.

#Types d'erreurs

Une analyse manuelle des erreurs de la sortie du modèle a mis en lumière des problèmes spécifiques, tels que des erreurs de clause-sémantique et des erreurs de sélection de nœuds. Lorsque l'attention croisée vers le texte était perturbée, le modèle omettait souvent d'inclure des conditions nécessaires ou des fonctions d'agrégation dans les requêtes SQL.

En bloquant l'accès à l'entrée structurelle, le modèle généré souvent des noms de nœuds erronés. Cela confirme les compétences spécialisées du décodeur dans la prédiction de syntaxe et la sélection de nœuds, fonctionnant indépendamment à travers diverses tâches.

#Conclusion

Nous avons mené une étude complète sur le fonctionnement d'un modèle de langage encodeur-décodeur, spécifiquement T5, dans un contexte de parsing texte-à-SQL. Grâce à des probing et des manipulations internes, nous avons obtenu des insights sur le transfert d'informations entre les composants du modèle, l'importance du stockage spécifique de données au sein du modèle et les rôles des mécanismes d'attention.

En fin de compte, nos résultats peuvent informer les recherches futures sur l'amélioration de la représentation des données structurées dans les modèles de langage. Nous reconnaissons que notre étude est limitée à une architecture de modèle spécifique et reconnaissons le besoin d'explorations supplémentaires à travers une gamme de modèles et de tâches. Les directions futures pourraient inclure :

1. Explorer des approches similaires utilisant diverses architectures de modèles de langage.
2. Analyser les effets de l'augmentation des modèles en termes de paramètres et de datasets.
3. Étendre l'étude à d'autres tâches et sources de données structurées, comme le speech-to-SQL ou les transformations de graphes de connaissances.

Globalement, la compréhension acquise à partir de cette étude peut aider à améliorer les capacités des modèles travaillant avec des données structurées et à améliorer leurs applications pratiques.