Automatiser la conversion du langage naturel en langage de requête de corpus

Le Traitement du langage naturel (NLP) a changé notre façon d'utiliser les systèmes d'information. Un axe majeur de cette technologie est de transformer des questions en langage naturel en langages de requête formels comme SQL, qui est largement utilisé dans les bases de données. Cependant, on n’a pas beaucoup prêté attention au langage de requête de corpus (CQL), qui est important pour une analyse détaillée dans la recherche linguistique. Créer des requêtes CQL à la main est compliqué et prend beaucoup de temps. Ça demande aussi beaucoup de connaissances, ce qui rend la tâche difficile pour les chercheurs et les praticiens.

Cet article présente la première tâche de conversion du langage naturel en CQL, visant à automatiser ce processus. On propose un système détaillé pour cette tâche, qui inclut un grand jeu de données et des méthodes utilisant de grands modèles de langage (LLM) pour transformer le texte en CQL de manière efficace. On développe également de nouvelles façons d'évaluer la précision et la signification des requêtes générées. Notre travail inclut un ensemble de données qui sert de référence et des méthodes innovantes pour convertir le texte en CQL, soutenues par des tests approfondis. Les résultats montrent que nos méthodes fonctionnent bien et éclairent sur les défis de la traduction du texte en CQL.

Les technologies NLP ont facilité la communication avec les ordinateurs. Cette interaction est plus intuitive et efficace grâce à ces avancées. Un domaine qui a beaucoup progressé est la conversion de requêtes en langage naturel en langages de requête formels comme SQL. Cependant, même si SQL a reçu beaucoup d'attention, CQL n'en a pas reçu autant, même s'il est crucial pour analyser les données linguistiques.

Bien que divers langages de requête aient été étudiés, le CQL mérite plus d'attention. La recherche sur la conversion de texte en SQL a fait des progrès considérables, montrant que les instructions en langage naturel peuvent être traduites efficacement en requêtes formelles. Un exemple de cela est les études montrant comment le langage naturel peut être transformé en requêtes SQL pour des bases de données.

Pour illustrer comment cela fonctionne, prenons la tâche de convertir une demande prononcée ou écrite en requête CQL. Le modèle doit réussir à transformer la description en langage naturel en CQL qui peut être exécuté par un moteur de corpus. Le CQL utilise des symboles et mots clés pour construire des requêtes, spécifiant des noms pour des tokens afin d'établir des contraintes sur leurs relations. Lorsqu'il est exécuté, les résultats retournés par le moteur doivent correspondre à la sortie attendue.

Le CQL est essentiel pour la recherche linguistique car il permet des recherches avancées basées sur des caractéristiques linguistiques. Cette capacité soutient diverses activités de recherche en NLP et linguistique computationnelle. Cependant, créer des requêtes CQL à la main est fastidieux et sujet à des erreurs, nécessitant un haut niveau d'expertise à la fois dans le langage de requête et dans le corpus spécifique consulté.

Reconnaissant les défis de la création de requêtes manuelles, ce travail introduit la tâche de convertir le langage naturel en CQL. Cette tâche vise à faciliter la création et l'utilisation de corpus linguistiques riches en annotations. Contrairement à la conversion de texte en SQL, la conversion de texte en CQL a ses propres défis, comme le manque de données d'entraînement dédiées et la structure compliquée du CQL lui-même.

Les modèles utilisés dans ce processus doivent comprendre le sens des descriptions en langage naturel tout en comprenant également les détails des annotations linguistiques et des constructions de requête spécifiques au CQL. Ce travail vise à relever ces défis en offrant un cadre détaillé pour la tâche de conversion en CQL.

On présente un jeu de données nouvellement créé spécifiquement pour cette tâche, ainsi que des méthodes et des Métriques d'évaluation conçues pour la génération de requêtes CQL. Nos contributions consistent en un large ensemble de données couvrant diverses caractéristiques linguistiques et types de requêtes, le développement de modèles qui adaptent de grands modèles de langage pour cette conversion, et l'établissement de métriques d'évaluation qui mesurent à la fois la structure et la signification des requêtes.

En résumé, nos principales contributions incluent :

1. Un grand et varié ensemble de données pour la conversion du langage naturel en CQL, fournissant une base pour l'évaluation des modèles.
2. Une gamme de méthodologies utilisant de grands modèles de langage, y compris l'ingénierie de prompt et le fine-tuning.
3. De nouvelles métriques d'évaluation qui mesurent exactement les complexités impliquées dans la conversion en CQL, en se concentrant sur la structure et la signification.
4. Des expériences complètes montrant l’efficacité de nos méthodes proposées et des éclairages sur les défis de la conversion du texte en CQL.

À travers ces contributions, on espère améliorer la génération automatique de requêtes pour les données linguistiques et rendre ces ressources plus accessibles aux chercheurs en NLP et linguistique computationnelle. On vise à ce que notre travail soutienne de nouvelles applications et favorise la coopération entre différents domaines de recherche en simplifiant l'accès et l'utilisation des corpus linguistiques.

On a rendu tout notre code et nos ensembles de données disponibles à des fins de recherche.

#Travaux Connexes

La conversion du langage naturel en SQL est un domaine de recherche majeur, axé sur la transformation de questions prononcées ou écrites en requêtes SQL. Un modèle bien connu dans ce domaine, Seq2SQL, utilise des techniques d'apprentissage par renforcement pour générer avec précision des requêtes SQL, en mettant particulièrement l’accent sur la nature désordonnée des conditions de requête. Il a bien performé à la fois en exécution et en précision de forme logique sur le jeu de données WikiSQL.

Un autre modèle, TAPEX, se concentre sur une méthode de pré-formation qui apprend à exécuter des déclarations SQL sur un corpus synthétique, obtenant des résultats de pointe dans ce domaine. Le jeu de données Spider a avancé la recherche sur la conversion du langage naturel en SQL en introduisant un défi complexe qui nécessite que les modèles s'adaptent à différentes structures à travers diverses bases de données. RESDSQL a introduit un nouveau cadre pour améliorer les performances dans l'analyse des requêtes SQL.

Les développements récents dans les grands modèles de langage comme GPT-4 ont également obtenu des résultats impressionnants dans la conversion de texte en SQL. Cependant, de nombreux benchmarks, y compris Spider et WikiSQL, se sont concentrés sur des schémas de bases de données avec un nombre limité d'entrées, créant un décalage entre la recherche académique et les applications réelles. Le benchmark BIRD tente de combler cette lacune en fournissant un ensemble de données complet qui met en évidence les difficultés rencontrées lors de la gestion de valeurs de base de données désordonnées.

La transition des techniques de Text-to-SQL à Text-to-CQL n'est pas facile, principalement parce qu'il n'y a pas beaucoup de données d'entraînement disponibles pour le CQL. L'intérêt croissant pour la génération de langages spécialisés à partir du langage naturel, appelé Text-to-DSL, a suscité une attention significative. Le Grammar Prompting utilise des formes grammaticales pour donner aux grands modèles de langage des directives spécifiques et des connaissances externes.

La tâche de générer des requêtes dans le langage de requête Overpass à partir du langage naturel ajoute une complexité supplémentaire, étant donné la nature à vocabulaire ouvert d'OverpassQL. Cette tâche implique d'utiliser un ensemble de requêtes avec des entrées en langage naturel correspondantes, établissant des métriques spécifiques pour évaluer la performance des modèles de génération de séquences.

La transition des méthodologies de Text-to-DSL à Text-to-CQL est particulièrement difficile en raison des données d'entraînement limitées et de la complexité inhérente au CQL. Il y a donc un besoin de Jeux de données, de modèles et de techniques adaptés pour travailler avec le CQL.

Le CQL est un langage de requête unique conçu spécifiquement pour interroger des corpus linguistiques. Il est vital pour la recherche linguistique car il permet des recherches nuancées basées sur des caractéristiques linguistiques. Cependant, rédiger manuellement des requêtes CQL prend du temps et nécessite une connaissance approfondie du langage de requête ainsi que des annotations spécifiques du corpus.

Ce travail identifie les défis liés à la construction manuelle de requêtes et les opportunités offertes par l'automatisation. L'objectif de la tâche Text-to-CQL est de relier les descriptions en langage naturel à leurs représentations en CQL, améliorant ainsi l'accessibilité et l'efficacité lors de l'interaction avec des corpus linguistiques richement annotés.

#Formulation de la Tâche

La tâche implique un ensemble de données de paires où une partie consiste en descriptions en langage naturel et l'autre partie est la requête CQL correspondante. Ici, chaque description de requête en langage naturel doit être convertie en son équivalent CQL. L'objectif principal est d'entraîner un modèle génératif capable de réaliser cette conversion, nécessitant que le modèle extraye les informations clés de la description en langage naturel et crée une expression CQL valide.

#Acquisition des Données

On a utilisé deux corpus différents pour notre recherche : un en chinois et l'autre en anglais. Les deux corpus ont été annotés à l'aide d'outils de traitement du langage naturel. Pour la partie chinoise, on a extrait des supports pédagogiques destinés à l'enseignement du chinois comme langue étrangère pour construire notre corpus TCFL.

Le composant en anglais utilise le corpus EnWiki, qui comprend une énorme quantité de texte provenant d'articles de Wikipedia. Le nombre total de mots dans EnWiki est d'environ 1,9 milliard, répartis sur plus de 4,4 millions d'articles.

Notre ensemble de données Text-to-CQL est divisé en deux segments : un pour les paires de langage naturel en chinois vers CQL basées sur le corpus TCFL et l'autre pour les paires de langage naturel en anglais vers CQL provenant du corpus EnWiki.

#Stratégies de Génération de CQL

On n’a pas pu utiliser certaines méthodes traditionnelles pour créer des ensembles de données car il n'y a pas assez d'informations pertinentes sur Internet. D'autres techniques reposant sur la génération automatique de données via la syntaxe ne sont également pas réalisables en raison des défauts logiques dans les données résultantes. Au lieu de cela, on introduit une nouvelle méthode basée sur l'extraction de collocations à partir de la langue chinoise.

#Extraction de Collocations

Notre approche implique d'utiliser des méthodes d'extraction de collocations pour améliorer notre ensemble de données. Cela implique d'analyser des phrases pour identifier des combinaisons de mots, en tenant compte des relations grammaticales tant superficielles que plus profondes.

Pour ce faire, on applique d'abord une analyse de dépendance aux phrases, puis on extrait des collocations de l'ensemble du corpus. Après cela, on sélectionne aléatoirement parmi ces collocations extraites et on les applique dans des modèles CQL.

#Modèle de CQL

Les requêtes CQL peuvent être divisées en trois types : simples, within et condition. Pour chacun de ces types, on a créé des modèles spécifiques pour guider la génération de requêtes.

Requêtes Simples : Dans le CQL simple, les utilisateurs peuvent créer des requêtes ciblant des tokens spécifiques en fonction de leurs relations. Chaque token est représenté entre crochets, avec des conditions de filtrage montrées comme des expressions clé-valeur.

Requêtes Within : La syntaxe "within" est utilisée pour restreindre les requêtes. Elle permet de partitionner une déclaration CQL en sous-requêtes, décrivant le contexte dans lequel rechercher.

Requêtes Condition : Ce type de requête compare des tokens les uns par rapport aux autres. Différentes attributs des tokens peuvent être analysés, et ceux-ci peuvent être reliés par différents opérateurs logiques.

#Processus d'Annotation

Pour garantir la clarté et l'exactitude des descriptions en langage naturel, on a soigneusement sélectionné nos annotateurs. Parmi un groupe initial, on a retenu ceux qui ont montré une solide compréhension à la fois de l'informatique et de la linguistique. Chaque requête CQL a été évaluée par deux annotateurs puis examinée par deux experts pour maintenir une haute qualité et précision dans l'ensemble de données final.

On a utilisé cinq méthodes distinctes pour créer l'ensemble de données, y compris des techniques basées sur les méthodes d'apprentissage en contexte et le fine-tuning de modèles de langage pré-entraînés.

#Méthodes d'Apprentissage en Contexte

On a exploré plusieurs prompts pour évaluer l'efficacité de la performance des grands modèles de langage pour la tâche de conversion.

Demande Directe (DI) : Cette méthode demande au modèle de générer directement des déclarations CQL basées sur une description en langage naturel sans contexte supplémentaire.

Prompt de Documentation (DP) : Ici, le modèle reçoit un tutoriel expliquant la syntaxe du CQL avec des exemples, l'aidant à mieux comprendre comment générer des requêtes.

Few-shot ICL : Cela implique de fournir un nombre limité d'exemples dans le prompt, permettant au modèle d'apprendre de ces instances.

#Méthodes de Fine-Tuning

La tâche de conversion du langage naturel en CQL peut être vue comme un problème de séquence à séquence, où l'entrée est une déclaration en langage naturel, et la sortie désirée est une requête CQL. On se concentre sur des modèles avec architectures encodeur-décodeur, comme BART, qui combinent des fonctions d'encodage et de décodage pour réaliser efficacement cette tâche.

BART est choisi pour son pré-entraînement qui améliore sa capacité à comprendre le langage naturel et à produire des requêtes structurées. On a appliqué à la fois le prefix-tuning et le fine-tuning complet pour générer du CQL à partir de textes, comparant l'efficacité pour différentes langues.

#Métriques d'Évaluation

On a évalué notre approche en utilisant diverses métriques pour mesurer la performance.

1. Correspondance Exacte (EM) : Cela vérifie si le CQL généré correspond exactement à la référence standard.

2. Précision Valide (VA) : Cette métrique évalue si les requêtes générées sont syntaxiquement correctes selon la grammaire CQL.

3. Précision d’Exécution (EX) : Cela mesure si les requêtes CQL s'exécutent correctement sur le moteur de corpus.

4. CQLBLEU : C'est une nouvelle métrique que nous avons développée pour évaluer la similarité entre le CQL généré et le CQL de référence en utilisant des mesures syntaxiques et sémantiques.

#Comparaison des Performances des Modèles

On a également analysé les performances des différents modèles sur l'ensemble de données, en examinant comment ils gèrent divers défis. On a constaté que les modèles avaient plus de difficultés avec certains types de requêtes que d'autres, soulignant les domaines où des améliorations peuvent être apportées.

#Conclusion

Dans ce travail, on a introduit un nouveau processus pour convertir le langage naturel en langage de requête de corpus (CQL). Cette tâche est significative tant pour la recherche sur les corpus que pour le domaine plus large du traitement du langage naturel. Cependant, on reconnaît plusieurs limitations dans notre approche actuelle, comme la dépendance à des données générées automatiquement et la demande en ressources informatiques.

La recherche future sera cruciale pour relever ces défis, élargir l'applicabilité à travers différentes langues, et améliorer l'évolutivité tout en minimisant les besoins en ressources.