Automatisierung der Umwandlung von natürlicher Sprache in Korpus-Abfragesprache

Natural Language Processing (NLP) hat verändert, wie wir Informationssysteme nutzen. Ein grosser Fokus dieser Technologie liegt darin, natürliche Sprachfragen in formale Abfragesprachen wie SQL umzuwandeln, die in Datenbanken weit verbreitet ist. Allerdings wurde der Corpus Query Language (CQL), die wichtig für detaillierte Analysen in der linguistischen Forschung ist, nicht viel Aufmerksamkeit geschenkt. CQL-Abfragen von Hand zu erstellen, ist kompliziert und dauert lange. Es erfordert auch viel Wissen, was es für Forscher und Praktiker schwierig macht.

Dieses Papier stellt die erste Aufgabe vor, natürliche Sprache in CQL umzuwandeln, mit dem Ziel, diesen Prozess zu automatisieren. Wir bieten ein detailliertes System für diese Aufgabe, das einen grossen Datensatz und Methoden umfasst, die grosse Sprachmodelle (LLMs) nutzen, um Text effizient in CQL zu verwandeln. Wir entwickeln auch neue Wege, um zu evaluieren, wie genau und sinnvoll die generierten Abfragen sind. Unsere Arbeit umfasst einen Datensatz, der als Benchmark dient, und innovative Methoden zur Umwandlung von Text in CQL, unterstützt durch gründliche Tests. Die Ergebnisse zeigen, dass unsere Methoden gut funktionieren und die Herausforderungen bei der Übersetzung von Text in CQL beleuchten.

NLP-Technologien haben es uns leichter gemacht, mit Computern zu kommunizieren. Diese Interaktion ist durch diese Fortschritte intuitiver und effektiver geworden. Ein Bereich, der sich erheblich weiterentwickelt hat, ist die Umwandlung von natürlichen Sprachabfragen in formale Abfragesprachen wie SQL. Während SQL jedoch viel Aufmerksamkeit erhalten hat, hat CQL nicht so viel Beachtung gefunden, obwohl es entscheidend für die Analyse linguistischer Daten ist.

Obwohl verschiedene Abfragesprachen untersucht wurden, verdient CQL mehr Fokus. Die Forschung zur Umwandlung von Text in SQL hat erhebliche Fortschritte gemacht und gezeigt, dass natürliche Sprachbefehle effektiv in formale Abfragen übersetzt werden können. Ein Beispiel dafür sind Studien, die zeigen, wie natürliche Sprache in SQL-Abfragen für Datenbanken umgewandelt werden kann.

Um zu zeigen, wie das funktioniert, betrachten wir die Aufgabe, eine gesprochene oder schriftliche Anfrage einer Person in eine CQL-Abfrage umzuwandeln. Das Modell sollte die natürliche Sprachbeschreibung genau in CQL umwandeln, das von einer Corpus Engine ausgeführt werden kann. Die CQL verwendet Symbole und Schlüsselwörter, um Abfragen zu konstruieren und Namen für Tokens festzulegen, um Einschränkungen auf deren Beziehungen zu setzen. Bei der Ausführung sollten die Ergebnisse, die von der Engine zurückgegeben werden, mit der erwarteten Ausgabe übereinstimmen.

CQL ist essentiell für die linguistische Forschung, da es fortgeschrittene Suchen basierend auf linguistischen Merkmalen ermöglicht. Diese Fähigkeit unterstützt verschiedene Forschungsaktivitäten in NLP und computerlinguistischen Studien. Allerdings ist das manuelle Erstellen von CQL-Abfragen mühsam und fehleranfällig und erfordert ein hohes Mass an Fachwissen sowohl in der Abfragesprache als auch im spezifischen Korpus, das abgefragt wird.

Um die Herausforderungen der manuellen Abfrageerstellung zu erkennen, führt diese Arbeit die Aufgabe der Umwandlung natürlicher Sprache in CQL ein. Diese Aufgabe zielt darauf ab, das Erstellen und Arbeiten mit linguistischen Korpora, die reichhaltige Annotationen enthalten, zu erleichtern. Im Gegensatz zur Umwandlung von Text in SQL hat die Umwandlung von Text in CQL ihre eigenen Herausforderungen, wie einen Mangel an speziellen Trainingsdaten und die komplizierte Struktur der CQL selbst.

Die in diesem Prozess verwendeten Modelle müssen die Bedeutung der natürlichen Sprachbeschreibungen verstehen und gleichzeitig die Details der linguistischen Annotationen und die spezifischen Abfragekonstrukte von CQL begreifen. Diese Arbeit zielt darauf ab, diese Herausforderungen anzugehen, indem sie ein detailliertes Rahmenwerk für die Aufgabe der Umwandlung in CQL anbietet.

Wir präsentieren einen neu erstellten Datensatz speziell für diese Aufgabe sowie Methoden und Evaluationsmetriken, die für die CQL-Abfragegenerierung entwickelt wurden. Unsere Beiträge bestehen aus einem breiten Datensatz, der verschiedene linguistische Merkmale und Abfragetypen abdeckt, der Entwicklung von Modellen, die grosse Sprachmodelle für diese Umwandlung anpassen, und der Etablierung von Evaluationsmetriken, die sowohl die Struktur als auch die Bedeutung der Abfragen messen.

Zusammenfassend umfassen unsere Hauptbeiträge:

1. Einen grossen und vielfältigen Datensatz zur Umwandlung natürlicher Sprache in CQL, der eine Grundlage für die Evaluierung von Modellen bietet.
2. Eine Reihe von Methoden, die grosse Sprachmodelle nutzen, einschliesslich sowohl Prompt-Engineering als auch Feinjustierung.
3. Neue Evaluationsmetriken, die die Komplexitäten bei der Umwandlung in CQL genau messen und sowohl Struktur als auch Bedeutung fokussieren.
4. Umfassende Experimente, die die Effektivität unserer vorgeschlagenen Methoden zeigen und Einblicke in die Herausforderungen der Umwandlung von Text in CQL geben.

Durch diese Beiträge hoffen wir, die automatische Abfragegenerierung für linguistische Daten zu verbessern und diese Ressourcen für Forscher in NLP und computerlinguistischen Studien zugänglicher zu machen. Wir streben an, dass unsere Arbeit neue Anwendungen unterstützt und die Zusammenarbeit zwischen verschiedenen Forschungsfeldern fördert, indem sie den Zugang zu und die Nutzung von linguistischen Korpora vereinfacht.

Wir haben unseren gesamten Code und unsere Datensätze für Forschungszwecke zur Verfügung gestellt.

#Verwandte Arbeiten

Die Umwandlung natürlicher Sprache in SQL ist ein grosses Forschungsfeld, das sich auf die Transformation gesprochener oder geschriebener Fragen in SQL-Abfragen konzentriert. Ein prominentes Modell in diesem Bereich, Seq2SQL, verwendet Techniken des verstärkenden Lernens, um SQL-Abfragen genau zu generieren, wobei besonders die ungeordnete Natur der Abfragebedingungen betont wird. Es hat sowohl in der Ausführung als auch in der logischen Formgenauigkeit auf dem WikiSQL-Datensatz gut abgeschnitten.

Ein anderes Modell, TAPEX, konzentriert sich auf eine Vortraining-Methode, die lernt, wie man SQL-Anweisungen über ein synthetisches Korpus ausführt, und dabei führende Ergebnisse in diesem Bereich erzielt. Der Spider-Datensatz hat die Forschung zur Umwandlung natürlicher Sprache in SQL vorangetrieben, indem er eine komplexe Herausforderung eingeführt hat, die Modelle dazu zwingt, sich an verschiedene Strukturen in verschiedenen Datenbanken anzupassen. RESDSQL hat ein neues Framework eingeführt, um die Leistung bei der Analyse von SQL-Abfragen zu verbessern.

Neueste Entwicklungen in grossen Sprachmodellen wie GPT-4 haben ebenfalls beeindruckende Ergebnisse bei der Umwandlung von Text in SQL erzielt. Viele Benchmarks, einschliesslich Spider und WikiSQL, haben sich jedoch auf Datenbankschemata mit einer begrenzten Anzahl von Einträgen konzentriert, was eine Lücke zwischen akademischer Forschung und realen Anwendungen schafft. Der BIRD-Benchmark versucht, diese Lücke zu schliessen, indem er einen umfassenden Datensatz bereitstellt, der Schwierigkeiten hervorhebt, die beim Umgang mit unordentlichen Datenbankwerten auftreten.

Die Übertragung von Techniken von Text-to-SQL zu Text-to-CQL ist nicht einfach, hauptsächlich weil es nicht genügend Trainingsdaten für CQL gibt. Das wachsende Interesse an der Generierung spezialisierter Sprachen aus natürlicher Sprache, genannt Text-to-DSL, hat erhebliche Aufmerksamkeit erhalten. Grammar Prompting nutzt Grammatikformen, um grossen Sprachmodellen spezifische Richtlinien und externes Wissen zu geben.

Die Aufgabe, Abfragen in der Overpass Query Language aus natürlicher Sprache zu generieren, fügt zusätzliche Komplexität hinzu, gegeben die offene Vokabelnatur von OverpassQL. Diese Aufgabe umfasst die Verwendung eines Datensatzes von Abfragen mit entsprechenden natürlichen Spracheingaben und die Etablierung spezifischer Metriken zur Bewertung, wie gut Sequenzgenerierungsmodelle abschneiden.

Die Übertragung von Methoden von Text-to-DSL zu Text-to-CQL ist besonders schwierig aufgrund der begrenzten Trainingsdaten und der inhärenten Komplexität von CQL. Daher besteht Bedarf an massgeschneiderten Datensätzen, Modellen und Techniken für die Arbeit mit CQL.

CQL ist eine einzigartige Abfragesprache, die speziell für die Abfrage linguistischer Korpora entwickelt wurde. Sie ist wichtig für die linguistische Forschung, da sie nuancierte Suchen basierend auf linguistischen Merkmalen ermöglicht. Das manuelle Erstellen von CQL-Abfragen ist jedoch zeitaufwändig und erfordert tiefgehendes Wissen sowohl über die Abfragesprache als auch über die spezifischen Annotationen des Korpus.

Diese Arbeit identifiziert die Herausforderungen, die mit der manuellen Abfrageerstellung verbunden sind, und die Chancen, die durch Automatisierung entstehen. Das Ziel der Text-to-CQL-Aufgabe ist es, natürliche Sprachbeschreibungen mit ihren CQL-Darstellungen zu verknüpfen, um den Zugang zu reichhaltig annotierten linguistischen Korpora zu verbessern.

#Aufgabenformulierung

Die Aufgabe umfasst einen Datensatz von Paaren, bei denen ein Teil aus natürlichen Sprachbeschreibungen besteht und der andere Teil die entsprechende CQL-Abfrage ist. Hier muss jede Beschreibung einer natürlichen Sprachabfrage in ihr CQL-Äquivalent umgewandelt werden. Das Hauptziel ist, ein generatives Modell zu trainieren, das diese Umwandlung durchführen kann, wobei das Modell die Schlüsselinformationen aus der natürlichen Sprachbeschreibung extrahieren und einen gültigen CQL-Ausdruck erstellen muss.

#Datenerhebung

Wir haben zwei verschiedene Korpora für unsere Forschung verwendet: eines auf Chinesisch und das andere auf Englisch. Beide Korpora wurden mit Tools zur Verarbeitung natürlicher Sprache annotiert. Für den chinesischen Teil haben wir Lehrmaterialien extrahiert, die für den Unterricht von Chinesisch als Fremdsprache gedacht sind, um unser TCFL-Korpus aufzubauen.

Der englische Teil nutzt das EnWiki-Korpus, das eine riesige Menge an Text aus Wikipedia-Artikeln umfasst. Die Gesamtzahl der Wörter im EnWiki beträgt etwa 1,9 Milliarden, verteilt über mehr als 4,4 Millionen Artikel.

Unser Text-to-CQL-Datensatz ist in zwei Segmente unterteilt: eines für chinesische natürliche Sprache zu CQL-Paaren basierend auf dem TCFL-Korpus und das andere für englische natürliche Sprache zu CQL-Paaren aus dem EnWiki-Korpus.

#CQL-Generierungsstrategien

Wir konnten einige traditionelle Methoden zur Erstellung von Datensätzen nicht verwenden, weil es nicht genug relevante Informationen im Internet gibt. Andere Techniken, die auf automatisierter Datengenerierung über Syntax basieren, sind ebenfalls nicht praktikabel aufgrund logischer Fehler in den resultierenden Daten. Stattdessen stellen wir eine neue Methode vor, die auf der Extraktion von Kollokationen aus der chinesischen Sprache basiert.

#Kollokationsextraktion

Unser Ansatz besteht darin, Methoden zur Kollokationsextraktion zu nutzen, um unseren Datensatz zu verbessern. Dies beinhaltet die Analyse von Sätzen, um Wortkombinationen zu identifizieren, wobei sowohl Oberflächen- als auch tiefere grammatikalische Beziehungen berücksichtigt werden.

Um dies zu erreichen, wenden wir zunächst eine Abhängigkeitsanalyse auf Sätze an, extrahieren dann Kollokationen aus dem gesamten Korpus. Danach wählen wir zufällig aus diesen extrahierten Kollokationen aus und wenden sie in CQL-Vorlagen an.

#CQL-Vorlage

CQL-Abfragen lassen sich in drei Typen unterteilen: einfach, innerhalb und Bedingung. Für jeden dieser Typen haben wir spezifische Vorlagen erstellt, um die Generierung von Abfragen zu leiten.

Einfache Abfragen: In einfachen CQL können Benutzer Abfragen erstellen, die auf bestimmte Tokens basieren, je nach deren Beziehungen. Jedes Token wird innerhalb von eckigen Klammern dargestellt, wobei Filterbedingungen als Schlüssel-Wert-Ausdrücke angezeigt werden.

Innerhalb-Abfragen: Die "innerhalb"-Syntax wird verwendet, um Abfragen einzuschränken. Sie ermöglicht es, eine CQL-Anweisung in Teilabfragen zu unterteilen und den Kontext, in dem gesucht werden soll, zu umreissen.

Bedingungsabfragen: Diese Art von Abfrage vergleicht Tokens im Kontext zueinander. Verschiedene Attribute von Tokens können analysiert werden, und diese können durch unterschiedliche logische Operatoren miteinander verbunden werden.

#Annotierungsprozess

Um Klarheit und Genauigkeit in den natürlichen Sprachbeschreibungen sicherzustellen, haben wir unsere Annotatoren sorgfältig ausgewählt. Aus einer ursprünglichen Gruppe haben wir diejenigen behalten, die ein starkes Verständnis sowohl für Informatik als auch für Linguistik gezeigt haben. Jede CQL-Abfrage wurde von zwei Annotatoren evaluiert und anschliessend von zwei Experten überprüft, um hohe Qualität und Präzision im endgültigen Datensatz zu gewährleisten.

Wir haben fünf verschiedene Methoden verwendet, um den Datensatz zu erstellen, darunter Techniken auf Basis von In-Context-Learning-Methoden und Feinjustierung vortrainierter Sprachmodelle.

#In-Context-Learning-Methoden

Wir haben mehrere Prompts untersucht, um die Effektivität zu bewerten, wie gut grosse Sprachmodelle die Umwandlungsaufgabe durchführen können.

Direkte Anfrage (DI): Diese Methode fordert das Modell direkt auf, CQL-Anweisungen basierend auf einer natürlichen Sprachbeschreibung ohne zusätzlichen Kontext zu generieren.

Dokumentations-Prompt (DP): Hier erhält das Modell ein Tutorial, das die Syntax von CQL mit Beispielen erklärt und ihm hilft, besser zu verstehen, wie man Abfragen generiert.

Few-shot ICL: Dies beinhaltet, eine begrenzte Anzahl von Beispielen im Prompt bereitzustellen, die es dem Modell ermöglichen, aus diesen Instanzen zu lernen.

#Feinabstimmungs-Methoden

Die Aufgabe, natürliche Sprache in CQL umzuwandeln, kann als ein Sequenz-zu-Sequenz-Problem angesehen werden, bei dem die Eingabe eine Aussage in natürlicher Sprache ist und die gewünschte Ausgabe eine CQL-Abfrage ist. Wir konzentrieren uns auf Modelle mit Encoder-Decoder-Architekturen, wie BART, die Codierungs- und Decodierungsfunktionen kombinieren, um diese Aufgabe effektiv zu erfüllen.

BART wird wegen seines Vortrainings ausgewählt, das seine Fähigkeit verbessert, natürliche Sprache zu verstehen und strukturierte Abfragen zu produzieren. Wir haben sowohl Prefix-Tuning als auch vollständige Modellfeinabstimmung für die Generierung von CQL aus Texten eingesetzt und die Effektivität für verschiedene Sprachen verglichen.

#Evaluationsmetriken

Wir haben unseren Ansatz mit verschiedenen Metriken bewertet, um die Leistung zu messen.

1. Exact Match (EM): Dies überprüft, ob die generierte CQL genau mit dem Standardreferenz übereinstimmt.

2. Valid Accuracy (VA): Diese Metrik bewertet, ob die generierten Abfragen syntaktisch korrekt sind, basierend auf der CQL-Grammatik.

3. Execution Accuracy (EX): Dies misst, ob die CQL-Abfragen korrekt auf der Corpus-Engine ausgeführt werden.

4. CQLBLEU: Dies ist eine neue Metrik, die wir entwickelt haben, um die Ähnlichkeit zwischen generierten und Referenz-CQL unter Verwendung sowohl syntaktischer als auch semantischer Massnahmen zu messen.

#Modellvergleich

Wir haben auch analysiert, wie gut die verschiedenen Modelle mit dem Datensatz umgehen und untersucht, wie gut sie mit verschiedenen Herausforderungen umgehen. Wir haben festgestellt, dass die Modelle bei einigen Abfragetypen mehr Schwierigkeiten hatten als bei anderen, was Bereiche aufzeigt, in denen Verbesserungen möglich sind.

#Fazit

In dieser Arbeit haben wir einen neuen Prozess zur Umwandlung natürlicher Sprache in die Corpus Query Language (CQL) vorgestellt. Diese Aufgabe ist bedeutend sowohl für die Korpusforschung als auch für das breitere Feld der Verarbeitung natürlicher Sprache. Allerdings erkennen wir mehrere Einschränkungen in unserem aktuellen Ansatz an, wie die Abhängigkeit von automatisch generierten Daten und die Anforderungen an die Rechenressourcen.

Zukünftige Forschungen werden entscheidend sein, um diese Herausforderungen anzugehen, die Anwendbarkeit über verschiedene Sprachen zu erweitern und die Skalierbarkeit zu verbessern, während die Ressourcenanforderungen minimiert werden.