Fortschritte bei polnischen Frage-Antwort-Systemen

Neuere Entwicklungen in der künstlichen Intelligenz (KI) und der Verarbeitung natürlicher Sprache (NLP) haben die Art und Weise verändert, wie Menschen und Computer kommunizieren. Frage-Antwort-Systeme (QA) sind ein grosser Teil dieser Entwicklung. Diese Systeme sind darauf ausgelegt, Fragen zu beantworten, indem sie grosse Informationsmengen nutzen. Eine spezielle Art von QA-System wird als Wissensbasierte Fragebeantwortung (KBQA) bezeichnet. Sie stützt sich auf strukturierte Wissensgraphen (KGs), um komplexe Fragen zu behandeln, die spezifische Informationen erfordern.

Trotz der Fortschritte gibt es eine grosse Einschränkung bei den verfügbaren KBQA-Datensätzen, besonders für Sprachen, die nicht weit verbreitet sind, wie Polnisch. Viele der aktuellen Methoden zur Erstellung dieser Datensätze sind veraltet und hängen stark von menschlichem Aufwand ab. Ausserdem werden moderne Werkzeuge wie grosse Sprachmodelle (LLMs), die diese Arbeit erleichtern könnten, oft nicht angewendet. Um diese Probleme zu beheben, wurde eine neue, halbautomatisierte Methode zur Erstellung von Datensätzen entwickelt. Dieser Ansatz umfasst Aufgaben wie KBQA, maschinelles Leseverständnis (MRC) und Informationsretrieval (IR), besonders für Sprachen mit weniger Ressourcen.

Diese neue Methode führte zum PUGG-Datensatz, dem ersten seiner Art für Polnisch, sowie zu neuen Datensätzen für MRC und IR. Die Studie bietet auch eine gründliche Implementierung, wichtige Erkenntnisse und Bewertungen grundlegender Modelle.

#Bedeutung von Frage-Antwort-Systemen

QA-Systeme sind sehr wichtig, da sie als Brücke zwischen Menschen und Computern dienen. Um wirklich nützlich zu sein, müssen diese Systeme Fragen auf der Grundlage riesiger Datenmengen beantworten. Die KBQA-Aufgabe spielt eine Schlüsselrolle, um diesem Bedarf gerecht zu werden. Durch die Verwendung strukturierter Wissensgraphen können diese Systeme genaue und relevante Antworten geben. KGs sind mit verbundenen Entitäten und Beziehungen gefüllt, was bei der Verarbeitung komplexer Anfragen hilft und die richtigen Antworten liefert.

Ein signifikanter Vorteil von KBQA-Systemen ist ihre Fähigkeit, "Halluzinationen" zu vermeiden, die auftreten, wenn KI falsche oder unsinnige Antworten gibt. Im Gegensatz zu einigen grossen Sprachmodellen, die möglicherweise ungenaue Informationen produzieren, sind Systeme, die KGs nutzen, zuverlässiger. Darüber hinaus können KGs leicht aktualisiert werden, was hilft, die Genauigkeit der bereitgestellten Informationen aufrechtzuerhalten.

Allerdings bleibt der Mangel an KBQA-Datensätzen für viele Sprachen, insbesondere für weniger verbreitete Sprachen wie Polnisch, ein Problem. Während es viele KBQA-Datensätze für Englisch gibt, stehen für Sprachen wie Polnisch nur sehr wenige Ressourcen zur Verfügung. Dieses Problem spiegelt einen grösseren Trend im Bereich der NLP wider, wo viele Sprachen keine angemessenen Datensätze zum Trainieren von Modellen haben. Vor diesem Hintergrund wurden Anstrengungen unternommen, um einen KBQA-Datensatz speziell für Polnisch zu schaffen.

#Herausforderungen

Während des Prozesses der Entwicklung des Datensatzes traten mehrere Herausforderungen auf. Viele existierende Datensätze basierten auf einfacheren Modellen und waren sehr ineffizient, da sie viel menschlichen Input erforderten. Zudem gab es nicht genügend moderne Werkzeuge, um das Erstellen dieser Datensätze zu erleichtern, besonders für Sprachen mit weniger Unterstützung. LLMs sind besonders nützlich für diesen Zweck, da sie menschliche Annotatoren unterstützen können, insbesondere bei spärlich ausgestatteten Sprachen.

Um diese Probleme anzugehen, wurde ein moderner Ansatz zur Erstellung von KBQA-Datensätzen speziell für Umgebungen mit begrenzten Ressourcen entwickelt. Wikidata wurde als Wissensgraph gewählt, da es breit verfügbar und mehrsprachig ist sowie offen zugänglich. Wichtig ist, dass der Prozess keine Übersetzung beinhaltete, sodass die Daten natürlich für die polnische Sprache bleiben.

Während der Entwicklung des KBQA-Datensatzes ergab sich auch die Möglichkeit, gleichzeitig Datensätze für MRC und IR zu erstellen, ohne zusätzlichen menschlichen Input zu benötigen. MRC ist entscheidend, da es KI ermöglicht, Texte ähnlich wie ein Mensch zu lesen und zu verstehen. Währenddessen konzentriert sich IR darauf, die richtigen Informationen schnell aus umfangreichen Datenbanken zu finden.

#Übersicht der Beiträge

Der PUGG-Datensatz umfasst drei Aufgaben: KBQA, MRC und IR. Er enthält natürlich vorkommende faktenbasierte Fragen in Polnisch und ist somit die erste KBQA-Ressource für die Sprache. Um verschiedenen Schwierigkeitsgraden gerecht zu werden, kombiniert der Datensatz natürliche Fragen mit einfacheren, auf Vorlagen basierenden Fragen.

Eine halbautomatisierte Pipeline zur Erstellung von Datensätzen wurde vorgeschlagen, die speziell für Umgebungen mit begrenzten Ressourcen konzipiert ist. Diese Pipeline kann KBQA-, MRC- und IR-Datensätze erstellen, während sie den Arbeitsaufwand für menschliche Annotatoren erheblich verringert. Ausserdem wurden Einzelheiten zur Implementierung und wertvolle Statistiken aus dem Bau des PUGG-Datensatzes geteilt, um Einblicke für zukünftige Datensatzentwickler zu bieten. Benutzerdefinierte Hilfsmethoden, wie zum Beispiel für das Verknüpfen von Entitäten, wurden ebenfalls für die Verwendung in verschiedenen Kontexten entwickelt.

Baseline-Modelle wurden evaluiert, um Benchmarks für weitere Forschungen mit dem PUGG-Datensatz festzulegen.

#Verwandte Arbeiten

Viele bestehende KBQA-Datensätze wurden untersucht und verglichen. Eine bemerkenswerte Erkenntnis war das Fehlen eines polnischen KBQA-Datensatzes. Die meisten verfügbaren Datensätze sind hauptsächlich in Englisch, mit nur wenigen Ausnahmen für andere Sprachen. Der nächstgelegene zur einem polnischen KBQA-Datensatz ist das mehrsprachige MKQA, obwohl es die notwendigen annotierten Themenentitäten nicht enthält, um richtig klassifiziert zu werden.

Es wurden verschiedene Methoden zur Fragen Generierung in bestehenden KBQA-Datensätzen verwendet. Der Ansatz, der bei der Erstellung von polnischen Fragen verwendet wurde, basierte auf Vorschlägen aus Abfragen, ähnlich den Strategien, die in Datensätzen wie NQ und WikiQA verwendet werden, die auf Fragen aus Suchmaschinen basieren. Im Gegensatz dazu wurden vorlagenbasierte Fragen aus vordefinierten Denkschemata erstellt, was eine gängige Methode in vielen KBQA-Datensätzen ist. Viele Datensätze nutzten auch Crowdsourcing, um Variationen in den Fragen zu erstellen. Der PUGG-Datensatz automatisiert dies jedoch und beinhaltet menschliche Überprüfung nur in der letzten Phase.

In den letzten Jahren sind mehrere Ressourcen für IR-Aufgaben in Polnisch entstanden. Der BEIR-PL-Benchmark wurde etabliert, indem der BEIR-Benchmark automatisch übersetzt wurde. Der MQUPQA-Datensatz kombiniert mehrere bestehende polnische Datensätze und integriert automatisierte Methoden zur Generierung von Fragen und Antworten. Ausserdem gibt es Datensätze aus Wettbewerben wie PolEval, die sich auf das Abrufen relevanter Passagen konzentrieren.

Der PUGG-Datensatz zielt darauf ab, eine solide Grundlage für QA- und IR-Forschung in ressourcenarmen Sprachen zu bieten.

#Konstruktionspipeline

Die Methode zur Erstellung des PUGG-Datensatzes ist darauf ausgelegt, einen Datensatz mit natürlichen, faktenbasierten Fragen zu generieren. Dieser Ansatz minimiert den Aufwand für menschliche Annotatoren erheblich. Die Pipeline ist anpassungsfähig an verschiedene Umstände und konzentriert sich auf den allgemeinen Rahmen, obwohl spezifische Implementierungsdetails separat bereitgestellt werden.

#Fragenformulierung

Der erste Schritt in der Pipeline besteht darin, eine Vielzahl von natürlichen, faktenbasierten Fragen zu sammeln. In diesem Prozess wurden vorhandene Datensätze verwendet, um den manuellen Aufwand zu reduzieren. Fragepräfixe wurden aus vorherigen QA-Datensätzen gesammelt und reichten von grundlegenden Phrasen bis hin zu spezifischeren Anfragen. Diese Präfixe wurden dann erweitert, um eine vollständige Fragestellung zu bilden, sowohl mit regelbasierten Methoden als auch mit Sprachmodellen.

Während einige der generierten Fragen möglicherweise falsch sind, stellt dies zu diesem Zeitpunkt kein Problem dar, da sie später während der menschlichen Überprüfung herausgefiltert werden.

#Passagenkonstruktion

Die nächste Phase besteht darin, Textpassagen abzurufen, die Antworten auf die formulierten Fragen liefern können. Wikipedia dient als Datenquelle, um relevante Artikel für jede Frage zu finden. Verschiedene Abruftechniken können verwendet werden, um die besten Artikel zu finden, die dann in kleinere Passagen unterteilt und basierend auf ihrer Wahrscheinlichkeit priorisiert werden, die richtigen Antworten zu enthalten.

Alle in dieser Phase gesammelten Passagen tragen zum Passage-Korpus für die IR-Aufgabe bei.

#Textuelle Antworten und Kandidatenentitäten

Die relevanteste Passage wird als Kandidat ausgewählt, und ein QA-Modell wird verwendet, um einen Abschnitt der Passage zu identifizieren, der eine potenzielle textliche Antwort enthält. Diese Antworten verweisen auf bestimmte Artikel, die mit bestimmten Entitäten in Wikidata verbunden sind. Die Kandidatenantwortentitäten werden dann aus diesem Prozess gesammelt.

#Themenentitäten

Als nächstes führt die Pipeline einen Prozess zum Verknüpfen von Entitäten durch, um Entitäten, die in den Fragen erwähnt werden, mit denen im Wissensgraph zu identifizieren und zu verknüpfen.

#Menschliche Überprüfung

An diesem Punkt sind alle notwendigen Daten für die KBQA-, MRC- und IR-Datensätze gesammelt. Während der automatisierte Prozess den Bedarf an menschlichem Input erheblich reduziert, kann er keine vollständige Genauigkeit gewährleisten. Um qualitativ hochwertige Daten zu garantieren, wird ein menschlicher Überprüfungsprozess implementiert. Dies beinhaltet die Überprüfung aller Kandidatenelemente, bevor die Datensätze finalisiert werden.

Der Überprüfungsschritt kann zu Veränderungen in der Grösse der Datensätze führen, da die endgültigen Elemente nur diejenigen umfassen, die als genau bestätigt wurden.

#Template-basierte KBQA

Während die Pipeline natürliche Fragen generiert, werden auch vorlagenbasierte Fragen erstellt, um den Datensatz weiter zu bereichern. Diese Fragen dienen dazu, eine einfachere Reihe von Anfragen anzubieten und einen klaren Denkpfad zwischen den Themen- und Antwortentitäten sicherzustellen. Die vorlagenbasierten Fragen sind auch hilfreich für KBQA-Methoden, die auf semantischer Analyse basieren.

Der Prozess der Erstellung vorlagenbasierter Fragen beinhaltet die Entwicklung von SPARQL-Vorlagen zusammen mit entsprechenden natürlichen Sprachfragen. Potenzielle Entitäten und Beziehungen werden für die Verwendung in diesen Vorlagen spezifiziert. Die Entitäten und Relationen werden dann in die Vorlagen eingesetzt, um Fragen zu erzeugen. SPARQL-Abfragen werden ausgeführt, um die Antwortentitäten abzurufen.

Um sicherzustellen, dass die Fragen besonders im Polnischen natürlich klingen, werden Strategien wie Wortflexion und Paraphrasierung eingesetzt. Automatisierungstools werden für die Flexion verwendet, während LLMs bei der Paraphrasierung von Fragen für zusätzliche Vielfalt und Komplexität helfen. Ein menschlicher Überprüfungsschritt stellt sicher, dass alle Fragen sinnvoll bleiben.

#Pipeline-Ausführung

Die spezifische Implementierung der Konstruktionspipeline für den PUGG-Datensatz ist an polnische NLP-Ressourcen angepasst, die besonderen Herausforderungen gegenüberstehen. Der Schritt der Fragenakquise nutzte bestehende polnische Datensätze, um Präfixe zu extrahieren. Drei verschiedene Modelle zur Erkennung benannter Entitäten (NER) halfen dabei, benannte Entitäten zu identifizieren und trugen zur Vielfalt der Präfixe bei.

Die Phase der Passagenkonstruktion folgte etablierten Methoden und nutzte die Suchmaschine von Google, um relevante Wikipedia-Artikel zu finden. Diese Artikel wurden verarbeitet, wobei der Fokus spezifisch auf jenen lag, die als die relevantesten für die Fragen erschienen.

Für die Kennzeichnung textueller Antworten wurde ein generatives Modell eingesetzt, das durch ein speziell gestaltetes Prompt geleitet wurde. Die Kandidatenantwortentitäten wurden direkt im Text referenziert, um eine einfache Extraktion zu ermöglichen.

Der Schritt zum Verknüpfen von Entitäten stellte aufgrund des Mangels an verfügbaren Tools für Polnisch Herausforderungen dar. Eine heuristische Methode wurde entwickelt, um Entitäten über die Wikipedia-Suchmaschine zu finden, indem verschiedene Ansätze kombiniert wurden, um eine genaue Identifizierung relevanter Entitäten zu gewährleisten.

Der menschliche Überprüfungsprozess umfasst mehrere Phasen. Zunächst werden Fragen mit korrekten Passagen und Antworten identifiziert. Dann markieren Annotatoren separat die richtigen Antworten und Themenentitäten. Alle Annotatoren sind fliessend in Polnisch und mit der lokalen Kultur vertraut, um qualitativ hochwertige Ergebnisse sicherzustellen.

#Ergebnis

Die Ausführung der Pipeline führte erfolgreich zur Erstellung des PUGG-Datensatzes, der KBQA (sowohl natürliche als auch vorlagenbasierte), MRC- und IR-Aufgaben umfasst. Jeder Datensatz hat spezifische Statistiken, die deutlich machen, wie viele Beispiele in jedem Schritt generiert wurden.

#Experimentelles Setup

Die Bewertung der Basismodelle unter Verwendung des PUGG-Datensatzes wird in diesem Abschnitt skizziert. Für KBQA wurde ein Zero-Shot-Framework-Modell getestet, das ein LLM verwendet, um Antwortentitäten abzurufen. Anpassungen wurden vorgenommen, um die Leistung zu verbessern, einschliesslich Methoden zur Abrufung verwandter Informationen aus dem Wissensgraph.

Modelle, die häufig für extraktive Frage-Antwort-Aufgaben verwendet werden, wurden für die MRC-Aufgabe ausgewählt. Diese Modelle wurden trainiert und evaluiert, wobei Standardmetriken zur Messung ihrer Effektivität verwendet wurden.

Für IR wurden Modelle bewertet, die auf umfangreichen Datensätzen vortrainiert wurden. Die Ergebnisse zeigen, dass der Datensatz eine erhebliche Herausforderung darstellt, aufgrund der spezifischen lexikalischen Eigenschaften der Fragen, und die derzeit besten Modelle zeigten vielversprechende Ergebnisse.

#Ergebnisse und Diskussion

Die Ergebnisse zeigen, dass die Verwendung eines KGs die Leistung bei den KBQA-Aufgaben erheblich verbessert, obwohl die Gesamtgenauigkeit relativ bescheiden bleibt, was die Komplexität des PUGG-Datensatzes widerspiegelt. Die Unterschiede in der Leistung zwischen natürlichen und vorlagenbasierten Fragen entsprechen den Erwartungen, da vorlagenbasierte Fragen einfacher gestaltet wurden.

Die MRC-Ergebnisse zeigen, dass extraktive Modelle besser darin sind, genaue Übereinstimmungen im Text zu finden, während generative Modelle hohe Punktzahlen bei überlappenden Antworten erreichen können.

Die Ergebnisse der IR-Bewertungen bestätigen, dass bestehende Ansätze möglicherweise Schwierigkeiten mit den spezifischen Eigenschaften des Datensatzes haben. Dennoch liefern neuere dichte Abrufmethoden starke Ergebnisse, was auf den hohen Wert des Datensatzes für laufende Bewertungen hinweist.

#Einschränkungen und zukünftige Arbeiten

Einige Einschränkungen der Studie werden erwähnt. Natürliche Fragen sind offen und auf spezifische kulturelle Kontexte ausgerichtet, die möglicherweise nicht alle Aspekte des Wissens repräsentieren. Die Pipeline kann gelegentlich bestimmte Antwortentitäten aufgrund der Art der Fragen und ihres Kontexts übersehen.

Probleme wie grammatikalische Ungenauigkeiten in Fragen bestehen, was die automatisierte Natur des Labeling-Prozesses widerspiegelt. Zukünftige Arbeiten könnten mehr Basismodelle erforschen und möglicherweise Open-Source-LLMs für eine verbesserte Leistung einbeziehen. Ausserdem gibt es Raum, den Umfang der Aufgaben zu erweitern, die mit dem PUGG-Datensatz durchgeführt werden können.

#Fazit

Diese Arbeit führt den PUGG-Datensatz ein, einen Durchbruch für polnische KBQA-, MRC- und IR-Aufgaben. Er demonstriert eine neue halbautomatisierte Konstruktionspipeline, die moderne Werkzeuge nutzt, um wertvolle Ressourcen für ressourcenarme Sprachen zu schaffen. Die umfassende Implementierung und die Statistiken aus dem Bau des PUGG-Datensatzes werden als Grundlage für zukünftige Forschungen dienen. Die Bewertung der Basismodelle hebt auch die herausfordernde Natur des Datensatzes hervor, was sein Potenzial zur Verbesserung der Entwicklung von QA-Systemen unterstreicht.