Fortschritte im Bedingten Schliessen bei der Dokumentenanalyse

Im echten Leben können die gleichen Fragen, die von verschiedenen Leuten gestellt werden, zu unterschiedlichen Antworten führen. Das liegt oft an den einzigartigen Umständen, die die Berechtigung für Sachen wie Stipendien beeinflussen. Zum Beispiel kann die Berechtigung eines Schülers für ein Stipendium von bestimmten Anforderungen abhängen, die mit seinem Hauptfach oder Studienprogramm zu tun haben.

Um das besser zu verstehen, wurde ein Projekt namens ConditionalQA ins Leben gerufen. Es wurde entwickelt, um zu testen, wie gut Modelle Dokumente lesen und Fragen zur Berechtigung beantworten können, selbst wenn nicht alle Bedingungen erwähnt werden. Allerdings konzentrierte es sich nur auf ein Dokument zur gleichen Zeit. Das bedeutet, dass es schwierigere Fälle verpasst hat, bei denen eine Frage eine Argumentation über mehrere Dokumente erfordert. Zum Beispiel erfordert die Frage "Wie viele Stipendien kann ich maximal bekommen?" ein tieferes Verständnis, da man mehrere Dokumente betrachten und das bestmögliche Ergebnis herausfinden muss.

Um diese Herausforderungen anzugehen, haben wir einen neuen Datensatz erstellt. Dieser Datensatz spiegelt reale Situationen wider und dient als Testfeld für komplexes Denken, das Optimierung beinhaltet. Wir haben diesen Datensatz mit den neuesten Sprachmodellen getestet und die Einschränkungen bei der Bewältigung dieser Aufgaben festgestellt. Wir glauben, dass dieser Datensatz dazu beitragen wird, die Forschung über das Beantworten von Fragen, die die Optimierung von Ergebnissen mit unbekannten Bedingungen betreffen, voranzutreiben.

#Fragen aus dem echten Leben und Dokumentenbeziehungen

Viele Fragen aus dem echten Leben hängen von geografischen, zeitlichen Situationen oder persönlichen Details ab. Zum Beispiel nehmen wir den Fall eines Schüler der letzten Jahrgangsstufe, der sich ein Stipendium anschaut. Die Antwort darauf, ob dieser Schüler für das Stipendium qualifiziert ist, hängt von Bedingungen ab, wie zum Beispiel, ob er plant, eine postsekundäre Ausbildung in den Vereinigten Staaten zu beginnen. Wenn diese Bedingung erfüllt ist, ist die Antwort "ja"; wenn nicht, ist die Antwort "nein." Selbst wenn diese Bedingung im Frage nicht direkt erwähnt wird, muss sie erfüllt sein, damit ein "ja" gültig ist.

Stipendien, Praktika und staatliche Leistungen kommen oft mit spezifischen Berechtigungsvoraussetzungen, die natürlich zu damit verbundenen Fragen führen. ConditionalQA untersuchte, wie gut Modelle auf einfache Ja/Nein-Fragen basierend auf einzelnen Dokumenten bezüglich dieser Leistungen reagieren konnten. Allerdings möchten die Leute auch breitere Fragen stellen, wie sie ihre Vorteile über mehrere Dokumente hinweg maximieren können.

Zum Beispiel möchten Studenten wissen, wie sie die Stipendien maximieren können, für die sie sich bewerben können, um die Studiengebühren abzudecken. Ähnlich könnten einkommensschwache Familien nach ihren Qualifikationen fragen, um soziale Vorteile wie Steuergutschriften oder Wohnbeihilfen zu maximieren.

Bestehende Datensätze konzentrieren sich meist auf Fragen zu einzelnen Dokumenten und übersehen das häufigere Bedürfnis, mehrere Dokumente zusammen zu bewerten. Das bringt neue Herausforderungen mit sich, die ein feines Verständnis dafür erfordern, wie verschiedene Bedingungen miteinander verknüpft sein könnten.

Modelle müssen in der Lage sein, die feinen Details über mehrere Dokumente hinweg zu erfassen. Sie müssen nicht nur die Bedingungen in jedem Dokument verstehen, sondern auch die Beziehungen zwischen diesen Bedingungen, da dies entscheidend ist, um Mehrfachdokumentfragen korrekt zu beantworten.

Häufige Beziehungen umfassen:

• Widersprüchlich: Zum Beispiel erfordert ein Stipendium, dass Studenten entweder einen hohen Abschluss oder erste Klassen-Auszeichnungen haben, was im Widerspruch zur Anforderung steht, noch in der Schule zu sein.
• Äquivalent: Eine Bedingung, dass ein Schüler "erwartet, die Schule abzuschliessen", ist dasselbe wie "Schüler im letzten Schuljahr".
• Inklusiv: Eine Bedingung, die plant, einen Abschluss in einem bestimmten Bereich zu verfolgen, ist breiter gefasst als eine spezifischere Anforderung, die auf ein bestimmtes Hauptfach abzielt.

Mit diesen Beziehungen zu arbeiten, ist für ein Modell entscheidend, um die besten Antworten abzuleiten.

#Mehrfachdokument-Bedingtes Denken

Fragen zu beantworten, die mehrere Dokumente umfassen, erfordert fortgeschrittenere Denkfähigkeiten. Insbesondere müssen Modelle zusätzliche, nicht erwähnte Bedingungen berücksichtigen, um das bestmögliche Ergebnis zu erzielen. Zum Beispiel, wenn ein Benutzer hofft, so viele Stipendien wie möglich zu bekommen, muss das Modell alle möglichen Kombinationen verschiedener Stipendien erkunden und dann die Beziehungen zwischen den Bedingungen analysieren.

Benutzer könnten ein Szenario haben, in dem sie Stipendien erhalten können, aber sie müssen widersprüchliche Bedingungen oder Beziehungen zwischen den in den Dokumenten festgelegten Anforderungen erkennen. Das kann beinhalten, zu überprüfen, ob bestimmte Bedingungen zusammenarbeiten oder in Konflikt stehen können, um letztendlich die beste Gruppenbildung von Bedingungen zu bestimmen, die ihre Erfolgschancen maximiert.

Diese Art des Denkens ist bei einfacheren Fällen, die nur einzelne Dokumente betreffen, nicht erforderlich. Wenn die Anzahl der Dokumente zunimmt, wird der Kontext komplexer, was ein Modell irreführen oder dazu führen kann, dass es Informationen nicht optimal nutzt, was das Verständnis und das Denken herausfordernder macht.

Um diese Herausforderungen aus dem echten Leben widerzuspiegeln, haben wir einen Datensatz entwickelt, der als Mehrfachdokument-bedingtes Denken bezeichnet wird. Wir haben Dokumente hauptsächlich aus den Bereichen Stipendien und Jobs gesammelt und Fragen erstellt, die evaluieren, wie gut Modelle über unterschiedliche Dokumentenzahlen hinweg argumentieren können.

Wir haben diesen Datensatz mit den neuesten Sprachmodellen getestet und auf ihre Herausforderungen hingewiesen. Die meisten Modelle erzielten etwa 69% Genauigkeit bei kurzen Antworten, aber nur etwa 40% Genauigkeit für Antworten, die ein Verständnis der Bedingungen über Dokumente hinweg erforderten. Das zeigt die Komplexität der Aufgabe.

#Aufgabendistribution

In dieser Aufgabe beschreiben wir Eingaben und Ausgaben sowie, wie man diese Ausgaben bewertet.

#Eingaben

Ein Benutzer wird Folgendes eingeben:

1. Dokumente: Diese enthalten Beschreibungen von Bedingungen, die notwendig sind, um bestimmte Ergebnisse zu erzielen. Diese könnten sich auf Stipendien oder die Berechtigung für Jobs beziehen.

2. Benutzerszenario: Dies umreisst den Hintergrund des Benutzers und umfasst Informationen, die relevant oder nicht relevant für die Berechtigungsbedingungen sind.

3. Benutzerfragen: Es werden drei Haupttypen von Fragen betrachtet:

   • Q1: Kann ich mindestens eines der Ergebnisse erhalten?
   • Q2: Kann ich alle Ergebnisse erhalten?
   • Q3: Wie viele Ergebnisse kann ich maximal erhalten?

#Ausgaben

Die Ausgaben bestehen aus zwei Teilen:

• Kurze Antwort: Für Q1 und Q2 ist dies ein einfaches Ja oder Nein. Für Q3 ist es eine Zahl, die angibt, wie viele Ergebnisse möglich sein könnten.

• Bedingte Antwort: Diese umfasst die nicht genannten Bedingungen, die benötigt werden, um die kurze Antwort zu validieren. Es kann mehrere Gruppen dieser Bedingungen geben, die die kurze Antwort unterstützen.

#Bewertungsmetriken

Die Ausgaben werden separat bewertet:

• Genauigkeit der kurzen Antwort: Dies misst, wie oft die vorhergesagte kurze Antwort mit der richtigen übereinstimmt.

• Leistung der bedingten Antwort: Präzision, Rückruf und F1-Werte werden für bedingte Antworten berechnet.

Evaluatoren achten darauf, wie viele Gruppen von nicht genannten Bedingungen korrekt identifiziert wurden, was Einblick in die Fähigkeit des Modells gibt, die Berechtigungsbedingungen zu erkennen.

#Datensammlungsprozess

Wir haben HTML-Dokumente aus den Bereichen Stipendien und Jobs gesammelt. Diese Dokumente enthielten oft Berechtigungsbedingungen, die sich überschneiden, wie GPA oder Erfahrung.

#Menschliche Annotationen

Es wurden menschliche Annotatoren rekrutiert, um die Dokumente zu kennzeichnen. Sie konzentrierten sich auf drei Hauptaufgaben:

1. Bedingungen extrahieren: Sie identifizierten die Sätze, die die Berechtigungsbedingungen beschrieben.

2. Beziehungen identifizieren: Sie bestimmten, wie die Bedingungen zueinander standen (ob sie in einer "und" oder "oder" Beziehung standen).

3. Kennzeichnung von Dokumenten übergreifenden Beziehungen: Sie kategorisierten, wie die Bedingungen in verschiedenen Dokumenten zueinander standen, und markierten sie als widersprüchlich, äquivalent oder inklusiv.

#Szenario-Generierung

Benutzerszenarien wurden auf Grundlage der extrahierten Bedingungen erstellt. Dies beinhaltete das Sampling sowohl relevanter als auch irrelevanter Informationen, um den Hintergrund eines Benutzers nachzuahmen.

Szenarien wurden auf logische Konsistenz überprüft, um sicherzustellen, dass sie sinnvolle Herausforderungen präsentierten, die ein Denken mit nicht genannten Bedingungen und Beziehungen erforderten.

#Erstellung von Gold-Antworten

Um die korrekten Antworten automatisch zu bestimmen, wurde ein Prozess eingeführt, der das Problem als logisches Problem darstellt, das mit bestehenden Werkzeugen gelöst werden kann. Dies beinhaltete die Erstellung eines gemeinsamen Ausdrucks, der die Bedingungen aus allen Dokumenten kombinierte, die für das Szenario eines Benutzers relevant sind, und dann Antworten durch logisches Denken abzuleiten.

#Leistungserklärung

Mit Sprachmodellen haben wir getestet, wie gut sie mit diesem Datensatz abschneiden. Die Aufgabe ist schwierig, aber Hinweise zu Bedingungen verbesserten die Genauigkeit der Modelle sowohl bei kurzen als auch bei bedingten Antworten. Allerdings hatten die Modelle selbst mit Hilfe oft Schwierigkeiten, durch die Komplexitäten effektiv zu denken.

#Fehleranalyse

Eine Analyse der Fehler offenbarte mehrere Hauptprobleme.

#Analyse der kurzen Antwort

Modelle machten oft gängige Fehler:

1. Überreaktion auf negative Signale: Modelle zogen manchmal voreilige Schlüsse aufgrund negativer Details und ignorierten andere erfüllte Bedingungen.

2. Missinterpretation: Modelle könnten fälschlicherweise annehmen, dass ein Benutzer eine Bedingung nicht erfüllt, weil sie ihren Hintergrund missverstanden.

3. Widersprüchliche Signale: Modelle hatten Schwierigkeiten, Bedingungen zu erkennen, die in Konflikt standen, was zu falschen Berechtigungs Schlussfolgerungen führte.

#Analyse der bedingten Antwort

Fehler in bedingten Antworten beinhalteten oft:

1. Unvollständige Antworten: Modelle übersehen oft nicht genannte Bedingungen, die für die Validierung entscheidend waren.

2. Redundante Informationen: Sie wiederholten manchmal bereits erfüllte Bedingungen.

3. Inkonsistente Informationen: Modelle versäumten es, sicherzustellen, dass die Antworten logisch konsistent blieben, was dazu führte, dass sie irrelevante Bedingungen einbezogen.

#Fazit

Diese Studie hebt die Bedeutung des bedingten Denkens in verschiedenen Bereichen wie Stipendien und Jobs hervor. Sie zeigt, wie aktuelle Modelle mit Fragen, die mehrere Dokumente betreffen, kämpfen und wie notwendig Lösungen sind, die tieferes Denken erfordern.

Wir hoffen, dass dieser Datensatz als Sprungbrett für zukünftige Forschungen dient, die komplexes Denken in verschiedenen Bereichen erkunden.

#Zukünftige Arbeiten

Während sich diese Studie hauptsächlich auf Stipendien und Jobbewerbungen konzentriert, gibt es viele andere Bereiche, in denen das Denken über mehrere Dokumente hinweg entscheidend ist. Die Erweiterung der Bereiche und die Erforschung zusätzlicher Fragen werden unser Verständnis der Fähigkeiten von Modellen weiter verbessern.

Die Untersuchung, wie externes Wissen das Denken beeinflusst, könnte ebenfalls Aufschluss darüber geben, wie man diese Modelle verbessern kann. Diese Arbeit öffnet Türen für zukünftige Studien, die darauf abzielen, das bedingte Denken im maschinellen Lernen zu verfeinern.