Den Wert von NLI-Aufgaben bei der Bewertung von LLMs neu bewerten

In letzter Zeit haben Forscher sich dafür interessiert, wie gut grosse Sprachmodelle (LLMs) menschliche Sprache verstehen. Eine Möglichkeit, das zu überprüfen, ist etwas, das man natürliche Sprachinferenz (NLI) nennt. NLI ist ein schicker Begriff für Aufgaben, bei denen Modelle Sätze sinnvoll machen und ihre Beziehungen herausfinden müssen. Zum Beispiel, wenn ein Satz sagt: "Die Katze liegt auf der Matte" und ein anderer sagt: "Da ist ein Tier auf der Matte", würde eine NLI-Aufgabe fragen, ob die zweite Aussage wahr, falsch oder irrelevant für die erste ist.

#Ein kurzer Blick auf NLI-Aufgaben

Früher dachte man, NLI-Aufgaben wären super, um zu checken, wie gut Modelle Sprache verstanden. Mit dem Aufkommen von LLMs hat sich das allerdings geändert. Die einst beliebten NLI-Aufgaben, wie die Multi-Genre Natural Language Inference (MNLI), sind nicht mehr so angesagt. Tatsächlich scheinen LLMs diese Aufgaben bei ihren Bewertungen zu überspringen, was eine grosse Frage aufwirft: Sind diese NLI-Benchmarks noch hilfreich oder haben sie ihren Reiz verloren?

#LLMs bewerten: Alt vs. Neu

Bevor LLMs im Rampenlicht standen, haben Forscher stark auf NLI-Aufgaben gesetzt, um zu beurteilen, wie gut ein Modell Sprache "verstanden" hat. Diese Aufgaben konzentrierten sich auf die Konzepte der Folgerung (wo eine Aussage eine andere unterstützt), Widerspruch (wo eine Aussage einer anderen widerspricht) und Neutralität (wo es keine klare Verbindung gibt). Die Idee war, dass die Fähigkeit eines Modells, diese Beziehungen zu verarbeiten, ein starkes Indiz dafür war, wie gut es Sprache insgesamt verstehen kann.

Aber jetzt, mit der Einführung grosser Modelle wie GPT-3, fragen sich die Leute, ob NLI-Aufgaben einfach zu leicht oder zu schwer für diese grossen Modelle sind. Sie wirken im Vergleich zu anderen Bewertungsmethoden, die heute genutzt werden, etwas veraltet.

#Die aktuelle Studie: Was schauen wir uns an?

In dieser Studie haben wir uns einige NLI-Aufgaben genauer angeschaut und geprüft, ob sie noch einen Wert für die Bewertung von LLMs haben. Wir haben fünf verschiedene Benchmarks ausgewählt und sie an sechs verschiedenen Modellen getestet, die in Grösse und Komplexität variierten. Das Ziel war zu sehen, ob diese Modelle zwischen besser abschneidenden Modellen und ihren weniger fähigen Gegenstücken basierend auf ihrer Genauigkeit bei diesen NLI-Aufgaben unterscheiden konnten.

Wir waren interessiert, wie diese Modelle während des Trainings abschnitten und ob es einen merklichen Unterschied in ihren Fähigkeiten gab, je mehr sie über Sprache lernten. Haben sie ihr Verständnis für mehrdeutige oder vage Aussagen verbessert und konnten sie besser mit der menschlichen Interpretation dieser Sätze übereinstimmen?

#Die Ergebnisse: Gute Nachrichten für NLI

Wir haben einige ermutigende Dinge in Bezug auf NLI-Aufgaben gefunden. Sie differenzieren immer noch gut zwischen verschiedenen Modellgrössen und -qualitäten, was bedeutet, dass sie helfen, die Modelle zu identifizieren, die besser abschneiden als andere. Ausserdem haben wir gesehen, dass diese Aufgaben während der Trainingsphasen der Modelle konsistentes Feedback bieten, was Entwicklern ermöglicht, den Fortschritt effektiv zu überwachen.

Für einige Benchmarks erzielten die besten Modelle Ergebnisse zwischen 80% und 90%. Bei einem Benchmark-ANLI-hatten die besten Modelle jedoch Schwierigkeiten, über 70% zu kommen.

Interessanterweise haben wir festgestellt, dass, obwohl grössere Modelle tendenziell besser abschnitten, sie auch eine hohe Divergenz von menschlichen Antworten aufwiesen. Das deutet darauf hin, dass, obwohl die Modelle besser werden, noch ein langer Weg vor ihnen liegt, bis sie ein menschenähnliches Verständnis erreichen.

#Tiefer graben: Was ist los mit NLI?

Als wir unsere Erkundung der NLI-Aufgaben fortsetzten, bemerkten wir etwas. Selbst die leistungsstärksten Modelle zeigten viele "falsche" Vorhersagen, die oft nicht wirklich falsch waren; vielmehr waren es Fälle, bei denen sogar Menschen uneinig sind. Das wirft ein Licht auf das fortdauernde Problem der menschlichen Subjektivität in der Sprachinterpretation.

Um das genauer zu untersuchen, haben wir uns auf einen einzigartigen Datensatz namens ChaosNLI konzentriert. Er beinhaltet mehrere Annotationen für eine Vielzahl von Aussagen-über 4500 Proben für drei verschiedene Benchmarks. Hier konnten wir sehen, wie die Entscheidungen der Modelle mit den menschlichen Urteilen übereinstimmten oder nicht.

#Die Bedeutung menschlicher Eingaben

Als wir die Daten durchforsteten, entdeckten wir, dass Modelle besser abschnitten, wenn die Menschen klarere Meinungen zu den Antworten hatten. In Fällen, in denen die Meinungen der Menschen geteilt waren, hatten die Modelle Schwierigkeiten, das richtige Label auszuwählen. Sie fielen oft einfach auf das häufigste zurück, was zu Fehlern führte, die eher auf ein mangelndes tieferes Verständnis als auf ein völliges Versagen des Modells hindeuten.

Insgesamt hebt diese Erkenntnis hervor, wie wichtig vielfältige menschliche Eingaben für das Training von Modellen und die Verbesserung ihrer Fähigkeiten, Sprache zu verstehen, sind.

#Vergleich der Ausgaben von Menschen und Modellen

Wir haben auch geschaut, wie die Ausgaben der Modelle im Vergleich zu den menschlichen Antworten abschneiden, indem wir etwas namens Jensen-Shannon-Divergenz (JSD) verwendet haben. Dieser schicke Begriff misst einfach, wie nah die Vorhersagen des Modells an dem sind, was Menschen sagen würden. Überraschenderweise fanden wir heraus, dass, während die Unterschiede bei grösseren Modellen kleiner wurden, sie immer noch eine viel grössere Lücke im Vergleich dazu zeigten, wie Menschen untereinander zustimmen.

Das wirft die Frage auf: Können wir uns darauf verlassen, dass LLMs als unsere Sprachrichter fungieren, wenn sie nicht mit dem menschlichen Konsens übereinstimmen? Das ist ein herausforderndes Problem, besonders in Szenarien, in denen Menschen unterschiedliche Interpretationen haben können.

#NLI-Aufgaben: Eine Lerngelegenheit

All diese Entdeckungen unterstreichen das Potenzial von NLI-Aufgaben für die fortlaufende Entwicklung von LLMs. Sie sind nicht nur Relikte der Vergangenheit; sie sind auch heute noch relevant. Beim Durchsehen unserer Erkenntnisse wurde klar, dass, obwohl LLMs sich rasant weiterentwickeln, sie immer noch von NLI-Aufgaben profitieren können, um ihre Sprachfähigkeiten zu verbessern und zu verfeinern.

#Eine Mischung aus Alt und Neu

In Zukunft ist es wichtig, ein Gleichgewicht zwischen traditionellen Bewertungsmethoden wie NLI und frischen Ansätzen zu finden, die die Fortschritte in der maschinellen Lerntechnik berücksichtigen. Das bedeutet, das Wissen aus NLI mit moderneren Techniken zu kombinieren, um ein vollständigeres Bild davon zu bekommen, wie gut Modelle abschneiden.

Vielleicht bringt die Zukunft kreative Wege, um LLMs zu schulen, die sowohl NLI-Aufgaben als auch neuere Bewertungsstrategien einbeziehen. Da Sprachmodelle in unserem täglichen Leben immer alltäglicher werden, sollte es eine Priorität bleiben, sicherzustellen, dass sie menschliche Sprache auf hohem Niveau verstehen.

#Fazit: Der Weg nach vorne

Zusammenfassend zeigt unsere Untersuchung der Rolle von NLI bei der Bewertung von LLMs, dass diese Aufgaben immer noch viel zu bieten haben. Während sich die Landschaft des maschinellen Lernens verändert und die Modelle sich weiterentwickeln, gibt es die Hoffnung, dass diese Benchmarks mit dem richtigen Fokus eine entscheidende Rolle dabei spielen können, den Modellen zu helfen, menschliche Sprache besser zu verstehen.

Also, das nächste Mal, wenn jemand fragt, ob NLI-Aufgaben noch nützlich sind, kannst du selbstbewusst ja sagen. Die alten Wächter des Sprachverständnisses könnten immer noch den Schlüssel für noch grössere Leistungsniveaus von Modellen in der Zukunft halten.

Und wer weiss? Vielleicht haben wir eines Tages Modelle, die Sprache genauso gut interpretieren können wie, wenn nicht besser als, Menschen selbst. Schliesslich, wenn ein Computer Pizza bestellen kann, gibt’s keinen Grund, warum er nicht auch die Kunst der Konversation meistern sollte!