Können Sprachmodelle menschliche Urteile ersetzen?

Grosse Sprachmodelle (LLMs) haben viel Aufmerksamkeit bekommen wegen ihrer Fähigkeit, verschiedene Textarten zu bewerten, wie Zusammenfassungen und Gespräche. Aber wie gut sind sie wirklich in diesem Job? Traditionelle Methoden zur Überprüfung der Textqualität, wie BLEU und ROUGE, bringen nicht viel, wenn es darum geht, die feineren Punkte des Schreibens zu messen. Deshalb schauen Forscher jetzt, ob LLMs da einspringen und eine bessere Bewertung liefern können.

#Die Herausforderung der Textevaluation

Die Bewertung generierter Texte ist knifflig, weil es oft nicht nur eine "richtige" Antwort gibt. Denk mal an einen Wettbewerb im Kuchenessen. Es gibt verschiedene Wege, um einen tollen Kuchen zu machen, aber nur jemand kann gewinnen, basierend auf Geschmack, Textur und all dem Kram. Genauso sind bei der Beurteilung von Zusammenfassungen oder Gesprächen Faktoren wie Kohärenz und Fliessfähigkeit entscheidend. Diese Elemente sind schwer zu messen, wenn man nur nach Wortüberlappungen schaut.

Menschen waren lange Zeit die erste Wahl für diese Art von Arbeit, aber sie haben auch ihre Fehler. Sie können Fehler machen, und wenn es um grosse Bewertungen geht, können sie langsam und inkonsistent sein. Ausserdem, seien wir ehrlich, nicht jeder hat den gleichen Geschmack in Kuchen – ähem, Bewertungen! Hier kommen die LLMs ins Spiel. Sie könnten potenziell eine schnelle und kostengünstige Möglichkeit bieten, Texte basierend auf ihrem riesigen Trainingsdaten zu bewerten.

#Was die Forscher gemacht haben

In ihrem Bestreben, die Zuverlässigkeit von LLMs wie Google Gemini 1 zu überprüfen, haben die Forscher untersucht, wie diese Modelle im Vergleich zu menschlichen Richtern abschneiden. Sie haben verschiedene Möglichkeiten ausprobiert, um die Modelle zu bitten, einen Text zu bewerten und gleichzeitig Gründe für ihre Bewertungen anzugeben. Ausserdem wollten sie sehen, wie gut die Modelle abschneiden, wenn der Eingabetext ein bisschen schräg wird – zum Beispiel, wenn jemand aus Versehen etwas Kuchen darauf verschüttet hat.

#Die Datensätze

Für ihre Tests verwendeten die Forscher zwei spezifische Datensätze. Der erste, SummEval, enthält Zusammenfassungen, die aus Artikeln generiert wurden. Der zweite, USR, enthält Gespräche aus Chatprotokollen. Jeder Datensatz hat viele Beispiele, bei denen menschliche Richter die Textqualität bereits bewertet haben. Das bot eine solide Grundlage für den Vergleich mit den Bewertungen der Modelle.

#Testmethoden

Die Forscher verwendeten verschiedene Methoden, um die Modelle nach ihren Bewertungen zu fragen. Sie probierten folgende Strategien aus:

1. Zero-Shot: Das Modell generiert eine Punktzahl basierend auf seinem eigenen Verständnis ohne zusätzlichen Kontext.
2. Knowledge-Prompt: Das Modell bekommt Definitionen aus den Datensätzen, um seine Punkte zu leiten.
3. Few-Shot: Das Modell sieht Beispiele von hohen und niedrigen Punktzahlen, um seine Bewertungen darüber zu informieren.
4. Chain-of-Thought: Das Modell wird gebeten, seine Bewertung Schritt für Schritt zu begründen.

Sie wählten die Knowledge-Prompt-Strategie als ihre Basisansatz, weil sie am meisten mit der Art und Weise übereinstimmte, wie menschliche Experten die Texte bewertet haben.

#Störungen: Der unerwartete Faktor

Die Forscher hörten nicht nur bei der Überprüfung auf, wie gut die Modelle unter normalen Bedingungen abschnitten. Sie entschieden sich auch, ein paar unerwartete Faktoren einzubringen – was, wenn sie Teile des Eingabetexts ändern, um zu sehen, wie die Modelle reagieren? Das nennt man "Perturbation", ein schickes Wort für “Dinge durcheinander bringen”.

Sie erstellten das, was sie "Perturbed Rating" (PR) nennen, was das gewohnte Bewertungssystem verdrehte, um zu sehen, ob das Modell trotzdem eine angemessene Bewertung abgeben konnte. Die Idee war, es dem Modell schwerer zu machen, um zu zeigen, wie flexibel oder starr seine Bewertungsfähigkeiten wirklich sind.

#Konsistenz messen

Um zu sehen, wie eng die LLM-Bewertungen mit den menschlichen Urteilen übereinstimmten, wandten die Forscher ein statistisches Mass namens Krippendorff's Alpha an. Diese Methode hilft zu bestimmen, wie konsistent verschiedene Beurteiler sind, egal ob Mensch oder Maschine.

Als sie die Punktzahlen von menschlichen Richtern und dem Modell überprüften, entdeckten sie interessante Muster. Die Punktzahlen des Modells variierten wenig, wenn unterschiedliche Aufforderungsstrategien verwendet wurden, was bedeutet, dass es einen konsistenten Ansatz hatte. Menschliche Bewerter zeigten jedoch mehr Inkonsistenz, wahrscheinlich aufgrund persönlicher Interpretationen.

#Die Ergebnisse

Wie erwartet, schnitt das Modell in normalen Bewertungsszenarien gut ab. Aber als es mit gestörten Eingaben zu tun hatte, wurde es knifflig. Die Übereinstimmung der Punktzahlen zwischen dem Modell und den menschlichen Richtern fiel deutlich ab. Das galt besonders für Metriken, die Kohärenz und Fliessfähigkeit bewerten. Offensichtlich hatten die Modelle Schwierigkeiten, wenn sie mit widersprüchlichen Informationen konfrontiert wurden, was eine grosse Herausforderung für die Nutzung als zuverlässige Bewerter darstellt.

Interessanterweise zeigten die USR-Metriken eine gewisse Widerstandsfähigkeit gegenüber diesen Störungen dank ihrer einfacheren Bewertungsskalen, aber die Gesamtzuverlässigkeit der LLMs nahm unter diesen Bedingungen ab. Wenn LLMs als Bewerter einspringen sollen, müssen sie stärker gegen solche Herausforderungen sein.

#Begründungen sind wichtig

Die Forscher schauten sich auch die Begründungen an, die die LLMs für ihre Punktzahlen lieferten. Sie führten eine Sentimentanalyse durch, um den Ton und die Qualität dieser Erklärungen besser zu verstehen. Sentimentanalyse hilft, eine Punktzahl für den emotionalen Ton zuzuweisen, die von negativ bis positiv reicht.

Ihre Ergebnisse zeigten, dass die Begründungen des Modells tendenziell negativer wurden, wenn sie mit Störungen konfrontiert wurden. Das deutete auf eine Fehlanpassung in seinem Denkprozess hin, wenn der Input verwirrend war. Also, während die LLMs unter normalen Umständen gute Bewertungen abgeben könnten, können sie schnell durcheinander geraten, wenn die Eingaben nicht klar sind.

#Fazit

Am Ende hat Google’s Gemini 1 gezeigt, dass es konsistente Bewertungen über verschiedene Methoden hinweg bieten kann, aber es hat noch Schwierigkeiten, wenn es mit Herausforderungen wie adversarialen Störungen konfrontiert wird. Die Experimente machten deutlich, dass LLMs noch einen langen Weg vor sich haben, bevor sie sich auf die Bewertung subjektiver Qualität in Texten ohne menschliche Aufsicht verlassen lassen.

Diese Studie hat sich zwar nicht mit anderen prominenten Modellen wie Llama oder GPT beschäftigt, könnten zukünftige Forschungen diese einbeziehen, um zu sehen, ob sie Bewertungsaufgaben anders angehen. Es wäre auch interessant, kleinere Modelle zu betrachten, um zu sehen, wie sie mit den Nuancen subjektiver Bewertungen umgehen.

Zusammenfassend lässt sich sagen, dass LLMs vielversprechende Werkzeuge zur Überprüfung der Textqualität sind, aber es gibt noch viel zu tun, bevor sie menschliche Richter vollständig ersetzen können. Schliesslich, wenn es darum geht, Schreiben zu bewerten, brauchen sie vielleicht noch ein paar Lektionen im Kuchenbacken!

#Ethik in der Evaluation

Während dieser Studie wurden alle ethischen Richtlinien strikt eingehalten. Datensätze wurden verantwortungsbewusst genutzt und alle Forschungsaktivitäten wurden mit Respekt für das Ausgangsmaterial und die Integrität des Evaluierungsprozesses durchgeführt.

#Schlussgedanken

Während sich das Feld der Textevaluation weiterentwickelt, sind Forscher engagiert, die Methoden zu verfeinern, die LLMs nutzen. Zukünftige Untersuchungen könnten herausfinden, wie sich diese Modelle anpassen und verbessern können, um sie zuverlässiger für die Bewertung aller Arten von Schreiben zu machen – egal ob es sich um Kuchenrezepte oder komplexe Dialoge handelt! Und mal ehrlich, wer würde nicht gerne ein Modell sehen, das Kuchen bewerten kann? Das wäre ein echter Einblick!