Anpassung der Begründungsgenerierung: Lesbarkeitsprobleme bei KI-Erklärungen

Die Generierung von Begründungen ist ein Weg, um die Entscheidungen von Modellen in natürlicher Sprache zu erklären. Diese Methode macht es einfacher, die Ergebnisse zu verstehen. Allerdings kann die Effektivität dieser Erklärungen durch Missverständnisse und Fehler, die das Modell erzeugt, beeinträchtigt werden.

Diese Studie zielt darauf ab zu untersuchen, wie grosse Sprachmodelle (LLMs) die Aufgabe übernehmen, Natürliche Sprach-Erklärungen zu liefern, während verschiedene Lesbarkeitsstufen berücksichtigt werden, zum Beispiel für Sechstklässler oder für Studierende. Die Ergebnisse deuten darauf hin, dass LLMs ihre Erklärungen auf die angestrebte Lesbarkeit anpassen können, die tatsächliche Komplexität des Textes jedoch oft nicht mit dem beabsichtigten Niveau übereinstimmt.

#Bedeutung der Begründungsgenerierung

In den letzten Jahren gab es ein wachsendes Interesse daran, künstliche Intelligenz verständlicher zu machen. Bisherige Methoden konzentrierten sich auf die Analyse von Regeln und Merkmalen dieser Modelle, aber LLMs haben neue Wege zur dynamischen Generierung von Erklärungen eingeführt. Diese Fähigkeit hat es Forschern ermöglicht, verschiedene Ansätze zu erkunden, einschliesslich Freitextbegründungen und der Kombination von LLM-Ausgaben mit traditionellen Methoden.

Natürliche Sprache-Erklärungen werden jetzt häufig verwendet, um Modellvorhersagen zu rechtfertigen. Es kann jedoch Diskrepanzen zwischen den vom Modell bereitgestellten Erklärungen und den tatsächlichen Vorhersagen geben. Eine solche Fehlanpassung kann Leser irreführen, die die Inkonsistenzen möglicherweise nicht bemerken.

#Kontrolle des Lesbarkeitsniveaus

Die Textkomplexität bezieht sich darauf, wie einfach oder schwierig ein Text zu lesen und zu verstehen ist. Diese Studie nutzt verschiedene Lesbarkeitsmetriken, um die Komplexität der Erklärungen zu messen. Zu den gängigen Metriken gehören Satzlängen, Wortzahlen und Silbenzahlen.

Um die Lesbarkeit zu steuern, verwendet die Studie Kategorien, die mit Bildungsniveaus übereinstimmen. Die Kategorien sind:

• Hochschule
• Oberschule
• Mittelschule
• Sechste Klasse

Jede Kategorie entspricht einem bestimmten Bereich von Punkten aus Lesbarkeitsmetriken. Dieses Framework hilft zu beurteilen, wie gut das Modell seine Ausgaben an die Anforderungen verschiedener Zielgruppen anpassen kann.

#Bewertung von Freitextbegründungen

Die Bewertung der Qualität der vom Modell generierten Erklärungen kann verschiedene Formen annehmen. Diese Studie verwendet sowohl automatische Metriken als auch menschliche Bewertungen. Die automatischen Metriken messen Faktoren wie Lesbarkeit, während menschliche Bewertungen zusätzliche Dimensionen wie Kohärenz, Informationsgehalt und Genauigkeit berücksichtigen.

#Objektive Metriken

In dieser Forschung wird TIGERScore als Hauptmetrik zur Bewertung des generierten Textes eingesetzt. Er basiert auf Fehleranalysen, um die Qualität der Begründung zu beurteilen, indem er nach Fehlern im Text sucht und entsprechend Punkte vergibt.

Dieser Ansatz ermöglicht eine quantitative Messung, wie gut der generierte Text in Bezug auf seinen beabsichtigten Zweck abschneidet.

#Menschliche Bewertung

Die menschliche Bewertung umfasst die Einschätzung, wie gut Leser die vom Modell generierte Begründung verstehen können. Eine Gruppe von Annotatoren wurde mit der Bewertung verschiedener Aspekte der generierten Begründungen beauftragt, wie Lesbarkeit, Kohärenz und Informationsgehalt.

Die menschlichen Bewerter prüften auch, ob sie mit den Vorhersagen des Modells auf Grundlage der bereitgestellten Erklärungen übereinstimmten. Die Ergebnisse zeigen eine allgemein positive Sicht auf die Begründungen über alle Lesbarkeitsstufen hinweg.

#Experimentaler Ablauf

In der Studie wurden Experimente durchgeführt, um zu untersuchen, wie LLMs Begründungen auf verschiedenen Lesbarkeitsniveaus erzeugen. Der Prozess umfasst, dass den Modellen spezifische Aufforderungen gegeben werden, die darauf ausgelegt sind, Erklärungen zu eliciteren, die auf das gewünschte Lesbarkeitsniveau zugeschnitten sind.

Der für diese Experimente verwendete Datensatz umfasst Beispiele zur Erkennung von Hassreden, bei denen die Ausgaben des Modells mit menschlich annotierten Labels verglichen werden.

Das Experiment besteht aus mehreren Schritten:

1. Aufforderungsdesign: Erstellen von Aufforderungen, die eine Aufgabenbeschreibung und Beispiele enthalten, um die Antwort des Modells zu leiten. Die Aufforderungen geben das erforderliche Lesbarkeitsniveau an.

2. Datenverarbeitung: Die generierten Begründungen werden sowohl anhand automatischer Metriken als auch menschlicher Annotationen bewertet.

3. Lesbarkeitsanpassung: Jede Begründung wird bewertet, um festzustellen, ob sie dem beabsichtigten Komplexitätsniveau entspricht.

#Ergebnisse der Kontrolle des Lesbarkeitsniveaus

Die Ergebnisse aus den Experimenten zeigen, dass LLMs ihre Ausgaben an das angegebene Lesbarkeitsniveau anpassen können. Es gibt jedoch eine merkliche Kluft zwischen der gewünschten und der tatsächlichen Textkomplexität.

Die Bewertung der Begründungen zeigte einen Trend, wonach Texte mit höherer Lesbarkeit nicht immer mit den erwarteten Leistungsmetriken übereinstimmten.

#Vorhersagegenauigkeit

Die Genauigkeit der Modelle bei der Vorhersage der richtigen Labels auf der Grundlage der generierten Begründungen variiert je nach Aufgabe. Die Aufgabe der Hassredeerkennung stellte mehr Herausforderungen dar als die Aufgabe der natürlichen Sprachinferenz, wobei das am besten abschneidende Modell nur eine Punktzahl von etwa 52% erreichte.

Im Allgemeinen steht die Komplexität des Textes nicht in direktem Zusammenhang mit der Genauigkeit der Vorhersagen des Modells.

#Lesbarkeitsmetriken

Es wurden mehrere traditionelle Metriken eingesetzt, um die Lesbarkeit der generierten Begründungen zu quantifizieren. Dazu gehörten:

• Flesch Reading Ease (FRE): Ein höherer Punktestand weist auf eine bessere Lesbarkeit hin.
• Gunning Fog Index (GFI): Dieser basiert auf der durchschnittlichen Anzahl von Wörtern pro Satz und dem Prozentsatz komplexer Wörter.
• Coleman-Liau Index (CLI): Diese Metrik verwendet Buchstabenzahlen und Satzanzahlen zur Bestimmung der Komplexität.

Die Wahl der Metriken hilft, eine genaue Bewertung sowohl der Komplexität der Begründungen als auch deren Übereinstimmung mit dem beabsichtigten Publikum sicherzustellen.

#Bewertung der Qualität der Begründung

Die Bewertung der Qualität der Begründung umfasste die Betrachtung mehrerer Faktoren.

#TIGERScore-Bewertung

Der TIGERScore liefert eine numerische Bewertung basierend auf Fehleranalysen. Ein niedrigerer Punktestand weist auf mehr Fehler in der Begründung hin, während ein höherer Punktestand eine bessere Qualität widerspiegelt. Die Ergebnisse zeigten, dass einfachere Texte tendenziell mehr Fehler hatten, während komplexere Texte oft höhere Punktzahlen erhielten.

Solche Ergebnisse deuten darauf hin, dass die Länge und Komplexität des Textes die Gesamtevaluation beeinflussen können, wobei längere Begründungen bei der Bewertung bevorzugt wurden.

#BERT-Ähnlichkeit

Die Studie mass auch, wie ähnlich die generierten Begründungen den Referenz-Erklärungen anhand von BERT-Ähnlichkeitspunkten waren. Dies mass, wie gut der generierte Text das Wesentliche des Referenzmaterials erfasste. Die Ähnlichkeitspunkte zeigten nuancierte Unterschiede und deuteten darauf hin, dass die generierte Begründung nicht immer eng mit den Referenzen übereinstimmte, was die Herausforderungen bei der Aufrechterhaltung der Qualität über verschiedene Modelle und Aufgaben hinweg weiter verdeutlicht.

#Ergebnisse der menschlichen Bewertung

Die menschlichen Bewerter gaben Feedback zu den generierten Begründungen. Diese subjektive Bewertung hob einen allgemeinen Trend von geringer Übereinstimmung über die wahrgenommenen Lesbarkeitsniveaus hervor.

Trotzdem wurden die Begründungen oft positiv wahrgenommen. Die Studie stellte fest, dass menschliche Leser die Erklärungen im Allgemeinen als zufriedenstellend empfanden, mit deutlich überdurchschnittlichen Punktzahlen.

#Wichtige Beobachtungen

• Es gab Schwierigkeiten unter den Lesern, präzise die angestrebten Lesbarkeitsniveaus wahrzunehmen.
• Die Kohärenz und der Informationsgehalt der Begründungen variierten über verschiedene Lesbarkeitsstufen hinweg.
• Die Bewerter zeigten eine Präferenz für einfachere, klarere Sprache anstelle unnötig komplexer Erklärungen.

#Verwandte Arbeiten

Dieser Abschnitt diskutiert verwandte Forschungen im Bereich der Begründungsbewertung und der Lesbarkeit von LLM-Ausgaben. Viele Studien haben verschiedene Ansätze zur Bewertung von Textbegründungen untersucht, während sie anerkennen, dass es keinen einheitlichen Standard gibt.

Jüngste Fortschritte haben gezeigt, dass anweisungsbasierte Methoden die Ausgaben von LLMs in Bezug auf die Textkomplexität effektiv verändern können. Dennoch bleibt das Potenzial für Modelle, die Komplexität von Eingabetexten zu erben, eine Sorge.

#Fazit und zukünftige Richtungen

Diese Studie hebt hervor, wie LLMs Erklärungen generieren können, die mit bestimmten Lesbarkeitsniveaus übereinstimmen, obwohl Diskrepanzen zwischen der angestrebten und der tatsächlichen Komplexität des Textes bestehen.

Zukünftige Forschungen sollten weiter untersuchen, wie die Kontrolle der Lesbarkeit optimiert und die Qualität der generierten Begründungen verbessert werden kann. Das Erkunden verschiedener Modelle und Methoden könnte auch Einblicke in die Verbesserung der Klarheit und Effektivität der Begründungsgenerierung in verschiedenen Kontexten bieten.

Die Ergebnisse dieser Forschung können zukünftige Bemühungen informieren, erklärbare KI zu verbessern und sie letztlich zugänglicher für ein breiteres Publikum zu machen, während die Komplexitäten angesprochen werden, die mit menschlichen Wahrnehmungen von Begründungen verbunden sind.