Die Messung der Treue von KI-Erklärungen

Während sich die künstliche Intelligenz (KI) weiterentwickelt, ist es wichtig zu verstehen, wie diese Systeme Entscheidungen treffen. Grosse Sprachmodelle (LLMs) können Erklärungen und Argumentationen generieren, die echt wirken. Aber oft ist es schwer zu sagen, ob diese Erklärungen tatsächlich die Gründe hinter den Vorhersagen des Modells widerspiegeln.

In diesem Artikel schlagen wir einen neuen Weg vor, um zu messen, wie gut diese Erklärungen mit dem Denken des Modells übereinstimmen. Wir stellen ein Mass namens Korrelational Explanatory Faithfulness (CEF) vor. Dieses Mass betrachtet, wie Änderungen in den Eingaben die Vorhersagen des Modells beeinflussen, was ein klareres Bild davon gibt, ob die Erklärungen treu zur Entscheidungsfindung des Modells sind.

#Die Bedeutung treuer Erklärungen

Zu verstehen, warum KI Entscheidungen trifft, ist besonders wichtig in sensiblen Bereichen wie Gesundheitswesen oder Strafrecht. Das Feld der erklärbaren KI zielt darauf ab, diesen Prozess zu entschlüsseln und uns zu helfen zu sehen, warum ein System zu einer bestimmten Antwort gekommen ist. Allerdings können Bewertungen, die sich nur auf menschliches Urteil stützen, irreführend sein. Manchmal geben Erklärungen, die Menschen leicht nachvollziehbar finden, wenig tatsächliche Informationen über das Denken des Modells preis.

Wir brauchen einen klareren Weg, um zu bewerten, wie gut Erklärungen bedeutungsvolle Einblicke in die Vorhersagen des Modells vermitteln. So können wir problematische Elemente wie Vorurteile oder Täuschung erkennen und eine bessere Aufsicht über KI-Systeme gewährleisten.

#Wichtige Beiträge

1. Bedeutung der Erwähnung wichtiger Faktoren: Um wirklich informativ zu sein, müssen Erklärungen nicht nur wichtige Faktoren erwähnen, sondern dies auch häufiger tun als unwichtige.

2. Einführung von CEF: Unser neues Mass, CEF, geht über frühere Masse hinaus, indem es berücksichtigt, welchen Einfluss jedes Eingabefaktor auf die Vorhersagen des Modells hat und wie oft bedeutende Faktoren erwähnt werden.

3. Entwicklung des Korrelationalen Gegenfaktischen Tests (CCT): Wir wenden CEF an, um Erklärungen durch eine Methode namens Gegenfaktischer Test (CT) zu bewerten. Das ermöglicht es uns zu messen, ob Erklärungen genau die Faktoren widerspiegeln, die für Vorhersagen verantwortlich sind.

#Verwandte Arbeiten

Es gibt eine laufende Debatte darüber, was es bedeutet, dass eine Erklärung "treu" ist. Im Allgemeinen sollte eine treue Erklärung das Denken hinter der Vorhersage des Modells genau widerspiegeln. Es gibt verschiedene Arten von Erklärungen, darunter extraktive (Hervorhebungen), Freitexter (natürliche Sprache) und strukturierte Formen. Dieser Artikel konzentriert sich auf Freitexterklärungen, da sie mehr Freiheit bieten, den involvierten Denkprozess auszudrücken.

#Erklärende vs. Kausale Treue

Es gibt zwei Hauptkonzepte der Treue in KI-Erklärungen: erklärende und kausale. Erklärende Treue fragt, ob die Erklärung den Entscheidungsprozess des Modells genau widerspiegelt. Dies wird oft bewertet, indem einige Merkmale der Eingabe geändert werden und beobachtet wird, wie die Vorhersage variiert.

Kausale Treue hingegen untersucht, ob die Erklärung die Vorhersage direkt beeinflusst hat. Das kann schwieriger zu messen sein, da bestimmte Bedingungen gegeben sein müssen.

#Der Gegenfaktische Test

Um zu bestimmen, wie gut eine Erklärung die relevanten Faktoren hinter einer Vorhersage erfasst, müssen wir wissen, welche Faktoren wichtig sind. Aber Deep-Learning-Modelle können komplex und schwer zu interpretieren sein.

Der Gegenfaktische Test (CT) hilft uns, dieses Problem anzugehen. Dieser Test verändert eine Eingabe, indem er spezifischen Text hinzufügt, was als interventional addition (IA) bekannt ist. Wenn sich die Vorhersage des Modells nach dieser Hinzufügung ändert, prüfen wir, ob die Erklärung den neuen Faktor erwähnt.

#Einschränkungen des Gegenfaktischen Tests

Der CT hat zwei Hauptnachteile:

1. Erwähnung einflussreicher Merkmale: Er berücksichtigt nicht, ob Erklärungen eher einflussreiche Merkmale erwähnen als weniger einflussreiche. Eine einfache Strategie könnte zu perfekten Ergebnissen im CT führen, bei der Erklärungen den Eingabetext wiederholen, aber nicht wirklich das Denken des Modells erklären.

2. Binäre Messung: Der CT misst den Einfluss binär; ob die Intervention das oberste vorhergesagte Label ändert. Diese Vereinfachung übersieht die Nuancen in den Veränderungen der Vorhersagewahrscheinlichkeiten und lässt subtilere Verschiebungen ausser Acht, die genauso wichtig sein könnten.

#Einführung von Korrelationalem Erklärungsfaithfulness (CEF)

Um diese Einschränkungen zu beheben, führen wir CEF ein, das misst, wie gut Erklärungen Änderungen in den Vorhersagen des Modells berücksichtigen. Das Mass basiert auf drei Hauptkomponenten:

1. Intervention: Eine Möglichkeit, die Eingabe zu ändern.
2. Vorhersage-Einflussmass: Eine Methode zur Quantifizierung, wie viel Einfluss eine Intervention auf die Vorhersagen des Modells hat.
3. Erklärung-Erwähnungsmass: Eine Möglichkeit zu bewerten, wie oft die Erklärung den veränderten Merkmalen Bedeutung zuschreibt.

Wenn eine Intervention einen höheren Einfluss auf die Vorhersagen hat, sollte eine treue Erklärung das widerspiegeln, indem sie diesen Merkmalen mehr Erwähnung schenkt.

#Quantifizierung der Beziehung

Wir definieren die Beziehung zwischen Vorhersageeinfluss und Erklärungserwähnungen mithilfe eines statistischen Masses. Dies ermöglicht es uns zu quantifizieren, wie eng sie miteinander verbunden sind. Durch die Anwendung dieser Methode auf den traditionellen Gegenfaktischen Test haben wir jetzt den Korrelationalen Gegenfaktischen Test (CCT).

#Experimentation und Ergebnisse

Um unser Mass zu validieren, haben wir Experimente mit der Llama-2-Familie von LLMs bei drei Klassifikationsaufgaben durchgeführt. Wir haben die Treue der von den Modellen erzeugten Erklärungen mithilfe sowohl des CT als auch des neuen CCT verglichen.

#Datensätze

Wir verwendeten drei gängige Klassifikationsdatensätze:

1. e-SNLI: Ein Datensatz von Satzpaaren, die mit Folgerichtigkeit, Widerspruch oder neutral gekennzeichnet sind.
2. ECQA: Ein neueren Datensatz mit detaillierten Erklärungen zu jeder Frage und Antwort.
3. ComVE: Ein Datensatz, der Multiple-Choice-Fragen beinhaltet.

Unser Ziel war es zu bewerten, wie treu die LLMs ihre Vorhersagen basierend auf den Eingriffen, die wir vorgenommen haben, erklären konnten.

#Modelle und Eingabeaufforderungen

Die Modelle, auf die wir uns konzentriert haben, stammen aus der Llama-2-Serie, wobei wir wenige Beispiele zur Eingabeaufforderung genutzt haben. Das bedeutet, dass wir kurze Beispiele bereitgestellt haben, um dem Modell zu helfen, zu lernen, wie es basierend auf den Eingabedaten Erklärungen erzeugt.

#Messung der Treue

In unserer Analyse haben wir untersucht, wie oft die Erklärungen des Modells die interventionalen Zusätze basierend auf ihrer Bedeutung erwähnt haben. Ein Modell, das treue Erklärungen liefert, sollte einen positiven Trend zeigen; je wirkungsvoller die Intervention, desto wahrscheinlicher, dass die Erklärung sie erwähnt.

#Ergebnisse

Die Ergebnisse zeigten, dass das grösste Modell von Llama2 durchgehend die treuesten Erklärungen lieferte. Ausserdem zeigte der Datensatz e-SNLI eine klare Beziehung zwischen Einfluss und Erwähnungen, während der ECQA-Datensatz flacher war, was darauf hindeutet, dass Erklärungen oft langwierig sein könnten, ohne effektiv zu signalisieren, welche Faktoren am wichtigsten waren.

#Fazit

In dieser Arbeit haben wir einen neuen Weg eingeführt, um zu messen, wie informativ Erklärungen von KI-Modellen sind, wenn es darum geht, die Bedeutung der erwähnten Eingabefaktoren widerzuspiegeln. Unsere Ergebnisse deuten darauf hin, dass grössere Modelle klarere und genauere Erklärungen im Verhältnis zu den vorgenommenen Interventionen liefern können.

In Zukunft glauben wir, dass dieses Mass genutzt werden kann, um das Design von KI-Systemen zu verbessern und sicherzustellen, dass ihre Erklärungen nicht nur überzeugend erscheinen, sondern auch tatsächlich den inneren Ablauf des Modells widerspiegeln. Durch den Einsatz dieser Methoden können wir KI-Systeme besser überwachen und potenzielle Vorurteile oder ethische Probleme, die auftreten können, identifizieren und angehen.

Durch zukünftige Forschung haben wir das Ziel, diese Masse weiter zu verfeinern und ihre Anwendung in verschiedenen KI-Modellen und Aufgaben zu erkunden. Durch die Verbesserung der Treue von KI-Erklärungen können wir Vertrauen und Transparenz in diese leistungsstarken Systeme fördern.