Verbesserung von KI-Erklärungen: Das Intent Fulfilment Framework

Künstliche Intelligenz (KI) wird Teil unseres Alltags. Leute nutzen KI-Systeme für verschiedene Aufgaben, einschliesslich der Beantragung von Krediten. Auch wenn diese Systeme schnell Entscheidungen treffen können, ist es wichtig, den Nutzern zu helfen zu verstehen, warum bestimmte Entscheidungen getroffen wurden. Hier kommt die Erklärbare Künstliche Intelligenz (XAI) ins Spiel. XAI hat das Ziel, klare Erklärungen darüber zu liefern, wie KI-Systeme funktionieren und warum sie bestimmte Entscheidungen treffen.

Je komplexer die KI wird, desto komplizierter werden auch die Erklärungen, die nötig sind, damit die Nutzer informiert und zuversichtlich sind. Verschiedene Nutzer haben unterschiedliche Bedürfnisse und Arten, Informationen zu verstehen. In diesem Papier wird ein neues Framework vorgestellt, das Intent Fulfilment Framework (IFF), das dabei hilft, bessere Erklärungserlebnisse für Nutzer zu schaffen, besonders in konversationalen KI-Systemen.

#Die Wichtigkeit von nutzerzentrierten Erklärungen

Wenn Nutzer von einem KI-System Erklärungen suchen, haben sie normalerweise bestimmte Fragen oder Absichten. Zum Beispiel könnte eine Person, die einen Kredit beantragt, wissen wollen, warum ihr Antrag abgelehnt wurde oder welche Schritte sie unternehmen kann, um ihre Chancen beim nächsten Mal zu verbessern. Es ist entscheidend, dass das KI-System Erklärungen bietet, die auf diese Bedürfnisse zugeschnitten sind.

Oft sind Nutzer mit nur einer Erklärung nicht zufrieden. Sie möchten möglicherweise Folgefragen stellen, um ein klareres oder detaillierteres Verständnis zu bekommen. Zum Beispiel, nachdem sie eine Erklärung erhalten haben, warum ihr Kredit abgelehnt wurde, könnten sie wissen wollen, was sie anders in ihrem Antrag machen könnten. Das macht deutlich, wie wichtig es für KI-Systeme ist, nicht nur Erklärungen zu geben, sondern auch einen fortlaufenden Dialog zu unterstützen.

#Das Intent Fulfilment Framework (IFF)

Das IFF ist ein strukturierten Ansatz, der darauf abzielt, wie KI ihre Entscheidungen erklärt. Es basiert darauf, die Absichten und Fragen der Nutzer zu verstehen. Das Framework kategorisiert verschiedene Arten von Erklärungen und die Beziehungen zwischen ihnen, um ein kohärentes Erlebnis zu schaffen.

Im IFF werden fünf Haupttypen von Nutzerabsichten identifiziert:

1. Effektivität: Nutzer wollen wissen, wie gut die KI funktioniert.
2. Handlungsfähigkeit: Nutzer suchen Klarheit darüber, welche Schritte sie basierend auf den Ergebnissen der KI unternehmen können.
3. Einhaltung: Nutzer fragen, wie die KI die geforderten Standards wie Fairness und Datenschutz einhält.
4. Transparenz: Nutzer möchten klare Einblicke darin, wie Entscheidungen von der KI getroffen werden.
5. Debugging: Nutzer wollen eventuell Probleme oder Einschränkungen in der KI identifizieren.

Durch das Verständnis dieser Absichten kann das IFF helfen, Erklärungen zu entwickeln, die den Bedürfnissen der Nutzer entsprechen.

#Erklärungstechniken und Folgefragen

Das IFF verknüpft jede Nutzerabsicht mit spezifischen Fragen, die Nutzer stellen könnten. Diese Fragen können dann zu verschiedenen Arten von Erklärungen führen, wie zum Beispiel Merkmalsattributionen oder kontrafaktischen Erklärungen. Eine Merkmalsattributions-Erklärung könnte klären, welche Faktoren am meisten die Entscheidung über den Kredit beeinflusst haben. Während eine kontrafaktische Erklärung Nutzern zeigen könnte, wie das Ändern bestimmter Details in ihrem Antrag zu anderen Ergebnissen führen könnte.

Es ist auch wichtig, Folgefragen zu berücksichtigen. Wenn ein Nutzer eine Erklärung erhält, versteht er sie möglicherweise nicht vollständig und möchte weitere Informationen anfordern. Daher werden Folgefragen entscheidend. Diese können in drei Typen kategorisiert werden:

1. Ergänzung: Zusätzliche Informationen, die die ursprüngliche Erklärung erweitern.
2. Ersatz: Eine neue Erklärung, die die ursprüngliche ersetzt.
3. Validierung: Eine Erklärung, die die ursprüngliche bestätigt oder hinterfragt.

Durch die Strukturierung dieser Beziehungen ermöglicht das IFF dynamische Interaktionen zwischen Nutzern und der KI, sodass das Gespräch natürlicher und ansprechender wirkt.

#Erstellung des Erklärungserlebnis-Dialogmodells (EEDM)

Um das IFF in die Tat umzusetzen, haben wir das Erklärungserlebnis-Dialogmodell (EEDM) entwickelt. Das EEDM ist ein Framework, das Gespräche zwischen Nutzern und der KI ermöglicht. Es ist so gestaltet, dass es den Kontext und die Absichten des Nutzers einbezieht.

Das EEDM funktioniert in drei Ebenen:

1. Themenebene: Diese enthält die Diskussionsthemen, mit denen der Nutzer und die KI interagieren können, wie verschiedene Absichten und Erklärungstypen.

2. Dialogebene: Diese Ebene skizziert die Arten von Dialogen, die stattfinden können. Es umfasst den grundlegenden Austausch von Informationen und folgt bestimmten Regeln darüber, wie Gespräche fliessen sollten.

3. Kontrollebene: Diese steuert die Struktur des Dialogs und sorgt dafür, dass er kohärent bleibt und logischen Schritten folgt.

Mit diesem Modell können Nutzer Fragen zu ihren Interaktionen mit der KI stellen und relevante Erklärungen in einem konversationalen Format erhalten.

#Nutzerstudie: Test des Frameworks

Um die Wirksamkeit des IFF und EEDM zu bewerten, wurde eine Nutzerstudie mit einem Szenario zur Kreditgenehmigung durchgeführt. Die Teilnehmer schlüpften in die Rolle von Kreditbewerbern, die mit einem Chatbot interagierten, der Erklärungen basierend auf dem IFF gab.

Die Studie hatte zwei Gruppen von Teilnehmern:

• Gruppe A erhielt nur die empfohlenen Erklärungen.
• Gruppe B interagierte mit dem Chatbot, konnte aber auch Folgefragen stellen, um mehr Informationen zu erhalten.

Die Teilnehmer engagierten sich für etwa 15 Minuten mit dem Chatbot und stellten verschiedene Fragen zu ihren Kreditanträgen.

#Ergebnisse der Nutzerstudie

#Erklärungsszufriedenheit

Am Ende der Interaktion bewerteten die Teilnehmer ihre Zufriedenheit mit den Erklärungen, die sie erhielten. Gruppe B, die Folgefragen stellen konnte, zeigte eine signifikant höhere Zufriedenheit im Vergleich zu Gruppe A. Viele Teilnehmer aus Gruppe B bemerkten, dass die Möglichkeit, zusätzliche Fragen zu stellen und detailliertere Antworten zu erhalten, ihr Verständnis und Vertrauen in das KI-System verbessert hat.

#Engagement in Gesprächen

Die Studie untersuchte auch, wie engagiert die Teilnehmer im Gespräch waren. Teilnehmer, die Folgefragen stellen konnten (Gruppe B), verbrachten mehr Zeit damit, Erklärungen zu erkunden und zeigten eine Bereitschaft, tiefer in die Themen einzutauchen. Im Vergleich dazu neigte Gruppe A dazu, bei ihren ursprünglichen Fragen zu bleiben und nicht weiter zu erkunden.

Das Feedback zeigte, dass die Struktur, die durch Folgefragen bereitgestellt wurde, einen interaktiveren und bedeutungsvolleren Dialog schuf. Die Teilnehmer hatten das Gefühl, mehr Kontrolle über die Interaktion zu haben, was zu einer befriedigenderen Erfahrung führte.

#Qualität des Erklärungserlebnisses

Teilnehmer gaben Freitextfeedback zu ihren Erfahrungen. Gruppe A äusserte oft Frustration über die technische Natur der Erklärungen und identifizierte einen Bedarf an zugänglicherer Sprache und Klarheit. Sie hatten das Gefühl, dass die Erklärungen nicht auf ihre Bedürfnisse zugeschnitten waren und bemerkten, dass sie oft mit mehr Fragen als Antworten aus der Interaktion hervorgegangen sind.

Gruppe B hingegen äusserte positive Kommentare zur Vielzahl der verfügbaren Erklärungen. Sie schätzten den zusätzlichen Kontext und die unterschiedlichen Formate von Informationen (wie visuelle Hilfsmittel), die die Erklärungen ergänzten. Viele bemerkten, dass sie durch mehrere Erklärungen im Zugriff ihr gesamtes Lernerlebnis verbessert hatten und den Entscheidungsfindungsprozess der KI besser verstehen konnten.

#Implikationen und Einschränkungen

Die Ergebnisse dieser Studie zeigen die Wichtigkeit auf, den Nutzern die Möglichkeit zu geben, weiter mit Erklärungen zu interagieren. Das IFF und EEDM zeigen vielversprechende Ansätze, um den Nutzern zu helfen, KI-Entscheidungen klarer zu verstehen, was zu einem insgesamt positiveren Erlebnis führt. Nutzer berichteten, dass sie sich besser informiert und ermächtigt fühlten, wenn sie Folgefragen stellen konnten.

Allerdings identifizierte die Studie auch Bereiche zur Verbesserung. Einige Teilnehmer äusserten, dass die Erklärungen weiter vereinfacht werden könnten, um sie einem breiteren Publikum zugänglich zu machen. Zukünftige Forschungen sollten erkunden, wie Erklärungen basierend auf den unterschiedlichen Vertrautheitsgraden der Nutzer mit KI-Konzepten zugeschnitten werden können.

Darüber hinaus wird die Erweiterung der Studie auf vielfältigere Nutzergruppen und verschiedene Anwendungsfälle helfen, das IFF und dessen Anwendungen weiter zu verfeinern. Durch das Sammeln eines breiteren Spektrums an Feedback können Forscher weiterhin das Framework verbessern und bessere Nutzererlebnisse in KI-Systemen unterstützen.

#Fazit

Das Intent Fulfilment Framework (IFF) bietet einen strukturierten Ansatz zur Schaffung bedeutungsvoller Erklärungen in konversationalen KI. Durch das Verständnis der Absichten der Nutzer und die Unterstützung eines Dialogs, der Folgefragen ermöglicht, können KI-Systeme transparenter und benutzerfreundlicher werden.

Die Studie hebt hervor, dass den Nutzern die Möglichkeit zu geben, nach weiteren Informationen zu fragen, nicht nur ihr Verständnis verbessert, sondern auch das Vertrauen in die KI stärkt. Mit fortlaufender Forschung und Anpassung kann das IFF dazu beitragen, eine Zukunft zu gestalten, in der KI-Systeme nicht nur Antworten liefern, sondern auch ermächtigende Erlebnisse für alle Nutzer bieten.