Bewertung von KI-Assistenten: Herausforderungen und Lösungen

AI-Assistants zu entwickeln, die Gespräche führen können, ist ein Prozess, der viele Schritte und Teile braucht. Die Bewertung und Verbesserung dieser Assistenten ist nicht einfach. In diesem Artikel sprechen wir über die Herausforderungen bei der Beurteilung und Verbesserung von AI-Assistenten, die für Unternehmen gedacht sind, und wie wir diese Probleme angehen. Ausserdem teilen wir einige erste Erkenntnisse und Lektionen, die wir gelernt haben.

#Gesamtstruktur

AI-Assistenten für Unternehmen versprechen, die Arbeit einfacher zu machen, die Produktivität zu steigern und das Nutzererlebnis zu verbessern. Einen erfolgreichen Assistenten zu bauen, bedeutet, ihn immer wieder zu testen und zu verfeinern, wobei die Bewertung und Verbesserung im Mittelpunkt stehen.

Ein Diagramm zeigt den Hauptrahmen eines AI-Assistenten, der für eine Unternehmensdatenplattform erstellt wurde. Dieses System besteht aus verschiedenen Teilen, darunter Machine-Learning-Modelle, die Sprache analysieren. Benutzer interagieren mit dem System durch Gespräche, stellen Fragen und bekommen Antworten basierend auf verschiedenen Datenquellen.

Die Bewertung und fortlaufende Verbesserung eines solchen Systems stehen vor mehreren wichtigen Herausforderungen.

#Wichtige Herausforderungen

1. Metriken: Der Erfolg des AI-Assistenten wird durch Metriken wie Nutzerengagement und -zufriedenheit gemessen, aber diese Metriken zeigen Ergebnisse erst, nachdem der Assistent vollständig gestartet ist. Deshalb ist es wichtig, führende Metriken zu definieren, die helfen können, Verbesserungen zu steuern, bevor der Assistent breit genutzt wird.

2. Daten: Um die Leistung des Assistenten genau zu bewerten, brauchen wir zuverlässige und qualitativ hochwertige Daten. Ein solider Plan zur grossflächigen Datensammlung ist notwendig.

3. Dynamik: In der Realität haben AI-Assistenten viele sich verändernde Teile. Mit der Entwicklung des Assistenten ändern sich auch die Fragen, die die Benutzer stellen. Es ist wichtig zu bedenken, wie sich die Kundenbedürfnisse im Laufe der Zeit wandeln.

4. Menschenzentriertes Design: Ein effektiver AI-Assistent hängt stark von der zugrunde liegenden Technologie und davon ab, wie Nutzer mit ihm interagieren. Die Bewertung der Leistung des Assistenten muss sowohl die technischen Teile als auch die Benutzeroberfläche berücksichtigen.

5. Datenschutz und Sicherheit: AI-Assistenten verarbeiten häufig sensible Benutzerdaten. Es ist entscheidend, sicherzustellen, dass wir das System bewerten, während die Kundendaten geschützt bleiben und unbefugter Zugriff verhindert wird.

Die folgenden Abschnitte werden die Lösungen erklären, die wir zur Bewältigung dieser Herausforderungen vorschlagen, unsere vorläufigen Ergebnisse teilen und die gelernten Lektionen diskutieren.

#Aktuelle Bewertungsmethoden und deren Einschränkungen

Es gibt verschiedene Methoden zur Bewertung von AI-Assistenten, darunter explizites Nutzerfeedback, implizites Feedback basierend auf Nutzeraktionen, Benchmark-Tests gegen etablierte Datensätze und Bewertungen von menschlichen Gutachtern. Obwohl diese Methoden einige Einblicke bieten, haben sie auch Einschränkungen, wenn sie auf AI-Assistenten angewendet werden, die aktiv Verbesserungen suchen.

#Einschränkungen des expliziten Feedbacks

Direktes Feedback von Nutzern zu sammeln, scheint ein unkomplizierter Weg zu sein, um ihre Zufriedenheit zu messen. Allerdings treten dabei mehrere Probleme auf:

• Sparsamkeit: Viele Nutzer hinterlassen überhaupt kein Feedback, was es schwierig macht, die Nutzerzufriedenheit umfassend zu verstehen.

• Repräsentativität: Da Feedback optional ist, kommt es normalerweise von einer kleinen Anzahl von Nutzern. Einige wenige Nutzer dominieren oft das Feedback, was das Verständnis der allgemeinen Nutzerzufriedenheit verzerren kann.

• Mangel an Detail: Das gesammelte Feedback ist oft zu einfach, um spezifische Probleme zu identifizieren, die Aufmerksamkeit erfordern. Obwohl einfache Feedbackformen für die Nutzer leicht sind, verfehlen sie häufig die feinen Details ihrer Erfahrungen.

#Einschränkungen des impliziten Feedbacks

Implizites Feedback stammt aus den Aktionen der Nutzer innerhalb des Systems, bringt aber seine eigenen Herausforderungen mit sich:

• Unklare Präferenzen: Da implizites Feedback nicht direkt angefordert wird, spiegelt es möglicherweise nicht genau die Wünsche der Nutzer wider. Ausserdem ist es oft notwendig, Rauschen aus dieser Art von Feedback herauszufiltern, was kompliziert sein kann.

• Vielfältige Nutzerziele: Nutzer haben zahlreiche Ziele, und die tatsächlichen Aufgaben, die notwendig sind, um diese Ziele zu erreichen, entfalten sich oft erst über einen längeren Zeitraum.

#Einschränkungen von Benchmark-Datensätzen

Öffentliche Benchmark-Datensätze können helfen, AI-Systeme zu bewerten, sind aber oft nicht relevant für spezifische Unternehmensanwendungen. Neue, massgeschneiderte Datensätze zu erstellen, kann zeitaufwändig und arbeitsintensiv sein, mit dem zusätzlichen Problem, dass sich die Verantwortlichkeiten des Assistenten weiterhin entwickeln können.

#Unser Ansatz

Um diese Herausforderungen bei der Bewertung eines AI-Assistenten anzugehen, haben wir ein Rahmenwerk entwickelt, das auf mehreren wichtigen Designentscheidungen basiert.

#Wichtige Designentscheidungen

1. Fokus auf unmittelbare Metriken: Wir konzentrieren uns auf Metriken, die direkt auf Änderungen in der Produktion reagieren. Dieser Ansatz zielt darauf ab, die Produktivität und Zufriedenheit der Nutzer zu verbessern.

2. Metriken mit Nutzererfahrung abgleichen: Nicht alle Fehler beeinflussen die Nutzer gleich. Einige Fehler sind nur kleine Ärgernisse, während andere ernsthafte Konsequenzen haben können. Wir streben an, Metriken zu entwickeln, die diesen Unterschied widerspiegeln.

3. Priorität auf menschliche Bewertungen: Wir glauben, dass menschliches Feedback besser auf die Nutzererfahrungen abgestimmt ist als rein automatisierte Bewertungen. Indem wir qualitativ hochwertige menschliche Bewertungen sammeln, können wir automatisierte Bewertungen später verbessern.

4. Effiziente Nutzung von menschlichen Bewertern: Um Bewertungen zu skalieren, weisen wir einfachere Aufgaben Nicht-Experten zu, während komplexere Analysen Experten vorbehalten sind.

5. Sammlung einer Vielzahl von Metriken: Wir sammeln sowohl allgemeine Leistungsmetriken als auch Metriken für spezifische Komponenten, um ein klareres Bild von der allgemeinen Leistung und Bereichen, die verbessert werden müssen, zu erhalten.

6. Systemweite Verbesserungen: Verbesserungen sollten alle Teile des Assistenten umfassen, von Machine-Learning-Modellen bis hin zur Benutzeroberfläche. Dieser ganzheitliche Ansatz stellt sicher, dass keine mögliche Verbesserung übersehen wird.

#Schweregradbasierte Fehler-Taxonomie

Klare Metriken zu schaffen, die den Nutzerurteilen über Richtigkeit und Nützlichkeit entsprechen, ist eine Herausforderung. Wir haben hohe Fehlerquoten in der frühen Version des Assistenten festgestellt, selbst wenn das Nutzerfeedback positiver schien. Dieser Unterschied in der Wahrnehmung führte zur Schaffung einer Taxonomie für verschiedene Fehlertypen.

Beispielsweise können Fehler wie folgt klassifiziert werden:

• Schweregrad-0 (Sev-0): Fehler, die völlig irreführend sind und das Vertrauen der Nutzer schädigen.

• Schweregrad-1 (Sev-1): Fehler, die ernst sind, aber mit einigem Aufwand wieder behoben werden können.

• Schweregrad-2 (Sev-2): Ärgernisse, die in der Regel leicht durch Umformulieren oder Nachfragen gelöst werden können.

Diese Klassifizierung hilft, unsere Bewertungs- und Verbesserungsbemühungen effektiv zu fokussieren.

#Rahmenwerk für kontinuierliche Verbesserung

Ein Überblick über unser breiteres Bewertungs- und Verbesserungsrahmenwerk umfasst drei Hauptelemente: den Assistenten selbst, ein spezielles Werkzeug zur Annotation und einen separaten Bereich für die Fehleranalyse.

Menschliche Bewertungen treiben diesen Verbesserungsprozess voran. Um sicherzustellen, dass personelle Ressourcen effizient genutzt werden, übernehmen Nicht-Experten die grossflächige Annotation, während Experten die Fehler im Detail überprüfen. Jede Annotation wird von iterativem Design, Pilotstudien und Schulungen profitieren, um hochwertige Ergebnisse sicherzustellen.

Die Fehleranalyse ist entscheidend, um zu bestimmen, wie der Assistent effektiv verbessert werden kann. Fachexperten überprüfen Fehler, erkennen Muster und schlagen Lösungen vor. Verbesserungen könnten Änderungen an der Struktur des Assistenten, UX-Anpassungen oder Anpassungen an den zugrunde liegenden Daten beinhalten.

#Vorläufige Ergebnisse und Beispiele

Obwohl der AI-Assistent noch in der Entwicklung ist, hat das Bewertungsrahmenwerk bereits positive Auswirkungen auf den Fokus und das Design der Verbesserungen gezeigt. Ein Beispiel könnte ein Dashboard sein, das Fehlerquoten und deren Änderungen im Laufe der Zeit anzeigt. Dieses Tool ermöglicht es allen Teammitgliedern, die Auswirkungen von Aktualisierungen und Verbesserungen zu überwachen.

Der Fokus auf die Fehleranalyse hat es dem Team ermöglicht, zu priorisieren, was basierend auf realen Auswirkungen auf die Nutzer behoben werden muss. Wenn zum Beispiel ein bestimmter Fehlertyp das Hauptproblem ist, können wir gezielte Lösungen entwickeln, um dieses Problem anzugehen.

Darüber hinaus kann eine Verbesserung der Erklärung von Antworten das Vertrauen der Nutzer erhöhen. Indem wir den Nutzern helfen, falsche Antworten besser zu verstehen, können wir die Auswirkungen schwerwiegender Fehler verringern und sie in weniger kritische Kategorien verschieben.

#Zukünftige Richtungen

In Zukunft planen wir, unser Bewertungsrahmenwerk weiter auszubauen. Dazu gehört, mehr automatisierte Prozesse zur Bewertung und Analyse von Fehlern zu integrieren. Ausserdem werden wir an proaktiveren Studien arbeiten, um Funktionen zu bewerten, die sich noch in der Entwicklung befinden.

Personalisierung ist auch sehr relevant für AI-Assistenten, da Nutzer aus verschiedenen Hintergründen kommen. Deshalb möchten wir Metriken und Daten erstellen, die auf unterschiedliche Nutzerbedürfnisse abgestimmt sind.

Schliesslich wird es entscheidend sein, die gesamtwirtschaftlichen Auswirkungen des AI-Assistenten in Arbeitsplatzumgebungen durch A/B-Tests zu messen, um zu beurteilen, wie effektiv er Nutzer einbindet und die Produktivität steigert.

Zusammenfassend lässt sich sagen, dass die kontinuierliche Bewertung und Verbesserung von AI-Assistenten für Unternehmen eine herausfordernde, aber essentielle Aufgabe ist. Indem wir uns auf klare Metriken, Nutzererfahrungen und eine breite Sicht auf das System konzentrieren, können wir bessere Lösungen schaffen, die den Nutzern effektiver dienen.