Hier ist der Wizard of Errors: Ein neues Tool für ML-Design

Tools zu designen, die Machine Learning (ML) nutzen, kann knifflig sein, vor allem für Designer, die wissen wollen, wie Nutzer mit diesen Tools interagieren, bevor sie komplett entwickelt sind. Eine gängige Methode, um diese Tools zu testen, ist die Wizard of Oz (WoZ) Methode. Bei diesem Ansatz spielt eine echte Person die ML-Technologie, damit die Designer sehen können, wie Nutzer auf das reagieren, was sie für ein funktionierendes Tool halten.

Ein grosses Problem bei der WoZ-Methode ist, die Fehler zu simulieren, die ML-Modelle machen können. Diese Fehler sind anders als die, die Menschen machen könnten, und sie können die gesamte Nutzererfahrung beeinflussen. Um das zu erleichtern, haben wir ein Tool namens Wizard of Errors (WoE) entwickelt, das Designer dabei unterstützt, ML-Fehler zu simulieren, während sie WoZ-Studien durchführen.

#Warum ML-Fehler simulieren?

Beim Designen von Produkten, die auf ML basieren, ist es wichtig zu überlegen, wie Fehler die Nutzererfahrungen beeinflussen können. Zum Beispiel könnte in einem Tool, das Filme empfiehlt, ein gewisses Mass an Ungenauigkeit akzeptabel sein. In medizinischen Anwendungen, wo Genauigkeit entscheidend ist, könnten selbst kleine Fehler zu grossen Problemen führen. Zu testen, wie Nutzer auf unterschiedliche Genauigkeitsniveaus und Fehlerarten reagieren, kann Designern helfen, später Probleme zu vermeiden.

#Was ist Wizard of Errors?

Wizard of Errors (WoE) ist ein webbasiertes Tool, das es Designern ermöglicht, verschiedene Arten von ML-Fehlern während der Tests der Nutzererfahrungen einzuführen. Es unterstützt WoZ-Studien, bei denen Designer wählen können, ob sie eine korrekte Funktion nachahmen oder einen Fehler basierend auf einer festgelegten Fehlerart simulieren. Diese Schnittstelle ermöglicht es Designern, wertvolles Feedback über potenzielle Nutzerreaktionen auf diese ML-Fehler zu sammeln.

#Arten von ML-Fehlern

In WoE konzentrieren wir uns auf vier Hauptarten von Fehlern, die ML-Modelle machen können. Diese sind:

1. Segmentierungsfehler: Das passiert, wenn das System Teile der Eingabe falsch identifiziert, was zu einer falschen Vorhersage führt.

2. Ähnlichkeitsfehler: Das tritt auf, wenn das System eine Vorhersage macht, die irgendwie mit der richtigen Antwort verwandt ist, aber nicht ganz stimmt.

3. Wilder Fehler: Diese Art von Fehler ist, wenn das System etwas vorhersagt, das völlig irrelevant zur richtigen Antwort ist.

4. Keine-Erkennung-Fehler: Das passiert, wenn das System überhaupt keine Vorhersage gibt.

Mit diesen klaren Kategorien verstehen Designer besser, wie verschiedene Fehler die Nutzererfahrung beeinflussen können, als mit traditionellen Methoden wie Verwirrungsmatrizen.

#Wie WoE funktioniert

Die WoE-Schnittstelle ermöglicht es Designern, eine Studie einzurichten, indem sie eine Liste potenziell korrekter Labels und entsprechender falscher Labels hochladen. Während der Studie können Designer mit den Teilnehmern als der „Zauberer“ interagieren, um zu simulieren, wie sich das ML-Modell verhalten würde. Sie können korrekte Vorhersagen auswählen oder einen der festgelegten Fehlertypen wählen, um zu sehen, wie die Nutzer reagieren.

Die Schnittstelle erlaubt es Designern auch, eine „Zielgenauigkeit“ festzulegen und die Anzahl der Fehler anzupassen, um sicherzustellen, dass die Simulation realistisch wirkt und nützliches Feedback liefert.

#Eine Studie mit WoE durchführen

Um die WoE-Schnittstelle zu testen, haben wir mit einer Gruppe von Designstudenten gearbeitet. Sie sollten die Erfahrung einer smarten Küchenarbeitsplatte simulieren, die Zutaten anhand von Bildern erkennt. Das beinhaltete, Videos von hinzugefügten Zutaten anzuschauen und die WoE-Schnittstelle zu nutzen, um Vorhersagen darüber zu treffen, was diese Zutaten waren.

Die Teilnehmer interagierten mit dem System, indem sie richtige Antworten auswählten oder Fehler simulierten, basierend auf ihrem Verständnis des Gesehenen. Dieser Ansatz half uns, Informationen darüber zu sammeln, ob die Designer die ML-Fehler während ihrer Simulationen genau widerspiegeln konnten.

#Ergebnisse der Studie

#Verständnis von ML-Fehlern

Vor der Nutzung des WoE-Tools hatten die Teilnehmer wenig bis gar kein Wissen über die verschiedenen ML-Fehler. Allerdings lernten sie schnell, wie wichtig diese während der Studie waren. Sie erkannten, dass es entscheidend ist, diese Fehler zu verstehen, um bessere Nutzerinteraktionen zu gestalten. Die Teilnehmer bemerkten, dass die meisten Fehlertypen klar waren, aber Segmentierungsfehler einige Verwirrung stifteten.

#Einfluss von Fehlern auf die Nutzererfahrung

Die Teilnehmer glaubten, dass bestimmte Fehlerarten unterschiedliche Auswirkungen auf die Nutzererfahrung haben würden. Sie dachten, Ähnlichkeitsfehler wären für die Nutzer weniger frustrierend, während andere Fehler zu einem Vertrauensverlust gegenüber dem System führen könnten. Das deutet darauf hin, dass verschiedene Fehlertypen im Designprozess berücksichtigt werden müssen, um die Nutzererfahrungen zu verbessern.

#Herausforderungen beim Nachahmen des ML-Verhaltens

Trotz Erfahrung mit ML hatten die Teilnehmer Schwierigkeiten, das Verhalten eines ML-Modells genau nachzuahmen. Sie konzentrierten sich oft auf logische, menschliche Fehler anstatt das Verhalten eines ML-Systems realistisch zu simulieren. Das zeigt, dass Designer mehr Anleitung benötigen, wenn sie ML-Fehler simulieren, um eine realistische Darstellung zu gewährleisten.

#Vertrauensniveaus in Vorhersagen

Ein weiteres interessantes Ergebnis war, dass die Teilnehmer dazu neigten, korrekten Vorhersagen höhere Vertrauenswerte zuzuweisen. In realen ML-Systemen können Vertrauensniveaus auch hoch für falsche Vorhersagen sein, was zu irreführenden Nutzererfahrungen führen kann. Das legt nahe, dass Designer darauf achten sollten, wie Vertrauenswerte während der Nutzerinteraktionen zugewiesen werden.

#Die Bedeutung von Realismus

Die Teilnehmer betonten, dass es wichtig war, eine realistische Testumgebung zu schaffen, um zu verstehen, wie Nutzer auf verschiedene Fehlerarten reagieren könnten. Sie schlugen vor, eine Bandbreite von Fehlern über verschiedene Phasen des Designprozesses hinweg einzubeziehen, um die Nutzererfahrungen effektiver zu bewerten.

#Einschränkungen und zukünftige Richtungen

Obwohl diese Studie wertvolle Einblicke lieferte, gibt es einige Einschränkungen. Die WoE-Schnittstelle ist für Szenarien konzipiert, in denen Designer die korrekten Antworten genau identifizieren können. Das könnte nicht für alle Arten von ML-Szenarien anwendbar sein.

Zusätzlich umfasste diese Studie eine kleine Gruppe von Designstudenten aus einer Universität, was die Verallgemeinerbarkeit der Ergebnisse einschränken könnte. Zukünftige Forschung sollte darauf abzielen, eine grössere und vielfältigere Gruppe von Teilnehmern einzubeziehen, um diese Ergebnisse zu validieren und zu erkunden, wie WoE in verschiedenen ML-Kontexten über die Bilderkennung hinaus angewendet werden kann.

#Fazit

Das Tool Wizard of Errors (WoE) ist eine nützliche Ressource für Designer, die mit den Komplexitäten der Integration von Machine Learning in ihre Produkte kämpfen. Indem es Designern erlaubt, ML-Fehler zu simulieren, kann WoE wertvolle Einblicke in die Interaktion der Nutzer mit diesen Technologien bieten. Das frühe Verständnis und Testen dieser Fehler im Designprozess kann zu besseren Nutzererfahrungen führen und das Risiko schlecht funktionierender Systeme verringern. Während Designer weiterhin neue Anwendungen für ML erkunden, kann ein Tool wie WoE helfen sicherzustellen, dass sie die Bedeutung von Fehlertypen in ihrer Designarbeit berücksichtigen.