Werkzeuge für die datenbasierte Analyse mit LLM entwickeln

Grosse Sprachmodelle (LLMs) sind Computerprogramme, die dafür entwickelt wurden, menschliche Sprache zu verstehen und zu erzeugen. Sie können viele Aufgaben erledigen, einschliesslich Datenanalyse. Allerdings haben LLMs oft Schwierigkeiten mit spezifischen Aufgaben, die bestimmten Bereichen wie Medizin oder Finanzen zugeordnet sind. In diesem Artikel geht es darum, wie wir Werkzeuge entwerfen können, die LLMs speziell für diese Bereiche nutzen, wobei der Fokus darauf liegt, wie Nutzer mit den Werkzeugen interagieren und wie viel Kontrolle sie über den Prozess haben.

#Hintergrund

In den letzten Jahren haben LLMs gezeigt, dass sie bei allgemeinen Aufgaben sehr nützlich sein können, wie Schreiben, Fragen beantworten oder Code erstellen. Viele Menschen und Unternehmen fangen an zu erkunden, wie diese Modelle bei Programmierung und Datenanalyse helfen können. Werkzeuge wie Github Copilot und ChatGPT haben viel Aufmerksamkeit bekommen, weil sie Entwicklern helfen, schneller und zufriedener zu arbeiten.

Allerdings sind diese Modelle zwar gut bei allgemeinen Aufgaben, verstehen aber nicht immer die detaillierten Informationen, die für spezifische Jobs erforderlich sind. Zum Beispiel kann die in der Datenanalyse verwendete Information sehr komplex sein und erfordert ein tiefgehendes Verständnis des Fachgebiets. Diese Lücke bedeutet, dass wir sorgfältig darüber nachdenken müssen, wie wir Werkzeuge entwerfen, die am besten mit diesen Modellen in bestimmten Bereichen funktionieren.

#Entwurf von fachspezifischen Werkzeugen

Wir haben uns mit dem Entwurf von Werkzeugen befasst, die LLMs für spezifische Aufgaben der Datenanalyse in verschiedenen Bereichen nutzen. Wir haben uns auf zwei Hauptaspekte konzentriert: wie Nutzer mit den Werkzeugen interagieren und welche Kontrolle die Nutzer über den Prozess haben.

#Nutzerinteraktion

Wenn Nutzer mit KI-gestützten Werkzeugen interagieren, können sie entweder offene oder strukturierte Interaktionen wählen. Offene Werkzeuge erlauben es Nutzern, frei Fragen zu stellen oder Hilfe anzufordern, während strukturierte Werkzeuge die Nutzer durch eine vordefinierte Reihe von Schritten führen. Wir haben zwei Prototypen erstellt, um diese unterschiedlichen Interaktionsstile zu testen.

• Hohe Eigenverantwortung: Bei diesem Werkzeug haben die Nutzer viel Freiheit, wie sie interagieren. Sie können Fragen auf ihre eigene Weise stellen und haben die volle Kontrolle über den Analyseprozess.

• Niedrige Eigenverantwortung: Dieses Werkzeug leitet die Nutzer Schritt für Schritt durch die Analyse und bietet ein strukturierteres Erlebnis. Nutzer haben weniger Flexibilität, aber bekommen mehr Anleitung.

#Nutzerautonomie

Nutzerautonomie bezieht sich darauf, wie viel Kontrolle die Nutzer im Prozess haben. In unserer Studie wollten wir herausfinden, wie sich das Mass an Autonomie auf das Nutzererlebnis auswirkte. Mit dem Werkzeug mit hoher Eigenverantwortung hatten die Nutzer das Gefühl, freier erkunden zu können, fanden es aber manchmal überwältigend. Im Gegensatz dazu bot das Werkzeug mit niedriger Eigenverantwortung mehr Anleitung, was manchmal dazu führte, dass sich die Nutzer eingeschränkt fühlten.

#Methodik

Um zu verstehen, wie Nutzer mit diesen Werkzeugen interagierten, führten wir Interviews mit neun Datenwissenschaftlern durch. Sie arbeiteten an fachspezifischen Aufgaben mit beiden Prototypen, und wir beobachteten ihre Erfahrungen und sammelten Feedback.

#Interviewprozess

Die Interviews bestanden aus drei Teilen:

1. Vorstudieninterview: Wir fragten die Teilnehmer nach ihren Erfahrungen in der Datenanalyse, einschliesslich, wie sie Ergebnisse Kollegen und Interessengruppen präsentieren.

2. Aufgabenbearbeitung: Die Teilnehmer erledigten zwei spezifische Aufgaben der Datenanalyse mit beiden Werkzeugen, während sie laut über ihre Erfahrungen nachdachten.

3. Feedbacksitzung: Nach dem Abschluss der Aufgaben teilten die Teilnehmer ihre Gedanken zu beiden Werkzeugen mit und diskutierten, was ihnen gefiel und was nicht.

#Wichtige Erkenntnisse

Unsere Studie hat mehrere wichtige Einblicke in die Nutzererfahrungen mit LLM-gestützten Werkzeugen zur Datenanalyse revealed.

#Wahrnehmung der LLM-Ausgaben

Die Nutzer waren insgesamt mit den Ausgaben der LLMs für die Datenanalyse zufrieden, hatten aber einige Bedenken:

• Qualität der Ausgaben: Die Teilnehmer schätzten es, einen Ausgangspunkt für ihre Arbeit von den LLMs zu bekommen, bemerkten aber, dass der generierte Code manchmal Fehler enthielt.

• Vertrauen und Überprüfbarkeit: Die Nutzer äusserten Bedenken hinsichtlich der Ausgaben und hatten oft das Gefühl, sie müssten die Ergebnisse unabhängig überprüfen. Dieses mangelnde Vertrauen kam davon, dass sie nicht wussten, wie das LLM zu seinen Schlussfolgerungen kam.

• Bedarf an Erklärungen: Die Nutzer wollten klare Erklärungen darüber, wie das LLM seine Ausgaben formulierte. Sie fühlten sich oft verwirrt, wenn sie die Argumentation hinter den Ergebnissen nicht verstanden.

#Auswirkungen der Interaktionsmodi

Verschiedene Interaktionsmodi beeinflussten das Verhalten der Nutzer:

• Im Setting mit hoher Eigenverantwortung fügten die Nutzer oft detailliertere Informationen hinzu, um dem LLM zu helfen, ihre Bedürfnisse zu verstehen. Dieser Prozess war für einige mühsam, da sie sich dabei ertappt fühlten, Notizen oder Kontexte aufzuschreiben, bevor sie mit dem Werkzeug interagierten.

• Im Setting mit niedriger Eigenverantwortung verliessen sich die Nutzer auf die strukturierte Anleitung des Werkzeugs, was manchmal ihre Fähigkeit einschränkte, detaillierte Kontexte bereitzustellen. Das führte dazu, dass sie einen geradlinigeren Ansatz beim Eingeben von Daten wählten.

#Fehlerbehandlung

Bei Fehlern gingen Nutzer mit hoher Eigenverantwortung aktiv daran, die Probleme selbst zu diagnostizieren. Sie kopierten oft Fehlermeldungen und suchten Feedback vom LLM. Im Gegensatz dazu waren Nutzer mit niedriger Eigenverantwortung weniger proaktiv und verliessen sich darauf, dass das Werkzeug Fehler automatisch verwaltete, was manchmal dazu führte, dass sie wichtige Schritte zur Fehlersuche übersahen.

#Designempfehlungen

Basierend auf unseren Erkenntnissen schlagen wir mehrere Empfehlungen für die Gestaltung von LLM-gestützten Werkzeugen für die Datenanalyse vor:

#Strukturierte Interaktion

Während offene Interaktion populär geworden ist, gibt es einen erheblichen Wert in strukturierten Workflows, die Nutzer durch Aufgaben führen. Werkzeuge, die beide Stile kombinieren, können das Nutzererlebnis verbessern. Entwickler sollten in Betracht ziehen, ein System zu implementieren, in dem Nutzer zwischen einem geführten Prozess und offener Erkundung wählen können.

#Eigenverantwortung bei der Ausführung

Die Teilnehmer zeigten Interesse daran, die Kontrolle über die Ausführung von Prozessen zu behalten. Nutzern die Möglichkeit zu geben, Code oder Analysen vor der Ausführung zu ändern, kann ihr Erlebnis verbessern. Darüber hinaus kann die Automatisierung häufiger Datenvorbereitungsaufgaben Zeit für die Nutzer sparen, sodass sie sich auf komplexere Analysen konzentrieren können.

#Planungsebene der Nutzerautonomie

Während die Nutzer die Unterstützung bei der Ausführung schätzten, äusserten sie Bedenken hinsichtlich der Planungshilfe, die von den LLMs angeboten wurde. Werkzeuge sollten Vorschläge und Ideen liefern, während die endgültige Entscheidungsbefugnis bei den Nutzern verbleiben sollte. Dieses Gleichgewicht kann dazu beitragen, Vertrauen und Zuversicht in das System aufzubauen.

#Fazit

Unsere Forschung hebt das Potenzial von LLMs bei der Unterstützung spezifischer Aufgaben der Datenanalyse hervor, während sie die Bedeutung von Interaktionsstilen und Kontrollniveaus betont. Indem wir verstehen, wie Nutzer mit diesen Werkzeugen interagieren, können Designer effektivere KI-gestützte Anwendungen entwickeln, die ihren Bedürfnissen gerecht werden.

Die Studie eröffnet Möglichkeiten für weitere Forschungen zur Verbesserung der LLM-Integration in verschiedenen spezialisierten Bereichen und betont die Notwendigkeit von Transparenz, Vertrauensbildung und anpassbaren Interaktionsdesigns. Zukünftige Entwicklungen sollten die unterschiedlichen Hintergründe und Fähigkeiten der Nutzer berücksichtigen, um Werkzeuge zu schaffen, die nicht nur effektiv, sondern auch einfach zu bedienen sind.

Durch sorgfältiges Design können wir sicherstellen, dass LLM-gestützte Datenanalysen ein wertvolles Asset für Fachleute in verschiedenen Bereichen werden, sodass sie effizientere und genauere Ergebnisse erzielen können.