Simple Science

Hochmoderne Wissenschaft einfach erklärt

# Computerwissenschaften# Mensch-Computer-Interaktion

KI in der qualitativen Forschung: Vertrauen und Strategien

Die Rolle von KI beim qualitativen Codieren und ihren Einfluss auf das Vertrauen der Nutzer untersuchen.

― 7 min Lesedauer


KI und Vertrauen imKI und Vertrauen imProgrammierender Nutzer.qualitativen Codieren und dem VertrauenUntersuchung der Rolle von KI beim
Inhaltsverzeichnis

Qualitative Forschung spielt eine wichtige Rolle beim Verständnis menschlichen Verhaltens und Erfahrungen, oft durch die Analyse von Daten wie Interviews, Umfragen und offenen Antworten. Ein wesentlicher Teil dieser Analyse ist das qualitative Codieren, ein Prozess, bei dem Forscher Informationen kategorisieren und interpretieren. Mit dem Aufstieg der Künstlichen Intelligenz (KI) gibt es ein wachsendes Interesse daran, wie KI bei dieser arbeitsintensiven Aufgabe des qualitativen Codierens helfen kann.

Dieser Artikel untersucht die Beziehung zwischen menschlichen Nutzern und KI-Systemen bei Aufgaben des qualitativen Codierens. Unser Fokus liegt darauf, wie verschiedene Strategien beim Codieren das Vertrauen und die Abhängigkeit der Nutzer von KI-Vorschlägen beeinflussen können. Wir werden erkunden, wie die Granularität des Codierens, also das Detaillierungsniveau sowohl im analysierten Text als auch bei den zugewiesenen Codes, diese Interaktionen beeinflusst.

Die Bedeutung des qualitativen Codierens

Qualitatives Codieren ist entscheidend, um Rohdaten in handhabbare und analysierbare Segmente umzuwandeln. Es bildet die Grundlage der qualitativen Analyse, die es Forschern ermöglicht, Themen, Muster und Einblicke aus den Daten zu identifizieren. Das Codieren kann jedoch ein zeitaufwändiger Prozess sein, der oft mehrere Durchläufe erfordert, um Genauigkeit und Tiefe sicherzustellen.

Forscher haben begonnen, KI-unterstütztes Codieren zu erkunden, um den Prozess zu optimieren. Diese KI-Systeme können aus vergangenen Codierungsbeispielen lernen und relevante Codes vorschlagen, um den Nutzern bei ihrer Analyse zu helfen. Das Vertrauen und die Abhängigkeit, die Nutzer in diese KI-Vorschläge haben, können jedoch die Effektivität solcher Systeme stark beeinflussen.

Herausforderungen in der Interaktion zwischen Mensch und KI

Während KI wertvolle Möglichkeiten zur Verbesserung der Codierungseffizienz bietet, gibt es Herausforderungen, die aus der Interaktion zwischen menschlichen Nutzern und KI-Systemen entstehen. Ein grosses Anliegen ist das unterschiedliche Mass an Vertrauen, das Nutzer in die KI haben können, was zu einer Unter- oder Überabhängigkeit von diesen Systemen führen kann.

Vertrauen kann von mehreren Faktoren beeinflusst werden, darunter die wahrgenommene Fähigkeit der KI, zuverlässige Codierungsvorschläge zu liefern, die Klarheit der Empfehlungen des Systems und die allgemeine Nutzererfahrung. Nutzer könnten skeptisch gegenüber der Fähigkeit der KI sein, qualitative Analysen genau durchzuführen, und könnten zögern, sich vollständig auf ihre Vorschläge zu verlassen.

Erforschung von Codierungsstrategien

Um zu verstehen, wie verschiedene Codierungsstrategien das Vertrauen und die Abhängigkeit der Nutzer beeinflussen, müssen wir zunächst definieren, was wir mit "Codierungsgranularität" meinen. Dies bezieht sich auf das Detaillierungsniveau, das sowohl bei der Auswahl des zu codierenden Textes als auch bei der Länge der Codes selbst angewendet wird.

Höhere Granularität könnte beinhalten, Daten auf einer detaillierteren Ebene zu analysieren, wie das Codieren spezifischer Phrasen oder Sätze, während niedrigere Granularität umfassendere Kategorien umfassen könnte, die grössere Textabschnitte abdecken.

Unsere Forschung konzentriert sich darauf, wie diese Variabilität in der Codierungsgranularität das Vertrauen der Nutzer in KI-Systeme und ihre Abhängigkeit von KI-generierten Vorschlägen beeinflusst.

Forschungsmethodik

Um den Einfluss von Codierungsstrategien auf Vertrauen und Abhängigkeit der Nutzer zu untersuchen, führten wir eine Reihe von Studien durch, bei denen Teilnehmer mit unterschiedlichen Codierungsaufgaben betraut wurden. Den Teilnehmern wurden verschiedene Ebenen der Textgranularität und der Code-Länge präsentiert, sodass wir beobachten konnten, wie diese Faktoren ihr Codierungsverhalten und ihr Vertrauen in das KI-System beeinflussten.

Die Studien umfassten sowohl qualitative als auch quantitative Methoden. Die Teilnehmer wurden gebeten, Codierungsaufgaben mit und ohne KI-Unterstützung auszuführen, was es uns ermöglichte, ihre Erfahrungen und Einsichten zu vergleichen. Wir sammelten auch Daten über ihre wahrgenommene Vertrauenswürdigkeit der KI-Vorschläge und wie hilfreich sie das System fanden.

Ergebnisse zu Codierungsverhalten

Unsere Studien revealed mehrere interessante Erkenntnisse darüber, wie Codierungsstrategien das Verhalten der Nutzer beeinflussen. Eine bemerkenswerte Einsicht war, dass Teilnehmer dazu neigten, kürzere Codes zu bevorzugen, wenn sie die Möglichkeit hatten. Dieses Verhalten deutet darauf hin, dass Nutzer prägnante Codierungen bevorzugen, die ihren Erwartungen an eine effiziente Datenanalyse entsprechen.

Andererseits wurden längere Codes als hilfreicher wahrgenommen, wenn sie vom KI-System vorgeschlagen wurden. Die Teilnehmer fanden, dass detailliertere Vorschläge ihnen besseren Kontext lieferten, was zu präziseren Codierungsentscheidungen führte.

Interessanterweise beobachteten wir auch Variationen in der Anzahl der von den Nutzern vorgenommenen Auswahlen basierend auf der Granularität der Codierungsaufgabe. Bei Aufgaben, die ein feineres Detail erforderten, neigten die Teilnehmer dazu, weniger Auswahlen zu treffen, verbrachten jedoch mehr Zeit mit Überlegungen zu ihren Entscheidungen. Im Gegensatz dazu führte eine breitere Codierungsaufgabe zu höheren Selektionsraten, da Teilnehmer sich weniger durch spezifische Codierkriterien eingeengt fühlten.

Vertrauen der Nutzer und KI-Vorschläge

Das Vertrauen der Nutzer stellte sich als kritischer Bestandteil der Beziehung zwischen Menschen und KI beim Codieren heraus. Wir fanden heraus, dass die Teilnehmer während einfacherer Aufgaben, bei denen die Codierungsanforderungen weniger anspruchsvoll waren, ein höheres Vertrauensniveau in die KI-Vorschläge zeigten. Im Gegensatz dazu nahm das Vertrauen bei komplexeren Aufgaben ab, die mehr Nuancen und Details erforderten.

Diese Erkenntnis deutet darauf hin, dass Teilnehmer eher bereit waren, sich auf KI-Vorschläge zu verlassen, wenn sie sich im Codierungsprozess sicher fühlten. Herausforderungen traten auf, wenn Nutzer das Gefühl hatten, dass die KI-Vorschläge an Tiefe oder Relevanz mangelten, was zu einem geringeren Vertrauen und reduzierter Abhängigkeit von dem System führte.

Eines der Ziele unserer Studie war es, die Diskrepanz zwischen wahrgenommenem Vertrauen und verhaltenem Vertrauen zu untersuchen. Während die Teilnehmer möglicherweise an die Fähigkeiten der KI glaubten, übersetzte sich das nicht immer in Handlungen, da einige Nutzer die KI-Vorschläge komplett ignorierten.

Die Rolle der Aufgabenschwierigkeit

Die Schwierigkeit einer Codierungsaufgabe spielte ebenfalls eine bedeutende Rolle bei der Gestaltung des Vertrauens und der Abhängigkeit der Nutzer. Wir fanden heraus, dass Aufgaben, die als herausfordernder wahrgenommen wurden, zusätzlichen Zeit- und Arbeitsaufwand erforderten, was wiederum beeinflusste, wie die Teilnehmer mit dem KI-System interagierten.

Zum Beispiel wurden längere Textauswahlen oft als schwieriger angesehen, genau zu codieren. Diese Komplexität könnte bei den Nutzern Frustration hervorrufen, die dann wieder auf die KI für Vorschläge zurückgreifen könnten. Umgekehrt würden einfachere Aufgaben typischerweise zu höherer Teilnahmebereitschaft und einer Bereitschaft führen, Codierungsoptionen unabhängig zu erkunden.

Implikationen für das Design von KI

Unsere Ergebnisse haben wichtige Implikationen für das Design von KI-Systemen, die darauf abzielen, das qualitative Codieren zu unterstützen. Um Vertrauen und Abhängigkeit der Nutzer zu fördern, sollten diese Systeme klare, relevante Vorschläge liefern, die den Erwartungen der Nutzer entsprechen.

Das Design von Funktionen, die es den Nutzern ermöglichen, KI-Vorschläge zu modifizieren und anzupassen, könnte ihre Erfahrung verbessern und das Vertrauen in das System erhöhen. Indem wir den Nutzern mehr Kontrolle geben, kann die KI als hilfreicher Assistent fungieren, anstatt als Autorität aufzutreten, was letztlich die kollaborative Natur der Mensch-KI-Interaktion verbessert.

Fazit

Zusammenfassend hebt unsere Forschung das kritische Zusammenspiel zwischen menschlichen Nutzern und KI-Systemen im qualitativen Codieren hervor. Sie betont die Notwendigkeit eines nuancierten Verständnisses dafür, wie unterschiedliche Codierungsstrategien das Vertrauen und die Abhängigkeit der Nutzer beeinflussen.

Durch das Erkennen der Herausforderungen, die durch unterschiedliche Schwierigkeitsgrade der Aufgaben und die eigenen Codierpräferenzen der Nutzer entstehen, können Designer effektivere KI-unterstützte Tools für die qualitative Analyse erstellen. Letztlich besteht das Ziel darin, Systeme zu entwickeln, die die Nutzer bei ihren Codierungsaufgaben unterstützen und gleichzeitig Vertrauen aufbauen und eine kollaborative Umgebung fördern.

Während sich das Feld der qualitativen Forschung weiterentwickelt, wird die fortlaufende Erforschung der Interaktionen zwischen Mensch und KI entscheidend sein, um sicherzustellen, dass KI-Tools effektiv in Arbeitsabläufe integriert werden, wodurch sowohl die Effizienz als auch die Tiefe der Einblicke verbessert werden. Indem sie ein Gleichgewicht zwischen menschlicher Expertise und KI-Unterstützung anstreben, können Forscher das volle Potenzial der qualitativen Analyse in ihrer Arbeit nutzen.

Originalquelle

Titel: Impact of Human-AI Interaction on User Trust and Reliance in AI-Assisted Qualitative Coding

Zusammenfassung: While AI shows promise for enhancing the efficiency of qualitative analysis, the unique human-AI interaction resulting from varied coding strategies makes it challenging to develop a trustworthy AI-assisted qualitative coding system (AIQCs) that supports coding tasks effectively. We bridge this gap by exploring the impact of varying coding strategies on user trust and reliance on AI. We conducted a mixed-methods split-plot 3x3 study, involving 30 participants, and a follow-up study with 6 participants, exploring varying text selection and code length in the use of our AIQCs system for qualitative analysis. Our results indicate that qualitative open coding should be conceptualized as a series of distinct subtasks, each with differing levels of complexity, and therefore, should be given tailored design considerations. We further observed a discrepancy between perceived and behavioral measures, and emphasized the potential challenges of under- and over-reliance on AIQCs systems. Additional design implications were also proposed for consideration.

Autoren: Jie Gao, Junming Cao, ShunYi Yeo, Kenny Tsu Wei Choo, Zheng Zhang, Toby Jia-Jun Li, Shengdong Zhao, Simon Tangi Perrault

Letzte Aktualisierung: 2023-09-24 00:00:00

Sprache: English

Quell-URL: https://arxiv.org/abs/2309.13858

Quell-PDF: https://arxiv.org/pdf/2309.13858

Lizenz: https://creativecommons.org/licenses/by-nc-sa/4.0/

Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.

Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.

Mehr von den Autoren

Ähnliche Artikel