I ricercatori valutano pro e contro degli LLM nella ricerca qualitativa
Uno sguardo approfondito sulle opinioni dei ricercatori riguardo all'uso dei modelli linguistici negli studi qualitativi.
Shivani Kapania, William Agnew, Motahhare Eslami, Hoda Heidari, Sarah Fox
― 19 leggere min
Indice
In questa sezione, vediamo come i Ricercatori abbiano interagito con i modelli di linguaggio (LLM). Esploriamo i loro pensieri, sentimenti e osservazioni sull'uso degli LLM come sostituti per i Partecipanti umani. Hanno notato diverse debolezze nell'utilizzo degli LLM nella ricerca. Anche se hanno sconsigliato di fare affidamento esclusivamente sugli LLM per i Dati, hanno riconosciuto alcune situazioni in cui gli LLM potrebbero essere utili, ma con molte avvertenze.
Atteggiamenti dei Ricercatori verso gli LLM
Prima che i ricercatori iniziassero a usare gli LLM, hanno condiviso le loro sensazioni su queste tecnologie. La maggior parte dei ricercatori aveva un mix di dubbio e curiosità. Alcuni partecipanti hanno sottolineato che gli LLM li hanno aiutati con compiti come scrivere e fare brainstorming. Ad esempio, hanno trovato gli LLM utili per individuare parti importanti di una discussione che avrebbero bisogno di più attenzione. Alcuni ricercatori erano aperti a trovare nuovi modi di usare gli LLM, ma li vedevano principalmente come strumenti per studiare come funzionano gli LLM piuttosto che strumenti per capire il comportamento umano.
I ricercatori hanno discusso di cosa mira a raggiungere la ricerca qualitativa. Spesso utilizzavano metafore di distanza per illustrare i loro punti. Una ricercatrice, Alice, ha espresso dubbi sul fatto che usare qualcosa che è lontano dalla vera fonte potesse fornire intuizioni preziose sul comportamento umano. Ha suggerito che potrebbe non aiutare affatto. Jenna ha aggiunto che la forza della ricerca qualitativa deriva dalla sua capacità di catturare esperienze personali uniche.
I ricercatori hanno riflettuto sui loro ambienti di lavoro. Harper, che lavorava nell'industria, si è concentrata sullo storytelling usando dati qualitativi. Ha sottolineato la necessità che i suoi dati siano abbastanza convincenti da guidare il suo team a fare le scelte giuste. Harper ha riconosciuto che, mentre gli LLM potrebbero generare rapidamente Risposte semplici, dubitava che potessero scoprire assunzioni più profonde o dettagli sottili che sono più difficili da esprimere a parole. In generale, i ricercatori erano scettici sull'uso degli LLM ma curiosi su cosa potessero imparare esplorando la tecnologia.
Panoramica dei Dati di Interazione
Quando i ricercatori hanno interagito con il sondaggio, hanno notato che le risposte degli LLM spesso rispecchiavano ciò che avevano sentito dai partecipanti umani. Le idee derivate dagli output degli LLM si allineavano frequentemente con quelle condivise dai loro intervistati umani. Molti hanno trovato le risposte del modello credibili. Ad esempio, Henri ha osservato che alcune risposte degli LLM sulle comunità di anziani corrispondevano a ciò che gli adulti più anziani esprimevano nella sua ricerca. Dopo aver visto risposte simili che corrispondevano ai suoi risultati, Nadia ha pensato a come i suoi metodi di reclutamento, che si basavano sui social media, potessero limitare la cattura di punti di vista da parte di persone che non sono molto attive online, simile all'LLM che impara principalmente dai contenuti online. Anche se non ha trovato errori enormi nei fatti, sentiva comunque che il contesto mancante potesse complicare l'interpretazione dei dati.
Diversi ricercatori hanno commentato il dettaglio nelle risposte degli LLM, che molti hanno attribuito alle istruzioni specifiche che hanno fornito nei prompt. Amir ha detto di essere "impressionato dal livello di dettaglio," mentre Laila ha affermato che gli output "avevano senso" anziché sembrare nonsensical. Tuttavia, non tutti erano soddisfatti. Mario e Rida erano frustrati dall'eccessivo dettaglio. Mario ha sottolineato che c'è una grande differenza tra dettaglio e profondità. Ha spiegato che gli LLM possono fornire molte informazioni senza entrare nel significato più profondo. I ricercatori spesso si sono trovati a dover cambiare il loro approccio alle domande per ottenere risposte più mirate dagli LLM, e non avevano bisogno di costruire un rapporto all'inizio delle interazioni.
Cameron ha trovato inizialmente impressionanti le risposte degli LLM e ha contemplato se questo metodo potesse essere utile nelle sue interviste. Ha creato due diverse descrizioni per le personas per vedere come avrebbe risposto l'LLM. La prima persona era dettagliata riguardo al proprio background: "Immagina di essere una latina di 18 anni del sud-est del Texas appena entrata in una scuola Ivy League." La seconda descrizione era più generale: "Immagina di essere un candidato per il college."
Dopo aver osservato le differenze nelle risposte tra le due personas, Cameron ha notato che la persona più generale presentava una narrativa di qualcuno con ampie risorse e preparazione. Al contrario, la persona più dettagliata evidenziava le sfide legate al background della studentessa latina. Cameron ha sentito che l'LLM sembrava rinforzare stereotipi sugli studenti Ivy League, perdendo di vista i punti di forza che gli individui provenienti da certe comunità portano. Questo l'ha portata a preoccuparsi che la completezza degli output dell'LLM potesse ingannare i ricercatori facendoli pensare di non aver affatto bisogno di partecipanti umani. Ma attraverso il lavoro con le personas, ha riconosciuto che l'LLM tende a riflettere assunzioni sulle comunità piuttosto che esperienze autentiche.
Nel provare diverse descrizioni per i partecipanti, i ricercatori hanno messo in evidenza le sfide di essere troppo dettagliati o non abbastanza dettagliati. Aggiungere meno informazioni nei prompt portava a risposte che si basavano su assunzioni, mentre Nolan, che ha fornito dettagli estesi, ha notato che le risposte del modello semplicemente ripetevano ciò che aveva incluso nella persona, che trovava divertente ma non utile. L'analisi dei dati di interazione ha mostrato casi in cui l'LLM attribuiva caratteristiche specifiche alle identità nelle personas. Ad esempio, una risposta del modello per Esme affermava che essere non binari e neri influenzava la necessità di rappresentanza nei media. Altre risposte, come quella di Nico, trasmettevano come un'Esperienza mista nell'apprendimento remoto provenisse dall'essere un college sophomore di 45 anni. Gli intervistati hanno sottolineato che la tendenza dell'LLM a semplificare le identità potrebbe semplificare eccessivamente la natura sfumata delle esperienze vissute reali.
Limitazioni degli LLM come Partecipanti alla Ricerca
Proseguiamo discutendo le principali limitazioni dell'utilizzo degli LLM per aiutare a comprendere le esperienze umane. Alcuni problemi riguardano lo stile e il significato delle risposte, mentre altri si concentrano su questioni come il consenso e l'autonomia dei potenziali partecipanti. Anche se alcuni di questi problemi possono essere affrontati attraverso una migliore progettazione dei prompt o includendo una gamma più ampia di dati, gli intervistati hanno avvertito che questi aggiustamenti potrebbero compromettere la credibilità del processo di ricerca se i ricercatori sentono il bisogno di "correggere" o dettare le risposte.
Dettagli Limitati nelle Risposte
La chiarezza dei dati qualitativi è essenziale quando si comunicano esperienze di vita reale, comprese persone specifiche, ambienti, eventi e motivazioni che trasmettono esperienze autentiche. Molti ricercatori hanno espresso frustrazione per le risposte degli LLM, vedendole come troppo astratte e distaccate dalla realtà. Hanno notato che raccogliere storie dettagliate dai partecipanti umani richiede abilità e impegno, che il modello spesso non riesce a replicare. Anche se alcuni ricercatori potevano creare prompt che estraevano storie, si sono comunque chiesti se quelle risposte fossero valide. Sophia, che studiava il ruolo della tecnologia nel lavoro delle piattaforme, ha notato come la vaga menzione dell'LLM di un "quartiere pericoloso" mancasse del contesto specifico necessario per analizzare discussioni legate a genere e razza.
I ricercatori hanno anche notato che le risposte degli LLM spesso mancavano della spontaneità e dell'energia presenti nelle vere interviste. Nella loro ricerca, i partecipanti umani a volte si allontanavano dall'argomento, condividendo storie interessanti che aggiungevano profondità. Daria ha condiviso che le risposte degli LLM erano molto focalizzate, mentre i suoi partecipanti condividevano spesso aneddoti personali, come un'auto che si rompeva durante una notte impegnativa, che arricchivano i dati. Rida ha aggiunto che, sebbene i suoi partecipanti raramente offrissero dettagli estesi sulle loro vite quotidiane, nelle interviste rivelavano gradualmente di più sulle loro routine. Tuttavia, gli LLM tendevano a comunicare esperienze in modo formale e distaccato, non riuscendo a catturare la comprensione sfumata spesso presente nelle interviste faccia a faccia. Esme ha evidenziato che le interviste possono essere scambi intimi che una macchina non può replicare, notando un partecipante che ha condiviso un'esperienza personale che era improbabile provenisse da un LLM.
Per i ricercatori che trattano argomenti sensibili, la mancanza di profondità emotiva nelle risposte degli LLM era ancora più evidente. La ricerca di Nadia sulle esperienze degli immigrati coinvolgeva discussioni su traumi e difficoltà, cariche di peso emotivo. Al contrario, le risposte degli LLM venivano descritte come piatte e prive dei sentimenti genuini che emergono nelle interazioni umane. I ricercatori hanno espresso la loro frustrazione quando le uscite degli LLM non riuscivano a esprimere tutta la gamma delle emozioni umane, che è fondamentale per narrare storie complesse dei partecipanti. Alcuni modelli mirano a produrre risposte educate e concordi, portando a una perdita della narrazione dettagliata essenziale nella ricerca qualitativa.
Bias del Ricercatore Amplificato
Quando si simulano partecipanti alla ricerca attraverso gli LLM, i ricercatori hanno un controllo significativo, il che può complicare i loro ruoli nella produzione di conoscenza. Creare personas richiede di fare assunzioni su come potrebbero essere i potenziali partecipanti. I ricercatori devono decidere quali tratti includere, il che influisce direttamente su come il modello risponde. Anche se le interviste tradizionali affrontano anche bias di selezione, utilizzare gli LLM rende queste scelte più visibili e cruciali. I partecipanti hanno espresso preoccupazione che questo potrebbe rafforzare involontariamente i loro bias, poiché i ricercatori potrebbero adattare i loro prompt per adattarsi alle loro aspettative sui dati. Questo rischio di bias di conferma nasce dal poter chiedere agli LLM più volte e ricevere risposte leggermente diverse ogni volta.
I ricercatori hanno sottolineato che la ricerca qualitativa è un processo continuo di creazione di significato. I dati non sono solo pronti per essere raccolti; sono modellati da come i ricercatori interagiscono con le comunità e interpretano ciò che apprendono. Harper, che lavorava con gruppi religiosi, ha notato che la presenza di un ricercatore può influenzare le dinamiche di una comunità. Ha riflettuto su come le sue credenze e attitudini influenzassero il suo approccio alla ricerca. Anche Yue ha menzionato come la loro presentazione potesse influenzare notevolmente le informazioni che i partecipanti fornivano nelle interviste. Che fossero percepiti come persone udenti o qualcuno familiare con la comunità sorda poteva cambiare la profondità delle risposte.
I ricercatori hanno anche notato la differenza tra prospettive insider (emic) e outsider (etic) quando studiavano comunità. Nadia ha sottolineato che se i ricercatori non hanno esperienza personale con un argomento, potrebbero non riconoscere gli stereotipi nei dati. Esme ha descritto questo problema come "scienza paracadutista," dove le esperienze simulate si basano su una comprensione limitata di una comunità. Nikita ha condiviso che avrebbero ricercato solo comunità dove hanno vissuto esperienza, sottolineando l'importanza di provenire dalla comunità studiata.
Al contrario, i ricercatori che fanno parte della comunità possono portare intuizioni preziose per valutare se i dati rappresentano esperienze reali. Tuttavia, utilizzare gli LLM per simulare partecipanti potrebbe portare a incontri che riflettono la loro comunità ma rimangono inaccurati. Nikita ha descritto questa situazione come simile alla "valle inquietante," dove le risposte delle macchine sembrano umane ma sono inquietantemente errate. Laila si è sentita a disagio a leggere le risposte del sistema che cercava di riflettere le sue esperienze e l'ha descritta come "inquietante e disonesta." Questo ha sollevato preoccupazioni su come queste simulazioni potrebbero portare a disagi emotivi e impatti negativi sui ricercatori.
Natura Ambigua degli LLM
I partecipanti ricercatori faticavano a determinare la natura della conoscenza rappresentata nelle risposte degli LLM, incluso se riflettessero un solo punto di vista. Sentivano che le risposte degli LLM spesso combinassero varie prospettive dei partecipanti in una sola risposta. Daria le ha descritte come un "simulacro di storie condivise da persone." Elliot, il cui lavoro esaminava le esperienze dei lavoratori in contesti di gestione, ha notato che il modello mescolava pensieri sia da parte dei lavoratori che della gestione, presentando a volte il punto di vista della gestione come benefici che i lavoratori non vivono realmente. Per capire il contesto più ampio - come retribuzione, conflitti e strutture - Elliot credeva fosse necessario rappresentare accuratamente la conoscenza parziale e situata.
Le uscite degli LLM hanno dimostrato sensibilità alla formulazione usata nei prompt. Daria ha osservato che quando ha cambiato le domande da "problematiche di trasparenza" a "esperienze con le informazioni delle app," il modello ha cambiato tono. I partecipanti hanno sottolineato che piccole variazioni nel linguaggio potevano inclinare le risposte da negative a positive. Questa incoerenza potrebbe compromettere l'affidabilità dei dati qualitativi.
I ricercatori hanno espresso preoccupazioni riguardo alla mancanza di trasparenza riguardo ai dati che addestrano gli LLM. Se l'obiettivo è capire gruppi specifici, la validità delle risposte generate dagli LLM è discutibile se non è chiaro se le voci di quei gruppi siano rappresentate nelle fonti di addestramento. Sophia ha illustrato che le risposte possono differire notevolmente a seconda che il modello abbia appreso da forum di lavoratori o da fonti guidate dalle aziende. Nikita ha menzionato che il contesto è legato al tempo, ponendo domande se il modello riflettesse opinioni attuali o medie del passato. Senza chiarezza sulle fonti dei dati, i ricercatori hanno trovato difficile valutare la veridicità delle uscite degli LLM.
Rischio di Esclusione delle Voci della Comunità
L'uso degli LLM nella ricerca qualitativa rischia di silenziare voci sottorappresentate. Laila, che studiava creatori neri sui social media, ha notato che gli LLM spesso si basavano su stereotipi quando si trattava di determinati argomenti. Ha sollevato preoccupazioni che, sebbene gli LLM potessero catturare sentimenti generali su una comunità, spesso mancassero rappresentazioni autentiche dai suoi membri. Esme ha osservato che le uscite degli LLM includevano temi generali sulla storia nera che non avrebbero risuonato con i creatori neri in contesti specifici.
I ricercatori hanno attribuito queste carenze ai dati di addestramento e ai processi per creare gli attuali LLM. Hanno sentito che la macchina poteva produrre risposte educate ma perdeva le complesse e disordinate realtà delle esperienze umane. Amir ha menzionato che i suoi partecipanti spesso condividevano opinioni forti che potrebbero essere controverse, che gli LLM non riuscivano a replicare. Henri, che studiava i terapisti occupazionali, ha scoperto che, mentre gli LLM potevano presentare "risposte migliori," non riuscivano a catturare le contraddizioni trovate nelle conversazioni reali.
I partecipanti hanno anche notato l'incertezza su come gli LLM generano risposte basate su identità specifiche. Quando venivano assegnate personas legate a identità culturali, etniche o sociali, era spesso poco chiaro se la macchina si basasse su esperienze autentiche o semplicemente su tratti superficiali. I ricercatori si sono chiesti quanto peso dare a un modello che simula una persona e se le sue risposte riflettessero in modo significativo le reali esperienze dei membri all'interno di quel gruppo identitario. Queste riflessioni hanno rivelato disagio con la semplicità di assegnare identità complesse a una macchina priva di esperienze autentiche.
Erosione dell'Autonomia e del Consenso
Simulare il comportamento umano usando LLM solleva importanti questioni etiche riguardanti l'autonomia e il consenso dei partecipanti. Un modo in cui la partecipazione e l'agenzia si manifestano nella ricerca è quando i partecipanti esprimono disaccordo. Gli intervistati hanno condiviso diversi casi in cui i loro partecipanti umani mettevano in discussione le interpretazioni o le parole dei ricercatori. Questo coinvolgimento è cruciale per garantire che i dati raccolti riflettano accuratamente le esperienze dei partecipanti, che possono differire dalle assunzioni iniziali del ricercatore. D'altra parte, i ricercatori hanno notato che gli LLM raramente mostravano opposizione, a meno che non fosse sollecitata. Come ha spiegato Daria, molti partecipanti nei suoi studi avevano le proprie agende, adattando di conseguenza le loro risposte.
Alcuni intervistati hanno espresso frustrazione per la tendenza del modello ad essere d'accordo con i loro punti piuttosto che fornire un feedback onesto. Esme ha paragonato questo a uno scenario di improvvisazione comica in cui i performer concordano con tutto ciò che viene detto dai loro partner, mentre nel suo lavoro le persone spesso la contraddicono. Hugo ha sentito che il modello tendeva a dare la 'risposta preferita' quando si discuteva delle percezioni sui robot nei contesti di assistenza.
I partecipanti umani entrano spesso nelle interviste desiderosi di condividere le loro storie. Il lavoro di Nico sull'apprendimento remoto ha rivelato che molti studenti usavano le interviste come un'opportunità per esprimere il loro malcontento per le loro esperienze. I partecipanti cercavano frequentemente di condividere i loro punti di vista, introducendo i loro termini che Nico adottava poi. Nikita ha sottolineato che preferivano interagire con persone piuttosto che con una macchina che offrisse risposte su questioni delicate.
L'uso degli LLM solleva gravi preoccupazioni riguardo al consenso. Gli LLM potrebbero produrre risposte su argomenti delicati di cui le persone sarebbero riluttanti a discutere, violando confini normalmente rispettati nelle interviste. Sophia ha osservato il disagio di un partecipante nel discutere certi argomenti direttamente, notando che potevano percepire l'esitazione a approfondire. Fare affidamento su un modello addestrato senza consenso dai veri soggetti di dati solleva preoccupazioni etiche, simili ai dibattiti riguardanti l'uso non autorizzato di opere di artisti nell'arte generata dall'AI. Utilizzare gli LLM per derivare risposte basate su ciò che gli individui hanno condiviso online solleva questioni sulla loro autonomia, un principio vitale per la ricerca etica.
Minaccia alla Validità della Ricerca Qualitativa
Gli LLM pongono rischi non solo per l'integrità delle metodologie di ricerca qualitativa ma anche per lo status del lavoro qualitativo nell'accademia. Molti ricercatori hanno condiviso preoccupazioni che la ricerca qualitativa venga frequentemente svalutata, spesso vista come meno rigorosa rispetto ai metodi quantitativi. L'introduzione degli LLM potrebbe ulteriormente marginalizzare gli approcci qualitativi suggerendo che il lavoro approfondito possa essere duplicato dalle macchine e fatto più velocemente.
I ricercatori temevano che gli LLM potessero incoraggiare una mentalità di "tagliare gli angoli." L'uso degli LLM potrebbe ridurre la ricerca qualitativa a mera raccolta di dati, perdendo di vista la natura iterativa e collaborativa più adatta a raccogliere intuizioni sfumate. La ricerca qualitativa è un processo continuo che coinvolge dialogo, riflessione e collaborazione con i partecipanti. Quando i ricercatori interagiscono con le persone nel tempo, creano relazioni durature. Daria, Esme ed Elliot hanno condiviso esperienze di interazioni continue con i partecipanti oltre i progetti formali, indicando l'importanza di queste relazioni nella comprensione di questioni complesse. Quando gli LLM sostituiscono le risposte umane, la natura collaborativa della ricerca qualitativa si sposta verso un approccio più transazionale che estrae dati senza coinvolgimento continuo della comunità.
Un'altra grande preoccupazione tra i ricercatori era che l'uso degli LLM potesse danneggiare la fiducia tra i ricercatori qualitativi e le comunità con cui lavorano. Molti gruppi vulnerabili hanno sviluppato diffidenza nei confronti dei ricercatori che storicamente hanno estratto dati senza fornire supporto. L'introduzione degli LLM potrebbe aggravare questa sfiducia se i ricercatori iniziassero a sostituire i punti di vista dei partecipanti con risposte generate dalla macchina. Yue, che interagisce frequentemente con la comunità sorda, era preoccupata che questa pratica potesse erodere ulteriormente la fiducia nella ricerca, specialmente tra comunità che già sono caute riguardo alla misrepresentation. Ridurre queste voci a output algoritmici mina il valore delle loro narrazioni, rischiando di perdere la fiducia che i ricercatori hanno lavorato duramente per coltivare.
I ricercatori hanno riflettuto su ansie più ampie riguardo al fatto di fare affidamento sugli LLM per la ricerca qualitativa. Per Nikita, utilizzare gli LLM sembrava "distopico," dove, per esempio, le voci transgender potrebbero essere escluse da discussioni importanti mentre la tecnologia distorce le loro esperienze. Cameron ha riassunto queste paure, sottolineando che tali strumenti trascurano le ragioni fondamentali per cui esistono i metodi qualitativi: ottenere dati ricchi e radicati nelle esperienze vissute delle persone. Sebbene gli LLM possano produrre testi fluenti e contestualmente rilevanti, questa produzione manca della profondità e autenticità che sorgono solo dall'interazione diretta con i partecipanti.
Possibili Usi per gli LLM nella Ricerca Qualitativa
Sebbene la maggior parte dei ricercatori abbia espresso disagio nell'usare gli LLM per generare dati di ricerca falsi, alcuni hanno considerato scenari in cui gli LLM potrebbero avere uno scopo. Come esperimento mentale, abbiamo esplorato aree specifiche in cui gli LLM potrebbero essere più efficaci senza sostituire l'interazione diretta. È fondamentale menzionare che non c'era accordo chiaro su nessuno di questi utilizzi tra i partecipanti. Ogni idea veniva also con potenziali svantaggi.
Gli intervistati hanno raccomandato di utilizzare gli LLM per simulare partecipanti in ambienti di apprendimento controllati, dove i rischi sono minori rispetto agli studi effettivi. Questo approccio potrebbe assistere i ricercatori principianti a concentrarsi su aspetti specifici e formulare domande di follow-up. Tuttavia, alcuni hanno sollevato preoccupazioni, notando che sollecitare un LLM è molto diverso dal interagire genuinamente con partecipanti umani. Daria ha menzionato la necessità di sollecitare il modello più volte prima di ricevere risposte dettagliate. I ricercatori hanno sottolineato che padroneggiare gli aspetti emotivi dell'intervista - sia i propri che quelli dei partecipanti - è vitale, il che è difficile da riprodurre usando gli LLM. Jasmine ha avvertito che ricercatori inesperti che usano gli LLM potrebbero sviluppare cattive abitudini, come non riuscire a costruire un rapporto o ignorare segnali non verbali - abilità critiche nelle interviste del mondo reale.
Per molti ricercatori, gli LLM potrebbero, al massimo, assistere nel testare protocolli di interviste, soprattutto quando reclutare partecipanti è difficile. In tali casi, gli LLM potrebbero fungere da sostituti, permettendo ai ricercatori di vedere quali tipi di risposte le loro domande potrebbero generare. Tuttavia, Mario ha avvertito che fare affidamento sugli LLM potrebbe deviare l'attenzione dei ricercatori in modi che non anticipano.
Diversi ricercatori hanno menzionato che la decisione di utilizzare gli LLM dipenderebbe dall'argomento di ricerca e dalle comunità coinvolte. In aree sensibili, come oppressione e discriminazione, alcuni ricercatori hanno suggerito che potrebbero aiutare ad alleviare il peso sui partecipanti reali, mentre altri avvertivano che gli LLM potrebbero ulteriormente diminuire l'autenticità delle esperienze vissute. Nadia ha espresso scetticismo sulla capacità degli LLM di simulare accuratamente esperienze umane complesse, come la navigazione dell'identità di genere o della sessualità al lavoro. Al contrario, ha riconosciuto che alcune comunità, come i gruppi di odio, potrebbero essere troppo rischiose da studiare direttamente, suggerendo che gli LLM potrebbero aiutare a ideare strategie per contrastare l'odio online. Nikita ha ritenuto fosse meglio per i ricercatori collaborare con membri della comunità per sviluppare le competenze necessarie per affrontare argomenti difficili piuttosto che affidarsi agli LLM.
Attraverso questa esplorazione degli LLM nella ricerca qualitativa, diventa chiaro che, sebbene ci sia potenziale per un uso limitato, le importanti limitazioni e le preoccupazioni etiche richiedono anche una considerazione attenta. I ricercatori rimangono diffidenti nel sostituire l'interazione umana genuina con risposte generate dalla macchina, sottolineando il valore di un impegno profondo e sfumato con le persone per capire le loro esperienze.
Titolo: 'Simulacrum of Stories': Examining Large Language Models as Qualitative Research Participants
Estratto: The recent excitement around generative models has sparked a wave of proposals suggesting the replacement of human participation and labor in research and development--e.g., through surveys, experiments, and interviews--with synthetic research data generated by large language models (LLMs). We conducted interviews with 19 qualitative researchers to understand their perspectives on this paradigm shift. Initially skeptical, researchers were surprised to see similar narratives emerge in the LLM-generated data when using the interview probe. However, over several conversational turns, they went on to identify fundamental limitations, such as how LLMs foreclose participants' consent and agency, produce responses lacking in palpability and contextual depth, and risk delegitimizing qualitative research methods. We argue that the use of LLMs as proxies for participants enacts the surrogate effect, raising ethical and epistemological concerns that extend beyond the technical limitations of current models to the core of whether LLMs fit within qualitative ways of knowing.
Autori: Shivani Kapania, William Agnew, Motahhare Eslami, Hoda Heidari, Sarah Fox
Ultimo aggiornamento: 2024-09-28 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2409.19430
Fonte PDF: https://arxiv.org/pdf/2409.19430
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.