Simple Science

Scienza all'avanguardia spiegata semplicemente

# Informatica# Interazione uomo-macchina

Come gli studenti interagiscono con i chatbot AI nell'istruzione

Lo studio rivela le interazioni degli studenti con ChatGPT durante le domande a scelta multipla.

― 7 leggere min


Il ruolo dell'AIIl ruolo dell'AInell'apprendimento deglistudentile loro prestazioni nei quiz.consigli dei chatbot AI, influenzandoGli studenti spesso sottovalutano i
Indice

Sempre più persone stanno usando chatbot AI come ChatGPT per avere consigli, soprattutto nell'istruzione. Questo articolo esplora come gli studenti interagiscono con ChatGPT mentre rispondono a domande a scelta multipla in vari argomenti. Abbiamo condotto un esperimento con gli studenti per vedere come cambiano le loro risposte in base ai consigli di ChatGPT.

Contesto

Con la crescita della popolarità dei chatbot AI, le risposte degli educatori sono miste. Alcuni sono preoccupati per i furti e il plagio, mentre altri credono che questi strumenti possano fornire un aiuto prezioso nell'apprendimento. In generale, ci sono molte opinioni diverse sul ruolo dell'AI in aula.

Progettazione dello Studio

Nel nostro studio, 118 studenti hanno risposto a 2.828 domande in 25 argomenti diversi. Gli studenti hanno ricevuto risposte da ChatGPT e potevano cambiare le loro risposte originali in base ai consigli dell'AI. Volevamo scoprire quali fattori influenzavano quanto si affidavano a questi consigli.

Fattori Chiave

Dalla nostra ricerca, abbiamo identificato tre fattori principali che hanno influenzato come gli studenti utilizzavano i consigli di ChatGPT:

  1. Familiarità con l'Argomento: Gli studenti che non sapevano molto su un argomento tendevano a fidarsi di più dei consigli di ChatGPT.
  2. Uso Precedente di ChatGPT: Chi aveva già usato ChatGPT in passato tendeva a dare più peso ai suoi consigli.
  3. Precisione Precedente: Se uno studente aveva ricevuto consigli accurati da ChatGPT in precedenza, era più probabile che si fidasse dei suoi attuali consigli.

Processo Sperimentale

Partecipanti

Abbiamo reclutato studenti della Haas School of Business all'UC Berkeley. Gli studenti hanno completato un sondaggio che simulava un ambiente di test dove rispondevano a domande a scelta multipla. Dovevano indicare quanto erano sicuri delle loro risposte prima e dopo aver ricevuto consigli da ChatGPT.

Configurazione del Sondaggio

I partecipanti dovevano superare un controllo di attenzione e sono stati interrogati sul loro livello di comfort con vari argomenti. Hanno ricevuto domande selezionate casualmente, ricevendo consigli da ChatGPT o da un esperto umano, e potevano quindi modificare le loro risposte.

Sistema di Punteggio

Il sistema di punteggio premiava i partecipanti per risposte accurate e calibrava le valutazioni di fiducia. I partecipanti potevano vincere premi in denaro in base alle loro performance nel quiz.

Risultati

Peso del Consiglio

Lo studio ha scoperto che l'identità del consigliere (se fosse stato ChatGPT o un umano) non cambiava significativamente quanto gli studenti si affidassero ai consigli. Tuttavia, il livello di comfort con l'argomento, l'uso precedente di ChatGPT e l'Esperienza hanno giocato un ruolo cruciale.

  • Livello di Comfort: Gli studenti che si sentivano a disagio con un argomento erano più propensi a dipendere dai consigli.
  • Familiarità con l'AI: Per ogni aumento della familiarità con ChatGPT, il peso dato ai consigli aumentava di circa il 5%.
  • Esperienza: Gli studenti con esperienza precedente che credevano che il consiglio fosse accurato tendevano a fidarsi di più.

Sottovalutazione dell'Accuratezza dell'AI

Gli studenti generalmente sottovalutavano quanto fossero accurati i consigli di ChatGPT. Dava oltre il 50% di meno peso ai consigli di quanto avrebbero dovuto, portando a punteggi complessivi più bassi rispetto a quanto avrebbero potuto ottenere.

Performance di ChatGPT

Capacità dei Modelli AI

ChatGPT è costruito su una tecnologia AI avanzata. Gli studi mostrano che questi chatbot possono performare bene in molti test accademici, spesso ottenendo risultati migliori della media degli umani. I chatbot AI si sono evoluti per diventare strumenti efficaci per ottenere informazioni, il che solleva domande sul loro uso in contesti educativi.

Impatto sull'Istruzione

Con i chatbot come ChatGPT che diventano più accessibili, il panorama dell'istruzione sta cambiando. Gli educatori cercano di trovare il giusto equilibrio tra consentire questi strumenti in aula e mantenere l'integrità accademica.

Prospettive Attuali sull'AI nell'Istruzione

Risposte Miste

Le reazioni all'AI nell'istruzione sono divise. Alcuni credono che presenti rischi come il plagio, mentre altri evidenziano il suo potenziale per personalizzare le esperienze di apprendimento. Sta emergendo una letteratura crescente che esplora come vengono ricevuti i consigli dell'AI, e il nostro studio si aggiunge a questa ricerca.

Sfide nella Fiducia nell'AI

Gli studenti spesso faticano a fidarsi dell'AI. Tendono a sovrastimare le proprie abilità e a sottovalutare quelle dei chatbot. Questa miscalibratura influisce sulla loro capacità decisionale e su come interpretano i consigli dati.

Comprendere i Fattori

Distanza Sociale e Familiarità

La nostra ricerca ha esaminato come la percezione della natura umana dell'AI influisce sull'accettazione dei consigli. Gli studenti erano più propensi ad accettare consigli da un chatbot simile a un umano, ma mostravano anche resistenza se l'AI sembrava troppo umana. La familiarità con la tecnologia ha giocato un ruolo significativo nei loro Livelli di Comfort e fiducia.

Difficoltà del Compito

Un altro aspetto critico era come la difficoltà del compito influenzasse l'accettazione dei consigli. I nostri risultati supportano l'idea che di fronte a temi impegnativi, gli studenti si appoggiavano di più ai consigli dell'AI.

Esperienza con Algoritmi

Le esperienze passate con l'AI hanno modellato come gli studenti reagivano ai consigli del chatbot. Chi utilizzava regolarmente i chatbot ha sviluppato un livello di comfort che portava a una maggiore fiducia nei consigli dati.

Importanza delle Giustificazioni

Dare agli studenti motivazioni scritte per i consigli ha migliorato la loro disponibilità a fidarsi. Quando gli studenti ricevevano giustificazioni, erano in grado di comprendere e accettare meglio le raccomandazioni dell'AI, aumentando la loro fiducia complessiva nel sistema.

Limiti del Nostro Studio

Nonostante le intuizioni preziose, questo studio ha alcuni limiti. Il campione era composto principalmente da studenti di business, quindi potrebbe non rappresentare la popolazione studentesca più ampia. Inoltre, le configurazioni AI specifiche e come venivano presentate potrebbero aver influito sui risultati.

Suggerimenti per Ricerche Future

I futuri studi potrebbero beneficiare di un gruppo di partecipanti più diversificato. Analizzare diversi livelli educativi o soggetti potrebbe fornire dati più ricchi su come varie demografie interagiscano con i consigli dell'AI.

Testare Altri Strumenti

Testare altre tecnologie AI parallelamente a ChatGPT potrebbe anche fornire spunti su come diversi tipi di AI influenzino l'apprendimento e la fiducia degli studenti.

Conclusione

I nostri risultati illuminano come gli studenti interagiscono con i chatbot AI come ChatGPT quando prendono decisioni basate sui consigli. I fattori influenti includono familiarità con l'argomento, esperienze passate con l'AI e la presenza di giustificazioni. In generale, gli studenti svalutano i consigli forniti dall'AI, il che può influenzare le loro performance. Man mano che gli strumenti AI diventano una parte più significativa dell'istruzione, capire queste dinamiche sarà essenziale per educatori e studenti.

Ulteriori Discussioni

Le discussioni sull'intersezione tra AI e istruzione continuano a evolversi. Sebbene ci siano vantaggi nell'integrare strumenti AI nell'apprendimento, ci sono anche preoccupazioni riguardo alla dipendenza dalla tecnologia. Gli educatori dovranno adattarsi a questi cambiamenti e creare ambienti dove AI e metodi di insegnamento tradizionali possano coesistere efficacemente.

Implicazioni Pratiche

Man mano che gli studenti si rivolgono sempre più ai chatbot AI per assistenza, è cruciale comprendere la loro interazione con queste tecnologie. Gli studenti devono essere educati su come utilizzare efficacemente questi strumenti e conoscere i loro limiti. Possono essere sviluppati programmi che insegnano agli studenti a valutare criticamente i consigli dell'AI e integrarli in modo significativo nel loro apprendimento.

Pensieri Finali

I chatbot AI come ChatGPT hanno il potenziale di influenzare notevolmente l'istruzione, ma devono essere usati saggiamente. Promuovendo una relazione sana tra studenti e AI, gli educatori possono migliorare i risultati di apprendimento garantendo al contempo l'integrità accademica. È necessaria ulteriore ricerca per esplorare le migliori pratiche per integrare gli strumenti AI nei sistemi educativi, assicurando che sia gli studenti che gli insegnanti possano beneficiare di ciò che questa tecnologia ha da offrire.

Fonte originale

Titolo: Taking Advice from ChatGPT

Estratto: A growing literature studies how humans incorporate advice from algorithms. This study examines an algorithm with millions of daily users: ChatGPT. In a preregistered study, 118 student participants answer 2,828 multiple-choice questions across 25 academic subjects. Participants receive advice from a GPT model and can update their initial responses. The advisor's identity ("AI chatbot" versus a human "expert"), presence of a written justification, and advice correctness do not significantly affect weight on advice. Instead, participants weigh advice more heavily if they (1) are unfamiliar with the topic, (2) used ChatGPT in the past, or (3) received more accurate advice previously. The last two effects -- algorithm familiarity and experience -- are stronger with an AI chatbot as the advisor. Participants that receive written justifications are able to discern correct advice and update accordingly. Student participants are miscalibrated in their judgements of ChatGPT advice accuracy; one reason is that they significantly misjudge the accuracy of ChatGPT on 11/25 topics. Participants under-weigh advice by over 50% and can score better by trusting ChatGPT more.

Autori: Peter Zhang

Ultimo aggiornamento: 2023-06-12 00:00:00

Lingua: English

URL di origine: https://arxiv.org/abs/2305.11888

Fonte PDF: https://arxiv.org/pdf/2305.11888

Licenza: https://creativecommons.org/licenses/by-nc-sa/4.0/

Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.

Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.

Altro dall'autore

Articoli simili