L'impatto della cattiva riconoscimento del parlato sull'apprendimento con agenti insegnabili

Gli agenti insegnabili sono strumenti che possono aiutare gli studenti a imparare facendoli insegnare a un robot o a un personaggio virtuale. Questo metodo può essere più efficace rispetto al tutoring tradizionale. Tuttavia, quando gli studenti parlano con questi agenti usando la voce, la tecnologia che converte il loro parlato in testo può fare errori. Questi errori, noti come misidentificazione, possono cambiare il flusso della conversazione. Questo studio esamina come questi errori di misidentificazione influenzano l'apprendimento degli studenti e la loro relazione con l'agente.

#Contesto

Quando gli studenti spiegano le cose agli agenti insegnabili, di solito fanno meglio rispetto a quando vengono semplicemente seguiti. L'interazione può avvenire tramite digitazione o parlato, ma parlare è generalmente più veloce e facile per gli studenti. Tuttavia, i sistemi basati sulla voce possono fraintendere ciò che dicono gli studenti. Questo fraintendimento potrebbe portare a un cambiamento nel modo in cui procede la conversazione, il che potrebbe influenzare ciò che gli studenti apprendono e come si sentono riguardo all'agente.

Ricerche precedenti hanno esaminato come questi errori di parlato influenzano l'apprendimento degli studenti. Alcuni studi hanno scoperto che la quantità di misidentificazione non è legata a quanto bene gli studenti apprendono, ma potrebbe influenzare la loro soddisfazione con il sistema che stanno usando. Altri lavori hanno mostrato che gli errori in diverse fasi della conversazione potrebbero non cambiare sempre le risposte del sistema. Questo studio attuale si concentra sulla misidentificazione che influenza direttamente il risultato finale dell'agente insegnabile.

#Tipi di misidentificazione

La misidentificazione può assumere forme diverse. Lo studio le categorizza in tre tipi:

1. Prevenuta: Questo accade quando uno studente non può procedere al passo successivo perché l'agente ha frainteso il suo input.
2. Diversa: Questo succede quando l'agente risponde in modo diverso rispetto a quanto ci si aspettava, suggerendo una soluzione alternativa.
3. Proceduta: Questo è quando l'agente passa inaspettatamente al passo successivo a causa della misidentificazione.

Capire queste categorie aiuta ad analizzare come la misidentificazione influisce sulle interazioni degli studenti e sui loro risultati di apprendimento.

#Design dello studio

In questo studio, 40 studenti universitari hanno partecipato a un esperimento in cui insegnavano a un robot di nome Emma come risolvere problemi di Rapporto tramite dialogo parlato. Gli studenti hanno lavorato da soli o in coppia e hanno interagito con Emma per circa 30 minuti. Dovevano premere un pulsante su un'applicazione web per comunicare con lei. Dopo la sessione, gli studenti hanno sostenuto dei test per valutare il loro apprendimento e quanto bene si sono connessi con Emma.

Il design della ricerca era quasi sperimentale, nel senso che mirava a vedere effetti reali in un ambiente controllato. Gli studenti hanno ricevuto un pre-test per valutare la loro conoscenza prima di insegnare a Emma e un post-test dopo la sessione. Hanno anche compilato un sondaggio sulla loro relazione con il robot.

#Misurazione della misidentificazione nel dialogo

Per valutare come la misidentificazione abbia influenzato il flusso della conversazione, i ricercatori hanno confrontato i contributi parlati reali degli studenti con ciò che l'agente ha capito. Hanno trascritto le affermazioni degli studenti e le hanno inserite nel sistema di dialogo per vedere come Emma risponderebbe tipicamente agli input corretti. Analizzando queste interazioni, hanno misurato la proporzione di turni in cui la risposta dell'agente differiva da quella che avrebbe dovuto essere.

Questo confronto ha aiutato a determinare quanto spesso si verificava la misidentificazione e il suo impatto sull'esperienza di apprendimento complessiva e sulla relazione con l'agente.

#Risultati

L'analisi ha mostrato che non c'era alcun legame significativo tra misidentificazione del dialogo e il rapporto che gli studenti sentivano con Emma o i loro guadagni di apprendimento. Questo risultato suggerisce che gli errori commessi dal sistema di riconoscimento vocale non hanno influito su quanto gli studenti hanno appreso o su come si sono sentiti riguardo al robot.

Tra i tre tipi di misidentificazione, il tipo "Diverso" era il più comune. Tuttavia, nessuno di questi tipi ha mostrato una forte correlazione con i risultati di apprendimento o il rapporto degli studenti. C'era una leggera correlazione negativa tra misidentificazione "Preventiva" e rapporto, suggerendo che quando gli studenti non potevano procedere nella conversazione, questo poteva aver influito in qualche modo sulla loro connessione con l'agente.

#Discussione

Questi risultati indicano che la misidentificazione da parte degli agenti insegnabili non influisce in modo significativo sull'apprendimento o sulla percezione che lo studente ha dell'agente. La ricerca suggerisce che, invece di concentrarsi nel correggere ogni fraintendimento, gli agenti potrebbero beneficiare del passare al passo successivo come se gli input degli studenti fossero ragionevoli.

Questo approccio potrebbe sembrare strano perché potrebbe significare che gli studenti perdono occasioni per correggere i loro fraintendimenti. Tuttavia, ricevere esposizione a risposte corrette e ulteriori problemi potrebbe superare questo problema, poiché le connessioni tra apprendimento e risposte dell'agente non sono state significativamente influenzate dalla misidentificazione.

Questa strategia potrebbe anche contribuire a rendere l'esperienza di apprendimento più inclusiva, poiché può ridurre i fraintendimenti che potrebbero sorgere da diversi accenti e modelli di parlato.

#Limitazioni

Lo studio ha avuto alcune limitazioni. Molti studenti avevano punteggi elevati nei pre-test, il che ha ridotto la capacità di misurare accuratamente i guadagni di apprendimento. La tecnologia utilizzata per il riconoscimento vocale non era tra le migliori disponibili, il che potrebbe aver influenzato i risultati.

Inoltre, il numero ridotto di partecipanti ha limitato la possibilità di analizzare vari fattori in dettaglio, come le demografie o diverse condizioni sperimentali. Queste restrizioni hanno significato che i ricercatori non potevano esplorare completamente come l'osservazione della misidentificazione di un partner potesse influenzare l'apprendimento.

#Conclusione

Questa ricerca ha introdotto nuovi modi per misurare la misidentificazione del dialogo e come questi errori impattino sulle interazioni tra studenti e agenti insegnabili. Lo studio ha concluso che questi problemi di misidentificazione non influiscono significativamente sull'apprendimento degli studenti o sul loro rapporto con l'agente. Questo significa che sviluppare sistemi complessi per ridurre la misidentificazione potrebbe non essere necessario per gli agenti insegnabili.

Lavori futuri possono ulteriormente indagare come questi risultati si applichino a diversi ambienti di apprendimento e vedere come adottare una politica che consenta agli agenti di procedere possa influenzare il rapporto, l'apprendimento e l'engagement.

#Riconoscimenti

I ricercatori hanno apprezzato i feedback dei revisori e il supporto ricevuto da varie fondazioni e dall'università coinvolta nello studio.