Usare l'IA per migliorare il feedback sul lavoro di squadra nell'istruzione

Il Lavoro di squadra è fondamentale in molte scuole e posti di lavoro. In questi contesti, il Feedback dai membri del team aiuta a rendere il lavoro di squadra un successo. Tuttavia, quando ci sono molti team e molti studenti, tenere traccia di tutti i Commenti può essere difficile per gli insegnanti. Questo può rendere complicato vedere dove gli studenti possono migliorare. Per aiutare in questo, abbiamo esaminato l'uso di una tecnologia chiamata intelligenza artificiale generativa, in particolare un modello chiamato ChatGPT, per analizzare i commenti degli studenti sul lavoro di squadra.

#Come può aiutare l'intelligenza artificiale generativa

Il nostro studio mirava a verificare quanto bene ChatGPT possa identificare argomenti nei commenti degli studenti. Avevamo una guida che includeva sia commenti positivi che negativi per aiutare a organizzare il feedback. I risultati del nostro studio hanno mostrato che ChatGPT poteva etichettare correttamente i commenti degli studenti oltre il 90% delle volte. Questa scoperta suggerisce che potrebbe essere uno strumento utile per gli insegnanti per analizzare il feedback sui progetti di gruppo.

#Competenze di lavoro di squadra e la loro importanza

Nell'ambiente lavorativo di oggi, le aziende si concentrano sempre di più sul lavoro di squadra. Molti studi hanno dimostrato che essere in grado di lavorare bene in team è una delle principali competenze richieste dai datori di lavoro. Per questo motivo, le università puntano a insegnare le competenze di lavoro di squadra, poiché sono essenziali per il successo a scuola e nei lavori futuri. Ad esempio, i programmi di ingegneria richiedono agli studenti di lavorare in team, e anche i programmi di business enfatizzano questa competenza.

Insegnare il lavoro di squadra avviene spesso in classi formali. Questo tipo di apprendimento cooperativo aiuta gli studenti a ottenere risultati migliori a livello accademico mentre acquisiscono competenze come il pensiero critico e la motivazione. Inoltre, il lavoro di squadra può creare un ambiente positivo e inclusivo per studenti che spesso vengono trascurati.

Tuttavia, sviluppare le competenze di lavoro di squadra presenta delle sfide. Classi numerose possono rendere difficile per gli insegnanti monitorare i progressi degli studenti e fornire feedback individuali. Può anche essere complicato garantire che tutti i membri del team contribuiscano equamente e gestire la logistica delle attività di gruppo. Possono sorgere problemi quando alcuni studenti non fanno la loro parte e possono verificarsi conflitti tra i membri del team.

#Valutazione tra pari nel lavoro di squadra

Per affrontare i problemi nella dinamica del team, molti esperti raccomandano strategie come le valutazioni tra pari. Queste consentono agli studenti di valutare i loro compagni e di fornire feedback sui contributi reciproci. Tuttavia, gli studenti spesso affrontano sfide quando devono dare valutazioni. Alcuni studenti potrebbero dare punteggi più alti di quanto meritato, mentre altri potrebbero avere difficoltà a notare quando i compagni non fanno la loro parte.

Per migliorare l'affidabilità di queste valutazioni, si incoraggiano gli studenti a commentare i comportamenti di lavoro di squadra dei loro compagni. Forniscono anche feedback costruttivi per aiutare i loro compagni a crescere. Questa pratica incoraggia gli studenti a diventare più consapevoli delle proprie prestazioni e può migliorare la dinamica del team.

#Utilizzo dell'IA per l'analisi

Alcuni studi precedenti hanno esaminato come l'IA possa analizzare i commenti tra pari. Uno studio ha combinato i commenti tra pari con una scala di valutazione per misurare l'efficacia del lavoro di squadra. Un altro studio ha esplorato come i commenti siano cambiati nel tempo durante la pandemia. Hanno scoperto che il feedback spesso includeva sia vantaggi che sfide legate a nuove modalità di insegnamento.

I modelli di IA generativa come ChatGPT possono offrire opportunità per analizzare i dati degli studenti in modo più efficace. Possono identificare temi nei commenti e fornire preziose intuizioni sulle esperienze degli studenti. Tuttavia, ci sono anche sfide nell'utilizzo dell'IA nell'istruzione, comprese questioni relative alla privacy e all'Accuratezza delle informazioni generate dall'IA.

#Il potenziale di ChatGPT

ChatGPT è stato utilizzato in vari ambiti educativi per migliorare l'apprendimento e il coinvolgimento. Può fornire feedback personalizzati e supporto in diverse materie. Gli studi hanno dimostrato che può essere utile nell'istruzione medica, informatica e matematica. Ma, nonostante i suoi successi, ChatGPT ha ancora delle limitazioni, in particolare quando si tratta di fornire feedback specifici agli studenti.

Per questo studio, volevamo vedere quanto bene ChatGPT potesse classificare i commenti di feedback in base a determinati argomenti. Abbiamo impostato due domande principali per la nostra ricerca:

1. Quanto accuratamente ChatGPT corrisponde alle etichette umane nella classificazione dei commenti di feedback?
2. Quanto bene valuta il modello la propria accuratezza di etichettatura?

#Raccolta dei dati

Abbiamo raccolto commenti di feedback da un corso di ingegneria universitario, archiviati dal 2018. In questo corso, gli studenti hanno lavorato in piccoli gruppi per tutto il semestre. A metà semestre, dovevano darsi feedback reciproci sul loro lavoro di squadra. Gli studenti sono stati istruiti a fornire commenti costruttivi e a spiegare le loro valutazioni.

Dopo aver raccolto oltre 10.000 commenti, abbiamo campionato casualmente 200 per il nostro studio.

#Analisi dei dati con ChatGPT

Nella nostra ricerca, ci siamo concentrati su due compiti principali: identificare argomenti nei commenti e controllare l'accuratezza del modello.

#Compito 1: Identificare temi

Innanzitutto, abbiamo esaminato quanto bene ChatGPT potesse identificare i principali argomenti nei commenti degli studenti basandosi su un insieme di categorie fornite. Le categorie includevano feedback sia positivi che negativi sul lavoro di squadra. Abbiamo testato la capacità dell'IA di etichettare correttamente i commenti e poi abbiamo confrontato i suoi risultati con quelli dei valutatori umani.

#Compito 2: Controllare l'accuratezza

Successivamente, abbiamo chiesto a ChatGPT di verificare quanto accurate fossero le sue etichette. L'IA ha valutato se le etichette assegnate fossero corrette su una scala da uno a dieci. Credevamo che questo approccio avrebbe contribuito a ridurre ulteriormente eventuali etichette errate.

#Risultati dello studio

Dei 200 commenti, ChatGPT ha assegnato 282 etichette, a volte dando più etichette a un singolo commento. La nostra analisi ha mostrato che l'IA è stata accurata nell'etichettare l'85% dei commenti. Tuttavia, ha etichettato erroneamente circa il 7% dei commenti ed era incerta sull'8%.

Sebbene l'IA abbia ottenuto buoni risultati complessivamente, a volte ha avuto difficoltà con alcuni commenti, in particolare quando ha applicato male le etichette. Ad esempio, spesso etichettava erroneamente commenti come semplicemente "partecipato a riunioni di gruppo", probabilmente perché sceglieva la prima etichetta disponibile anziché quella più appropriata.

#Esempi di buone e cattive etichette

La maggior parte dei commenti è stata etichettata accuratamente, specialmente quelli semplici in cui gli studenti utilizzavano termini chiari. Tuttavia, l'IA ha trovato difficoltà con commenti più complessi, specialmente quelli che non utilizzavano direttamente le parole delle etichette fornite.

Per i commenti poco chiari, il modello a volte collegava i temi sbagliati, soprattutto quando i sentimenti erano misti. In tali casi, i valutatori umani avrebbero potuto avere una prospettiva più informata.

#Valutazione umana del modello IA

Lo studio ha incluso anche una revisione di quanto bene il modello valutasse la propria accuratezza rispetto alle valutazioni umane. Ci sono state discrepanze in alcune istanze, in cui ChatGPT non era d'accordo con i valutatori umani, indicando un'area di miglioramento per l'affidabilità del modello.

#Conclusione

Il nostro studio mostra che utilizzare modelli di intelligenza artificiale generativa come ChatGPT può aiutare ad analizzare i commenti degli studenti in modo efficace. Con un tasso di accuratezza dell'85%, questo modello può fornire preziose intuizioni sulle esperienze e le dinamiche di lavoro di squadra degli studenti. Tuttavia, mentre ChatGPT può semplificare il processo di revisione, non può sostituire la necessità del giudizio umano, soprattutto quando si tratta di feedback più complessi.

Mentre la tecnologia continua ad avanzare, è importante affinare modelli come ChatGPT per migliorare la loro accuratezza e affidabilità. Implementare dialoghi e meccanismi di feedback più sfumati potrebbe migliorare le loro capacità nei contesti educativi. Facendo così, gli educatori possono comprendere meglio il feedback degli studenti e migliorare l'esperienza di lavoro di squadra in aula, portando infine a migliori risultati educativi.