Misurare il Coinvolgimento degli Studenti nell'Apprendimento Virtuale

Misurare quanto sono coinvolti gli studenti durante l'apprendimento virtuale è molto importante. Può influenzare la loro soddisfazione, quanto bene apprendono e quanto seguono i loro programmi di studio. Tuttavia, trovare un buon modo per misurare il coinvolgimento può essere difficile. Molti ricercatori stanno esaminando l'uso dell'intelligenza artificiale (AI) e della tecnologia in grado di leggere le emozioni per aiutare in questo compito, soprattutto in contesti naturali e su larga scala.

Questo articolo descrive un modo nuovo e sicuro per misurare il coinvolgimento analizzando video. Usa punti speciali sul viso, chiamati Punti di Riferimento Facciali, che non contengono alcuna informazione personale. Questi punti di riferimento vengono trovati nei video utilizzando uno strumento di deep learning chiamato MediaPipe. Dopo che questi punti di riferimento sono stati identificati, vengono analizzati utilizzando un tipo di AI chiamato Rete Convoluzionale Grafica Spaziale-Temporale (ST-GCN), che aiuta a determinare quanto è coinvolto un aprendiz nel video.

#Perché il Coinvolgimento è Importante

Il coinvolgimento è strettamente legato a quanto attenzione e interesse mostrano gli studenti in un contesto specifico. Non si tratta solo di avere un interesse in anticipo; il coinvolgimento può anche aiutare a creare nuovi interessi attraverso un'attenzione focalizzata. Questo è particolarmente fondamentale negli ambienti educativi, poiché mantenere il coinvolgimento è vitale per comprendere il contenuto insegnato. Tuttavia, misurare e mantenere alto il coinvolgimento può essere una sfida significativa per gli insegnanti, richiedendo molta energia mentale ed emotiva.

Con i progressi in tecnologie come il rilevamento remoto e l'AI, ci sono potenzialità per migliori modi di misurare il coinvolgimento in vari ambienti di apprendimento, compreso l'apprendimento a distanza. Utilizzando strumenti come il riconoscimento delle espressioni facciali, il tracciamento su dove guardano gli studenti e la misurazione dei livelli di stress, gli insegnanti possono monitorare e migliorare il coinvolgimento degli studenti in modo più efficace.

#Componenti del Coinvolgimento

Nella psicologia educativa, il coinvolgimento ha tre parti principali: emotivo, comportamentale e cognitivo.

• Coinvolgimento Emotivo: Questo è legato ai sentimenti che gli studenti hanno verso un compito, come il loro interesse per una materia o le loro reazioni emotive come eccitazione o confusione.
• Coinvolgimento Comportamentale: Questo riguarda quanto attivamente gli studenti partecipano ai compiti di apprendimento. Ad esempio, guardare uno schermo mostra che sono concentrati, mentre giocare con un telefono mostra che sono distratti.
• Coinvolgimento Cognitivo: Questo riguarda quanto gli studenti sono impegnati nell'apprendimento. Include la loro disponibilità ad affrontare sfide e quanto bene comprendono il materiale.

I ricercatori hanno notato che vari segnali possono essere utilizzati per misurare questi tipi di coinvolgimento. Questi includono espressioni facciali, movimenti oculari, postura del corpo, frequenza cardiaca, e anche dati da indizi uditivi o registri computerizzati. Molti di questi segnali possono essere catturati da telecamere, che si trovano comunemente nei computer e negli smartphone usati per le lezioni virtuali. Di conseguenza, i dati video sono diventati un metodo preferito per misurare automaticamente il coinvolgimento degli studenti usando l'AI.

#Misurare il Coinvolgimento

I metodi di misurazione del coinvolgimento possono essere suddivisi in due tipi principali: sistemi end-to-end e sistemi basati su caratteristiche.

• Sistemi End-to-End: Questi sistemi utilizzano modelli di deep learning per analizzare i frame video grezzi senza bisogno di estrarre prima delle caratteristiche. Si basano sulla rete stessa per apprendere quali caratteristiche sono più importanti per misurare il coinvolgimento. Esempi di questi modelli includono Reti Neurali Convoluzionali 3D e varie combinazioni con altre reti neurali.

• Sistemi Basati su Caratteristiche: Questi in genere offrono risultati migliori rispetto ai sistemi end-to-end, ma richiedono più lavoro per identificare quali caratteristiche estrarre dal video. Ciò comporta spesso più modelli complessi di deep learning, portando a maggiori richieste computazionali.

Sebbene i metodi basati su caratteristiche abbiano vantaggi in termini di accuratezza, possono essere pesanti in termini di risorse computazionali e potrebbero richiedere il trasferimento di dati video grezzi ai servizi cloud per l'analisi, il che può comportare problemi di privacy. Al contrario, utilizzare dati più semplici e a bassa dimensione come i punti di riferimento facciali estratti dai video può preservare la privacy pur fornendo abbastanza dettagli per comprendere le emozioni e i comportamenti, incluso il coinvolgimento.

#Metodo Proposto per Misurare il Coinvolgimento

Questo articolo presenta un nuovo approccio per misurare il coinvolgimento basato sull'analisi dei punti di riferimento facciali presi dai video. Questo metodo è progettato tenendo in considerazione la privacy ed è computazionalmente efficiente. I principali contributi di questo lavoro includono:

1. Questa è la prima volta che i punti di riferimento facciali dai video vengono utilizzati per misurare il coinvolgimento usando ST-GCN.
2. Gli ST-GCN sono addestrati in un modo nuovo che considera la natura ordinale del coinvolgimento.
3. I risultati sperimentali su due set di dati mostrano che questo metodo supera le tecniche precedenti.

#Lavori Correlati

Per comprendere meglio il contesto di questa ricerca, è necessaria una revisione degli studi passati sulla misurazione del coinvolgimento basato su video e sulle reti convoluzionali grafiche.

#Studi sulla Misurazione del Coinvolgimento

Molti studi si sono concentrati sulla misurazione del coinvolgimento degli studenti negli ambienti di apprendimento online, spesso utilizzando osservatori esterni per valutare i livelli di coinvolgimento. La maggior parte di questi metodi si è centrata sugli aspetti emotivi e comportamentali del coinvolgimento. Sono stati utilizzati diversi metodi di estrazione delle caratteristiche per analizzare i vari componenti del coinvolgimento.

#Tecniche End-to-End

I ricercatori hanno sviluppato reti di deep learning che possono analizzare video senza richiedere che caratteristiche specifiche siano estratte in anticipo. Questi modelli apprendono direttamente dai dati grezzi e sono strutturati per identificare schemi che indicano il coinvolgimento.

#Tecniche Basate su Caratteristiche

I metodi basati su caratteristiche generalmente comportano l'estrazione di indicatori specifici del coinvolgimento emotivo e comportamentale dai frame video. Queste caratteristiche possono poi essere analizzate con vari modelli di machine learning per determinare i livelli di coinvolgimento. Tuttavia, questi processi possono richiedere molto tempo e necessitare di più fasi di analisi.

#Approcci Basati su Grafi

Studi recenti hanno esplorato l'uso di metodi basati su grafo per analizzare emozioni ed espressioni facciali nei video. In questi metodi, i punti di riferimento facciali vengono utilizzati per creare una struttura grafica che cattura le relazioni tra diverse parti del viso nel tempo. Questo può aiutare ad analizzare gli stati emotivi basati sui movimenti facciali.

#Riepilogo delle Lacune

Nonostante il lavoro esistente nella misurazione del coinvolgimento, pochi studi si sono concentrati specificamente sull'uso dei punti di riferimento facciali e degli ST-GCN per questo scopo. La misurazione del coinvolgimento comporta interazioni più complesse rispetto alle espressioni facciali e richiede un approccio diverso. I metodi per misurare il coinvolgimento devono essere in grado di gestire la variabilità del coinvolgimento nel tempo e riconoscere vari livelli di coinvolgimento, che spesso è strutturato in modo ordinale.

#Metodo Proposto

La tecnica di misurazione del coinvolgimento proposta utilizza campioni video di studenti che partecipano a lezioni virtuali. I punti di riferimento facciali vengono estratti da questi video e analizzati usando ST-GCN per determinare i livelli di coinvolgimento degli studenti.

#Rappresentazione Grafica Utilizzando Punti di Riferimento Facciali

I punti di riferimento facciali sono essenziali per catturare caratteristiche chiave come la direzione dello sguardo e la posizione della testa. I punti di riferimento vengono estratti utilizzando MediaPipe, uno strumento che consente un'elaborazione efficiente dei dati video. Viene costruito un grafo spazio-temporale utilizzando questi punti di riferimento per catturare le loro relazioni attraverso i frame.

#Ragionamento con i Grafi

Viene creata una matrice di adiacenza per definire le connessioni tra i punti di riferimento. Lo ST-GCN utilizza questa matrice per elaborare gli input dai punti di riferimento facciali, applicando operazioni convoluzionali per identificare i livelli di coinvolgimento basati sulle informazioni spaziali e temporali catturate.

#Addestramento e Inferenza

Il modello di misurazione del coinvolgimento viene addestrato utilizzando un metodo che tiene conto della natura ordinata dei livelli di coinvolgimento. Il modello inizia con un approccio di classificazione tradizionale e poi costruisce classificatori ordinali utilizzando il transfer learning. I modelli utilizzano una combinazione di strati congelati e strati aggiunti di recente per classificare i livelli di coinvolgimento in un modo che rispetti la loro natura ordinale.

#Metriche di Valutazione

Diverse metriche vengono utilizzate per valutare quanto bene i livelli di coinvolgimento siano classificati. Per la classificazione multi-classe, metriche come accuratezza e matrici di confusione sono generalmente utilizzate. Per la classificazione binaria, l'accuratezza, insieme a AUC-ROC e AUC-PR, vengono utilizzate per valutare le prestazioni.

#Risultati Sperimentali

Il metodo proposto è stato testato utilizzando due set di dati video progettati per misurare il coinvolgimento degli studenti: il set di dati EngageNet e il set di dati Online SE.

#Set di Dati EngageNet

Il set di dati EngageNet è noto per le sue dimensioni e contiene registrazioni video di molti studenti in lezioni virtuali. È stato annotato con quattro livelli di coinvolgimento: non coinvolto, appena coinvolto, coinvolto e altamente coinvolto. Il metodo ha mostrato un miglioramento significativo rispetto alle tecniche precedenti in termini di accuratezza della classificazione del coinvolgimento, date le sfide uniche del set di dati.

#Set di Dati Online SE

Il set di dati Online SE presenta meno studenti ma fornisce etichette di coinvolgimento binarie. Anche in questo set, il metodo proposto ha raggiunto la massima accuratezza, dimostrando la sua efficacia nel catturare i livelli di coinvolgimento.

#Conclusioni e Direzioni Future

La ricerca ha portato a un nuovo framework che misura efficacemente il coinvolgimento degli studenti attraverso l'analisi video. Sfruttando i punti di riferimento facciali, questo metodo si integra bene nei sistemi di apprendimento virtuale e consente una misurazione del coinvolgimento in tempo reale. I lavori futuri potrebbero concentrarsi sul miglioramento dell'interpretabilità del metodo e sull'esplorazione di strutture ST-GCN avanzate. Ulteriori miglioramenti potrebbero includere l'applicazione di tecniche di aumento dei dati e l'integrazione di ulteriori caratteristiche dai video, come i movimenti delle mani e la postura del corpo, per arricchire l'analisi del coinvolgimento.

#Riconoscimenti

Si ringraziano i laboratori e le istituzioni che hanno fornito risorse preziose e set di dati utilizzati nella ricerca. I loro contributi sono stati cruciali per condurre esperimenti e convalidare il metodo proposto.