Rilevare imbroglio negli esami online con il framework CHEESE

A causa della diffusione del COVID-19, molti esami si sono spostati online. Questo cambiamento ha sollevato preoccupazioni riguardo ai furti durante queste prove. Per mantenere l'equità, è fondamentale rilevare in modo efficace i comportamenti di cheating. I metodi tradizionali di monitoraggio degli esami potrebbero non catturare tutte le forme di cheating, soprattutto perché molti comportamenti sono sottili e avvengono in visuali limitate.

#Cheating negli Esami Online

Il cheating può avvenire in vari modi durante gli esami online. Ad esempio, uno studente potrebbe avere qualcuno fuori dallo schermo che lo aiuta. Altre forme di cheating includono l'uso di dispositivi non autorizzati o distogliere lo sguardo dallo schermo per cercare risposte. La sfida è rilevare questi comportamenti con visibilità limitata, visto che le webcam catturano solo una piccola area intorno allo studente.

#La Necessità di un Rilevamento Efficace

La rarità degli incidenti di cheating rende difficile raccogliere abbastanza dati per addestrare i sistemi di rilevamento. Inoltre, catturare diverse caratteristiche come la posizione della testa, il movimento degli occhi e lo sfondo può aiutare a riconoscere il cheating, ma spesso è stato trascurato dai ricercatori.

#Il Framework CHEESE

Per affrontare queste sfide, è stato sviluppato un nuovo framework chiamato CHEESE. Questo framework utilizza un metodo noto come Multiple Instance Learning (MIL) per identificare i comportamenti di cheating nelle situazioni d'esame. Combina varie caratteristiche dai video, come la postura del corpo e le espressioni facciali, per analizzare le azioni degli studenti durante i test.

#Componenti del Framework

1. Generatore di Etichette: Questa parte del framework crea etichette per i clip video. Utilizza un metodo chiamato supervisione debole, il che significa che si basa su dati meno dettagliati per guidare l'apprendimento.

2. Codificatore di Caratteristiche: Questa parte raccoglie varie caratteristiche dal video, inclusi lo sguardo e la postura della testa, per aiutare a identificare anomalie.

3. Modulo Grafico Spazio-Temporale: Questo modulo studia come le caratteristiche cambiano nel tempo. Osserva la relazione tra i diversi clip video per aiutare a individuare comportamenti insoliti.

#Raccolta Dati per il Rilevamento

Testare il framework CHEESE ha comportato l'uso di tre diversi set di dati:

1. UCF-Crime: Un ampio set di dati con vari eventi anomali.
2. ShanghaiTech: Un set di dati più piccolo che include video di sorveglianza del campus.
3. Online Exam Proctoring (OEP): Questo set di dati si concentra sugli esami, fornendo uno scenario più realistico per testare CHEESE.

#Come Funziona il Framework

Il processo inizia con l'input video. Il generatore di etichette identifica i clip che potrebbero contenere comportamenti di cheating in base alle loro caratteristiche. Questo avviene senza la necessità di annotazioni dettagliate per ciascun clip, il che è un grande vantaggio.

#Estrazione di Caratteristiche

Utilizzando algoritmi avanzati, vengono estratte diverse caratteristiche dal video, come:

• Sguardo: Determinare dove sta guardando uno studente può indicare se sta cercando risposte.
• Postura della Testa: I movimenti della testa possono segnalare se uno studente sta ricevendo aiuto da qualcuno fuori dallo schermo.
• Azioni Facciali: Alcune espressioni possono riflettere ansia o inganno durante l'esame.

Queste caratteristiche vengono quindi combinate per creare un quadro completo del comportamento dello studente durante il test.

#L'Importanza del Contesto

Riconoscere che eventi anomali spesso accadono all'interno di un contesto specifico è fondamentale. Il modulo grafico spazio-temporale consente al framework di tener conto di questi contesti, catturando la relazione tra i clip nel tempo. Questo migliora l'accuratezza nel rilevare comportamenti di cheating.

#Affrontare l'Imbalance di Classe

Un problema che sorge durante l'addestramento è l'impatto della classe. I comportamenti di cheating sono molto meno frequenti rispetto ai comportamenti normali, rendendo difficile per il modello apprendere in modo efficace. Per combattere questo, il framework incorpora tecniche per bilanciare le classi durante l'addestramento. Regolando i pesi assegnati alle diverse classi, il modello apprende a dare più attenzione agli eventi di cheating rari ma critici.

#Risultati e Valutazione

Testando il framework CHEESE sui tre set di dati, ha mostrato risultati promettenti. Il modello ha raggiunto un punteggio alto nell'Area Sotto la Curva (AUC), indicando la sua efficacia nel distinguere tra comportamenti normali e anomali.

#Performance su Diversi Set di Dati

1. UCF-Crime: Il framework CHEESE ha avuto performance comparabili ad altri modelli esistenti, raggiungendo un punteggio AUC di circa 80.56%.

2. ShanghaiTech: Questo set di dati ha mostrato risultati ancora migliori con un AUC di 90.79%, convalidando ulteriormente l'efficacia di CHEESE.

3. OEP: Più significativamente, il modello CHEESE ha raggiunto un punteggio AUC di 87.58%, confermando la sua robustezza nel rilevare il cheating durante gli esami online.

#Risultati Qualitativi

Controlli visivi degli output di CHEESE hanno rivelato che il framework individua efficacemente momenti specifici di cheating nei video. Le mappe di attivazione delle anomalie hanno mostrato anche dove il modello ha focalizzato la sua attenzione, permettendo una comprensione più profonda di come prende decisioni.

#Conclusione

Il framework CHEESE rappresenta un notevole progresso nel rilevare comportamenti di cheating negli esami online. Sfruttando caratteristiche multi-modali e integrando metodi di apprendimento che affrontano le sfide dei dati video, il framework migliora la capacità di mantenere equità nell'istruzione, specialmente in questi tempi senza precedenti. Futuri miglioramenti potrebbero coinvolgere la raccolta di dati più diversificati e l'integrazione di ulteriori fonti di informazioni per affinare ulteriormente le capacità di rilevamento.