Usare i punteggi Elo per migliorare l'educazione medica

La Conferenza sulla Learning Analytics e Knowledge si tiene ogni anno, riunendo persone interessate a come i dati possano migliorare l'apprendimento. La conferenza offre uno spazio accademico per condividere idee, risultati e buone pratiche legate alla comprensione e al miglioramento delle esperienze educative. Quest'anno, la conferenza si terrà a Kyoto, in Giappone, dal 18 al 22 marzo 2024.

Negli ultimi anni, l'uso di piattaforme di apprendimento digitale è aumentato. Queste piattaforme raccolgono enormi quantità di dati dagli utenti, e i ricercatori stanno cercando modi per analizzare questi dati per capire meglio come apprendono gli studenti. Un metodo che sta guadagnando popolarità è il Sistema di Rating Elo, originariamente creato per classificare i giocatori di scacchi. Questo metodo prevede quanto bene un studente si comporterà in base alla difficoltà delle domande e alle capacità dello studente.

#Il Sistema di Rating Elo

Il sistema di rating Elo funziona stimando la difficoltà delle domande e le capacità degli studenti in base alle loro interazioni. Man mano che uno studente risponde alle domande, il sistema aggiusta i punteggi in base alla performance dello studente. Se uno studente risponde a una domanda correttamente, il suo punteggio di abilità aumenta. Viceversa, se risponde in modo errato, il suo punteggio potrebbe diminuire. Questo consente al sistema di adattarsi in tempo reale, fornendo aspettative di performance accurate.

Usare il sistema di rating Elo in contesti educativi presenta sfide, soprattutto perché le diverse materie possono sovrapporsi nei contenuti, e non tutti gli studenti hanno la stessa preparazione. Uno degli obiettivi principali dell'uso del sistema Elo è fornire un'esperienza di apprendimento personalizzata per ogni studente.

#Dati di Formazione Medica

L'educazione medica è particolarmente adatta per il sistema di rating Elo perché coinvolge una vasta quantità di conoscenze in molte specialità. Ad esempio, gli studenti di medicina apprendono una varietà di argomenti che coprono più aree di competenza. Usando una piattaforma di formazione online, questi studenti possono esercitarsi con numerose domande che sfidano costantemente la loro comprensione.

In questo contesto, ci sono diverse sfide specifiche:

• La base di conoscenze è enorme, coprendo tutto ciò che viene insegnato nelle università di medicina francesi, che include oltre 360 argomenti da varie specialità.
• C'è un enorme database di domande con circa 1,5 milioni di domande. Tuttavia, ogni studente tipicamente risponde solo a un numero ridotto di domande, rendendo i dati molto rari.
• Alcuni studenti interagiscono con la piattaforma regolarmente, mentre altri la usano solo occasionalmente, il che crea modelli di utilizzo dei dati variabili.
• Gli studenti provengono da 42 diverse università, ognuna con il proprio curriculum e ordine di insegnamento.

Date queste complessità, è essenziale combinare tutti questi dati in un modello efficace per la formazione. I ricercatori mirano a sviluppare un sistema che tenga traccia dei progressi degli studenti e adatti le esperienze di apprendimento di conseguenza, affinché ogni studente riceva una formazione personalizzata.

#Obiettivi dello Studio

Lo studio aveva due obiettivi principali:

1. Valutare quanto bene il sistema di rating Elo funzioni in un ambiente di apprendimento complesso nella vita reale.
2. Migliorare l'Accuratezza dei punteggi iniziali, che possono essere difficili quando uno studente interagisce per la prima volta con le domande, poiché i loro background e livelli di apprendimento possono variare.

Per raggiungere questi obiettivi, i ricercatori hanno raccolto dati da studenti di medicina usando una piattaforma di apprendimento digitale. Questi dati hanno fornito una fonte ricca di informazioni per valutare le prestazioni del sistema di rating Elo.

#La Piattaforma di Apprendimento BNE

La piattaforma BNE è una risorsa preziosa per gli studenti di medicina, permettendo loro di esercitarsi e prepararsi per gli esami nazionali. Offre un enorme insieme di domande a scelta multipla su varie specialità mediche, consentendo agli utenti di personalizzare le loro esperienze di apprendimento in base alle loro preferenze.

Nonostante i benefici della piattaforma BNE, le sfide rimangono, in particolare riguardo a come vengono presentate le domande e all'interazione degli studenti con il sistema. La piattaforma raccoglie dati sia dai tentativi di formazione che dagli esami simulati, facilitando l'analisi su come si comportano gli studenti in base al sistema di rating Elo e alla regressione logistica.

#Panoramica dei Dati di Formazione

I dati di formazione coprono un periodo dal 16 settembre 2020 al 14 marzo 2021. Durante questo periodo, oltre 8.600 utenti hanno interagito con più di 350.000 domande in 31 specialità mediche. I dati mostrano che gli studenti in genere hanno tentato le domande solo una volta, risultando in un dataset scarso in cui molte domande non sono state ripetute.

La piattaforma consente anche agli utenti di selezionare specifiche specialità mediche e tipi di domande per la loro formazione, portando a diversi livelli di coinvolgimento con le varie materie. Tuttavia, molti studenti non riprovano le domande, il che rende difficile valutare il loro apprendimento a lungo termine.

#Esame Finale Simulato

L'esame simulato, condotto nel marzo 2021, rispecchiava da vicino il formato dell'esame nazionale. Durante questo esame, gli studenti si sono trovati di fronte a domande nuove, diverse da quelle praticate durante la loro formazione. Questa impostazione è stata cruciale per valutare se gli studenti potessero applicare ciò che avevano appreso a domande sconosciute.

I dati dell'esame simulato hanno confermato un alto livello di coinvolgimento degli utenti, con il numero medio di tentativi per utente che era uno, poiché tentavano ogni domanda solo una volta. Questa caratteristica rifletteva l'enfasi della piattaforma sulla comprensione e sull'applicazione delle conoscenze piuttosto che sulla semplice memorizzazione delle risposte.

#Adattare il Sistema di Rating Elo

Adattare il sistema di rating Elo standard per adattarsi ai dati BNE ha richiesto numerose modifiche per tenere conto delle caratteristiche uniche del dataset. Alcuni cambiamenti chiave includevano:

1. Comportamento di Indovinare: Gli studenti spesso devono indovinare nelle domande a scelta multipla. Il sistema doveva tenere conto della possibilità di indovinare mentre prevedeva se queste domande sarebbero state risposte correttamente.

2. Gestione dell'Incertezza: Il sistema Elo aggiusta naturalmente le stime man mano che gli studenti rispondono a domande. Quando gli studenti iniziano, le loro abilità sono perlopiù sconosciute. Il sistema deve apportare aggiornamenti significativi ai suoi punteggi in base a ciascuna nuova risposta. Man mano che vengono raccolti più dati, la fiducia in queste stime dovrebbe aumentare, risultando in aggiustamenti più lenti nel tempo.

3. Componente di Conoscenza Multi-Tag: Poiché molte domande sono associate a varie specialità, il sistema di rating Elo è stato modificato per tracciare le abilità in più campi. Questa modifica ha fornito una rappresentazione più accurata delle conoscenze e delle esigenze di apprendimento degli studenti.

#Processo di Preparazione dei Dati

Prima di implementare il modello di rating Elo e la regressione logistica sui dati 2020-2021, sono stati adottati diversi passaggi per preparare i dati. Prima di tutto, i ricercatori hanno rimosso eventuali voci duplicate. Hanno anche filtrato gli utenti con meno di 100 interazioni, assicurandosi che solo quelli che hanno interagito attivamente con la piattaforma fossero inclusi.

Inoltre, le domande sono state valutate in base ai loro livelli di interattività. Molte domande sono state rimosse a causa di risposte insufficienti per garantire che i dati di formazione rimanessero robusti.

Una volta stabilite domande e utenti indipendenti, il dataset raffinato includeva oltre 22 milioni di tentativi di oltre 8.600 utenti, consentendo un'analisi completa delle prestazioni dei modelli.

#Metriche di Valutazione

Quando si valutavano le capacità predittive dei modelli, i ricercatori hanno utilizzato varie metriche, tra cui:

• Accuratezza: La capacità dei modelli di prevedere correttamente le performance degli studenti.
• Radice dell'Errore Quadratico Medio (RMSE): Una misura delle differenze tra valori previsti e osservati, che indica quanto siano vicine le previsioni ai risultati reali.
• Area sotto la Curva (AUC): Una statistica che riflette la capacità del modello di discriminare tra risposte corrette e incorrecte.

L'obiettivo era valutare quanto efficacemente il sistema di rating Elo potesse prevedere le performance degli studenti su nuove domande nell'esame simulato basandosi sulla sua storia di dati di formazione.

#Confronto delle Prestazioni

Alla fine, lo studio ha confrontato due versioni del sistema di rating Elo: una senza dati storici precedenti e una inizializzata con stime derivate dalla regressione logistica. I ricercatori hanno anche misurato le performance del modello di rating Elo rispetto alla regressione logistica da sola.

I risultati iniziali hanno mostrato che il sistema di rating Elo inizializzato con dati storici forniva previsioni più accurate all'inizio del periodo di formazione. Tuttavia, entrambi i metodi sono diventati comparabili mentre il tempo passava e i sistemi continuavano a elaborare dati.

Nell'esame simulato, tutti e tre i modelli hanno dimostrato capacità predittive simili, ma il sistema di rating Elo inizializzato con dati storici ha performato leggermente meglio. Questa scoperta suggerisce che partire con una base solida potrebbe migliorare l'affidabilità delle previsioni in tempo reale nei contesti educativi.

#Caratteristiche Uniche dei Dati

Il dataset utilizzato in questo studio ha diverse caratteristiche uniche. Innanzitutto, include una vasta gamma di specialità mediche, ognuna delle quali presenta sfide che richiedono agli studenti di applicare conoscenze concettuali piuttosto che memorizzare a mente.

Inoltre, la piattaforma consente agli utenti di progettare esperienze di apprendimento personalizzate. Questa caratteristica aggiunge complessità ai dati raccolti, poiché vari studenti possono interagire con diversi set di domande in base alle loro specialità e interessi.

Tuttavia, gli studenti possono impegnarsi con vari materiali di apprendimento al di fuori della piattaforma, rendendo difficile per i ricercatori controllare tutte le variabili che influenzano le loro prestazioni.

Nonostante queste complessità, il sistema di rating Elo si è dimostrato capace di fornire previsioni ragionevoli per le performance degli studenti in un ambiente impegnativo.

#Conclusione

I risultati di questo studio evidenziano l'adattabilità del sistema di rating Elo per analizzare e prevedere la performance degli studenti in contesti educativi complessi. Questa ricerca contribuisce alla nostra comprensione di come sfruttare al meglio i dati delle piattaforme di apprendimento digitale e sottolinea l'importanza delle esperienze di apprendimento personalizzate.

Con i continui progressi nella tecnologia e nei metodi di valutazione, il sistema di rating Elo potrebbe giocare un ruolo vitale nel migliorare i risultati educativi in vari scenari di apprendimento. La ricerca futura potrebbe concentrarsi sul perfezionamento ulteriormente di questi modelli e sull'integrazione di metodologie di apprendimento aggiuntive per migliorare la personalizzazione e l'efficacia nell'educazione. L'obiettivo finale rimane quello di creare esperienze di apprendimento su misura che supportino gli studenti nei loro percorsi accademici, pur accogliendo le complessità degli ambienti educativi del mondo reale.