Sfruttare l'AI per semplificare le discussioni nei corsi

Al college, gli studenti spesso usano le bacheche di discussione per fare domande sui loro corsi. Purtroppo, i professori e gli assistenti possono perdere un sacco di tempo a rispondere a queste domande, specialmente quando ci sono tanti studenti in una classe. Con i recenti miglioramenti nella tecnologia, possiamo usare grandi modelli linguistici (LLM) per aiutare a rispondere a queste domande.

Questo studio esamina un nuovo sistema che aiuta a classificare e rispondere a domande su una bacheca di discussione del corso, suddividendo le domande in parti più semplici. Il sistema utilizza un LLM, in particolare una versione di GPT-3, per categorizzare le domande in quattro tipi principali: concettuali, Compiti, Logistica e non rispondibili. Ogni tipo di domanda ha il suo modo di essere risposto, il che rende il sistema più efficiente.

#Importanza dei Tipi di Domanda

Capire il tipo di domanda è fondamentale per fornire la risposta giusta. Ecco un breve sguardo ai quattro tipi:

1. Domande Concettuali: Queste domande possono essere risposte senza dettagli specifici del corso. Per esempio, "Come scegliamo il tasso di apprendimento?"

2. Domande sui Compiti: Queste richiedono informazioni specifiche dalle istruzioni dei compiti per essere risposte. Un esempio potrebbe essere, "Cosa si intende per z nel Laboratorio 1?"

3. Domande di Logistica: Queste domande necessitano di dettagli dal programma del corso, come, "In quale aula si tiene l'esame di metà corso?"

4. Domande Non Rispondibili: Queste domande richiedono l'aiuto di un istruttore, come, "L'istruttore non è qui. Gli orari di ricevimento sono stati cancellati?"

#Come Funziona il Sistema

Il sistema proposto utilizza un processo in due fasi:

1. Classificazione della Domanda: Il primo passo consiste nel capire a quale tipo appartiene la domanda. L'LLM elabora la domanda e la assegna a una delle quattro categorie.

2. Rispondere alla Domanda: Una volta classificata, il sistema cerca di rispondere o decide di non rispondere. Per le domande che possono essere risposte, si usano diverse strategie a seconda del tipo di domanda. Per esempio, le domande concettuali non richiedono dettagli specifici del corso nella risposta, mentre le domande sui compiti necessitano delle istruzioni rilevanti dagli incarichi.

#Perché Questo È Importante

Questo metodo può aiutare a ridurre il carico di lavoro per gli insegnanti, fornendo comunque risposte tempestive e accurate agli studenti. Se l'LLM riesce a classificare con successo le domande e fornire risposte, può far risparmiare molto tempo agli educatori. Tuttavia, c'è anche un rischio coinvolto. Se il sistema dà una risposta errata, potrebbe confondere gli studenti o aumentare il carico di lavoro per gli insegnanti.

#Risultati dello Studio

I ricercatori hanno valutato il loro sistema di classificazione usando 72 domande da un corso di machine learning di livello avanzato di un semestre precedente. Tre membri dello staff del corso hanno collaborato per categorizzare queste domande nei quattro tipi. In caso di disaccordo, hanno preso l'opinione della maggioranza come classificazione corretta. Su 72 domande, hanno trovato:

• 13 domande erano concettuali
• 34 erano sui compiti
• 8 erano di logistica
• 14 non erano rispondibili

Il modello utilizzato per la classificazione era una versione specifica di GPT-3 nota come text-davinci-003. Dopo i test, hanno scoperto che il loro sistema ha raggiunto un tasso di accuratezza dell'81% nella classificazione delle domande.

#Valutazione del Sistema

I ricercatori hanno esaminato diversi fattori per vedere come influenzassero le prestazioni del sistema:

#Descrizione del Compito

Hanno iniziato fornendo una chiara descrizione su come classificare le domande. Quando hanno incluso questa descrizione, il sistema ha funzionato bene con un'accuratezza dell'81%. Tuttavia, quando l'hanno rimossa, l'accuratezza è scesa al 74%, e usando solo una parte della descrizione si è avuta un'accuratezza ancora più bassa del 72%.

#Numero di Esempi

Per aiutare il sistema a imparare, hanno fornito esempi di domande insieme alle loro classificazioni. Dopo aver testato diversi numeri di esempi, hanno scoperto che usarne 31 ha prodotto la migliore accuratezza.

#Cambiamento nelle Etichette delle Domande

Le prestazioni del sistema di classificazione sono cambiate anche a seconda di come erano etichettati i tipi di domanda. Ad esempio, se rinominavano i tipi con etichette generiche come "a, b, c, d", l'accuratezza è scesa al 70%.

#Rispondere alle Domande Concettuali

Successivamente, i ricercatori si sono concentrati sulla capacità del sistema di rispondere alle domande concettuali. Hanno utilizzato ulteriori 63 domande dall'offerta successiva del corso. In totale, hanno lavorato con 132 domande. I risultati hanno indicato che l'LLM si comportava meglio sulle domande concettuali, come ci si aspettava, dato che questi tipi di domande non richiedono informazioni specifiche del corso.

Per controllare la qualità delle risposte fornite dall'LLM, hanno esaminato diversi metriche confrontando le risposte generate dalla macchina con quelle degli istruttori del corso.

#Valutazione Umana

Gli istruttori hanno esaminato le risposte a 28 domande concettuali del modello etichettandole come "buone" o "cattive". I risultati hanno mostrato che solo circa il 29% delle risposte era considerato buono. I problemi comuni con le risposte cattive includevano:

• Classificazione errata: alcune domande che avrebbero dovuto essere classificate come compiti sono state erroneamente identificate come concettuali.
• Errori fattuali: risposte che erano semplicemente sbagliate o fuorvianti.
• Inappropriatezza: risposte che erano tecnicamente corrette ma non adatte al livello di conoscenza degli studenti.
• Altri problemi includevano incomprensioni della domanda, incoerenza e informazioni non rilevanti.

#Conclusione

Questo studio mostra che usare il prompting decomposto è una buona strategia per classificare e rispondere alle domande degli studenti sulle bacheche di discussione. Il sistema è riuscito a classificare le domande con un'accuratezza dell'81%, ma ha faticato a fornire risposte corrette alle domande concettuali.

Molte risposte errate erano dovute al fatto che il sistema non si allineava con le aspettative degli istruttori del corso. In futuro, i ricercatori suggeriscono di migliorare il modello affinando specificamente con le domande provenienti dalle bacheche di discussione.

Un'area promettente per ulteriori esplorazioni è combinare gli LLM con altre tecniche per migliorare le risposte a domande sui compiti e di logistica. Questo potrebbe portare a un supporto ancora migliore per gli studenti che cercano aiuto nei loro corsi.