Introducendo SyllabusQA: Un Nuovo Dataset per la Logistica dei Corsi

Assistenti insegnanti automatizzati e chatbot possono aiutare i prof a gestire il loro carico di lavoro, soprattutto con domande ripetitive sulla logistica del corso. Questo è importante per gli studenti, ma può essere noioso per gli insegnanti. Tuttavia, le preoccupazioni sulla privacy significano che ci sono pochi dataset disponibili per la ricerca.

Presentiamo SyllabusQA, un dataset gratuito che include programmi di corsi reali di vari indirizzi. Contiene domande e risposte relative alla logistica del corso, che variano per tipo e formato. Poiché molte domande sulla logistica comprendono informazioni chiave come le date degli esami, controllare l'accuratezza delle risposte è fondamentale. Testiamo diversi metodi usando modelli di linguaggio ampi per vedere quanto bene rispondono a queste domande.

Sebbene questi modelli si comportino bene su misure tradizionali di somiglianza testuale, faticano ancora a eguagliare gli esseri umani quando si tratta di fornire fatti corretti. Nell'istruzione, l'IA ha mostrato potenzialità dando feedback immediati agli studenti e organizzando sessioni di tutoraggio. L'idea principale è creare assistenti insegnanti virtuali che possono aiutare molti studenti contemporaneamente. Possono prendersi in carico compiti ripetitivi, permettendo agli insegnanti di concentrarsi su feedback personalizzati e sviluppo di nuovi contenuti.

Un'area in cui l'IA può aiutare è rispondere a domande relative alla logistica. Queste sono domande sui dettagli delle lezioni che si possono spesso trovare nel syllabus. Sono stati usati vari metodi per la risposta automatica a domande (QA) nei corsi online, da sistemi basati su regole alla generazione di testi completi. Recentemente, i modelli di linguaggio ampi hanno mostrato potenziale nel migliorare sia la portata che la qualità delle risposte rispetto ai metodi più vecchi. Tuttavia, la maggior parte di questo sviluppo è avvenuta utilizzando dati privati per ragioni di privacy, il che limita ulteriori ricercatori nel contribuire a quest'area.

Quando si tratta di valutare il QA, specialmente per la logistica, l'accuratezza delle risposte è più critica di quanto sia simile il testo. Ad esempio, se una risposta dice: "L'esame finale sarà il 15 dicembre", ma la data corretta è "14 dicembre", questo errore fattuale potrebbe essere problematico per gli studenti.

Gli insegnanti umani di solito danno risposte semplici senza informazioni aggiuntive. Quindi, è fondamentale che le risposte generate dall'IA siano sia concise che accurate. In questo lavoro, presentiamo il dataset SyllabusQA per la QA relativa alla logistica del corso. Abbiamo in programma di rendere disponibile pubblicamente questo dataset, puntando a farne un benchmark per future ricerche nel supporto all'insegnamento automatizzato.

#Raccolta del Dataset SyllabusQA

Abbiamo messo insieme SyllabusQA per affrontare alcuni limiti riscontrati nei dataset attuali.

#Syllabi di Origine

I materiali principali per questo dataset sono syllabus di corsi anonimizzati, che formano la base per le coppie QA. Abbiamo raccolto syllabus unici da insegnanti di varie università in tutto il mondo, coprendo livelli sia di laurea triennale che magistrale. Le materie variano da scienze e ingegneria a umanità e business.

Per mantenere la privacy, abbiamo rimosso informazioni identificabili sugli insegnanti e sugli assistenti. Ogni syllabus ha un numero variabile di pagine e formati diversi, tra cui elenchi, tabelle e programmi. Questa diversità rende i compiti di QA particolarmente impegnativi, poiché richiede tecniche come il parsing e il recupero di informazioni.

#Progettazione del Dataset

Ci siamo assicurati di includere una varietà di tipi di domande che vengono frequentemente poste dagli studenti. Abbiamo diverse categorie di domande, con esempi reali per ciascuna:

• Sì/No: Domande che richiedono una semplice risposta sì o no, come "C'è una sezione di laboratorio separata per questa lezione?"
• Fattuale Singolo: Domande che richiedono un fatto chiaro dal syllabus, es. "Quali sono gli orari di ricevimento?"
• Fattuale Multiplo: Domande che necessitano di più fatti combinati, es. "Quale software viene usato in questa lezione?"
• Ragionamento a Passo Singolo: Domande che necessitano di un passo di ragionamento, es. "Non ho fatto Biologia Avanzata. Posso fare questo corso?"
• Ragionamento a Passi Multipli: Domande che necessitano di più passi di ragionamento, es. "Posso iniziare il corso sei settimane dopo e ottenere comunque un A?"
• Sintesi: Domande che richiedono un riassunto da varie sezioni del syllabus, es. "Puoi spiegare come vengono calcolati i voti di partecipazione?"
• Avversariali: Domande che non possono essere risposte a causa della mancanza di informazioni, es. "Posso contattare l'insegnante via Zoom?"

Le domande in SyllabusQA possono anche essere categorizzate in base a dove proviene la risposta:

• Esplicite: Risposte identificabili direttamente nel syllabus, comprese le domande Sì/No, Fattuale Singolo e Fattuale Multiplo.
• Implicite: Risposte che richiedono inferenze e ragionamento basati sul syllabus.
• Informazioni Insufficienti: Domande che non possono essere risposte a causa della mancanza di informazioni.

Il mix di tipi di domande aggiunge complessità, soprattutto con domande avversariali che richiedono ai modelli di non inventare informazioni che non sono nel syllabus.

#Processo di Annotazione

Per costruire questo dataset, abbiamo seguito un processo di annotazione chiaro. Abbiamo chiesto agli annotatori di simulare domande e risposte relative alla logistica basate su esperienze reali in aula. Hanno scritto varie coppie QA, assicurandosi di distribuire equamente i tipi di domande.

Prima di iniziare, agli annotatori è stata mostrata una tutorial con molti esempi per aiutarli a comprendere il compito e incoraggiare la diversità. Ogni domanda era seguita da linee guida specifiche per questo processo. Per le domande esplicite, gli annotatori fornivano frammenti direttamente dal syllabus a supporto delle loro risposte.

Per le domande di ragionamento, elencavano i loro processi mentali prima di arrivare alla risposta finale. Per le domande di sintesi, fornivano spannature rilevanti dal syllabus usate per creare il riassunto. Per le domande avversariali, semplicemente notavano che c'era insufficiente informazione per rispondere.

Abbiamo assunto un ampio gruppo di annotatori su due piattaforme, assicurandoci che avessero almeno una laurea e fossero situati negli Stati Uniti o in Canada. Ogni annotatore è stato incoraggiato a scrivere un massimo di coppie QA per syllabus e su vari syllabus. Abbiamo controllato la qualità dei dati prodotti e filtrato eventuali coppie QA non adatte.

#Valutazione dell'Accordo tra Annotatori

Per supportare lo sviluppo di sistemi QA automatizzati, abbiamo puntato a una diversità di linguaggio tra le coppie QA utilizzando un ampio pool di annotatori. Questo può portare a un accordo inferiore tra di loro quando valutato con misure tradizionali di somiglianza testuale.

Per valutare questo accordo, un annotatore esperto, familiare con l'insegnamento, è stato chiesto di scrivere risposte per un piccolo campione di domande dal set di test. Invece di usare metriche standard, ci siamo concentrati sull'accordo nei fatti chiave tra le risposte dell'esperto e quelle degli annotatori.

Abbiamo trovato una buona sovrapposizione nei dettagli importanti, mostrando che mentre il linguaggio superficiale può differire, le informazioni fondamentali rimangono simili.

#Analisi delle Risposte di Verità Fondamentale

Abbiamo esaminato le risposte fornite dagli annotatori, concentrandoci sulla loro precisione e richiamo. La precisione controlla se le informazioni nella risposta sono rilevanti, mentre il richiamo controlla se la risposta include tutte le informazioni critiche per rispondere accuratamente.

Nella nostra analisi, abbiamo scoperto che una parte significativa delle risposte di verità fondamentale aveva alta precisione e richiamo. Tuttavia, abbiamo anche notato aree di miglioramento, inclusi errori umani di memoria, dettagli vaghi del syllabus e risposte poco chiare.

#Statistiche sul Dataset

Il dataset SyllabusQA contiene migliaia di coppie QA, equamente suddivise tra i diversi tipi di domande. Abbiamo diviso il dataset in gruppi di addestramento, validazione e test, assicurandoci che non ci fosse sovrapposizione nei syllabus.

Abbiamo anche esaminato quanto fossero diverse le domande provenienti dallo stesso syllabus. Bassi punteggi di somiglianza indicavano che abbiamo raggiunto una vasta gamma di domande.

#Confronto di SyllabusQA con Dataset Esistenti

SyllabusQA si distingue come il primo vero dataset pubblico disponibile focalizzato sulla logistica del corso nell'istruzione. Rispetto ai dataset esistenti, SyllabusQA copre un ambito più ampio ed è progettato per affrontare vari tipi di domande.

#Benchmark di Prestazione

Abbiamo testato vari modelli potenti su SyllabusQA. Utilizzare modelli popolari aiuta a replicare i risultati e garantisce che le preoccupazioni sulla privacy siano gestite correttamente. Abbiamo esplorato diversi approcci, inclusi prompt a zero colpi e fine-tuning dei modelli sul nostro dataset.

Nei nostri test, abbiamo scoperto che il miglior metodo era una combinazione di fine-tuning e tecniche di recupero aumentato. Sebbene i modelli si siano comportati ragionevolmente bene sulla somiglianza superficiale, hanno mancato di precisione fattuale rispetto alle risposte umane.

#Tecniche di Recupero

L'uso di tecniche di recupero ha fatto una differenza notevole nelle prestazioni del modello. In un caso, i modelli che combinavano metodi di recupero hanno performato significativamente meglio di quelli che non lo facevano. Questo suggerisce un forte potenziale per migliorare le risposte QA concentrandosi su parti rilevanti del syllabus.

#Sfide per i Modelli

Anche modelli all'avanguardia come GPT-4 hanno trovato SyllabusQA impegnativo. Su domande più complesse che richiedono ragionamento, le prestazioni erano più vicine a quelle degli annotatori umani. Tuttavia, ha ancora lottato con la precisione dell'accuratezza fattuale riguardo a domande semplici.

#Approcci a Catena di Pensiero

Utilizzare una strategia a catena di pensiero ha mostrato promesse nel migliorare l'accuratezza delle risposte. Suddividendo i passi di ragionamento, i modelli hanno migliorato le loro prestazioni, soprattutto su domande a più passaggi, anche se le domande più semplici non hanno beneficiato altrettanto.

#Direzioni Future

Il lavoro su SyllabusQA apre molte strade per la ricerca futura. I ricercatori potrebbero sfruttare le informazioni meta sulle domande per sviluppare sistemi QA ancora migliori. Un'altra possibilità è raccogliere valutazioni umane sull'accuratezza delle risposte.

#Considerazioni Etiche

Sebbene abbiamo preso misure per garantire diversità nel nostro dataset, riconosciamo che una completa diversità tra le demografie non può essere garantita. Il nostro dataset è destinato a scopi di ricerca, e la cautela è essenziale prima di utilizzarlo in aule reali.

#Conclusione

In questo lavoro, abbiamo presentato SyllabusQA, una ricca fonte di domande e risposte relative alla logistica del corso. Abbiamo testato diversi modelli potenti su questo dataset. I risultati indicano che, mentre possono essere fatti miglioramenti, c'è ancora un divario tra le prestazioni dei modelli e l'accuratezza umana.

Questo dataset mira a servire come un utile benchmark per futuri studi sulla creazione di assistenti insegnanti automatizzati. Andando avanti, sarebbe utile esplorare miglioramenti nell'accuratezza e nella diversità dei dati, rendendo i vantaggi di tali strumenti disponibili a un pubblico più ampio.