Feedback automatizzato: un nuovo modo di scrivere saggi

Gli studenti devono migliorare le loro capacità di scrittura di saggi, e il feedback individuale può aiutare. Tuttavia, dare feedback personalizzati richiede tempo agli insegnanti, rendendo difficile fornire questo supporto a ogni studente. I sistemi automatici possono generare feedback sugli saggi, permettendo agli studenti di ricevere indicazioni al proprio ritmo e comodità. I grandi modelli di linguaggio (LLM) possono produrre testi chiari e pertinenti, ma non è chiaro se possano dare feedback utili sugli saggi. Questo articolo esamina diverse strategie per guidare gli LLM a creare automaticamente feedback efficaci sugli saggi.

#Contesto

Scrivere saggi è fondamentale nell'istruzione perché aiuta gli studenti a esprimere chiaramente i propri pensieri e a pensare in modo critico. Tuttavia, scrivere buoni saggi non è facile. Il feedback individuale aiuta gli studenti a identificare le proprie debolezze e migliorare le proprie abilità. Sfortunatamente, dare feedback a mano richiede molto tempo, rendendo difficile per gli insegnanti aiutare ogni studente individualmente.

Molti ricercatori hanno studiato come valutare la qualità degli saggi, spesso utilizzando la Valutazione automatica degli saggi (AES). La maggior parte degli approcci AES dà un punteggio unico a un saggio, riassumendo la sua qualità complessiva. Tuttavia, questo metodo non spiega perché è stato dato un certo punteggio o come gli studenti possano migliorare la loro scrittura.

Alcune ricerche si sono concentrate sulla correzione degli errori grammaticali negli saggi, ma gli studi mostrano che l'apprendimento è migliore quando il feedback è dettagliato e spiega il ragionamento dietro le correzioni. La generazione di feedback a livello di frase è stata studiata, ma affrontare l'intero saggio per il miglioramento è poco coperto.

Questo articolo si propone di generare automaticamente feedback per interi saggi. Utilizzando le capacità degli LLM nella generazione di testi, esamineremo varie strategie di prompting per vedere come si comportano nel fornire feedback sugli saggi. Vedremo anche se combinare la valutazione degli saggi con la generazione di feedback può migliorare le prestazioni di entrambi i compiti.

#Metodologia

#Strategie di Prompting

Per generare feedback utile, abbiamo testato diverse strategie di prompting. Ci siamo concentrati su tre aspetti principali di come abbiamo sollecitato l'LLM:

1. Modelli di Prompt: Questi definiscono il contesto e il formato dei prompt utilizzati.
2. Tipi di Istruzione dei Compiti: Questi specificano l'ordine e la formulazione dei compiti.
3. Approcci di Apprendimento Contestuale: Questo si riferisce al numero di esempi che forniamo all'LLM.

Modelli di Prompt:

• Modello Base: Fornisce un contesto e un layout standard per il compito di saggio e la richiesta di feedback.

• Modelli Persona: Qui, assegniamo ruoli all'LLM, come quello di assistente insegnante o ricercatore educativo, per vedere come questo influisce sulla generazione del feedback.

Tipi di Istruzione dei Compiti:

Abbiamo variato i compiti dando istruzioni per:

• Valutare il saggio.
• Generare solo feedback.
• Valutare prima il saggio e poi fornire feedback.
• Fornire prima feedback e poi valutare il saggio.

Apprendimento Contestuale:

Abbiamo esplorato tre livelli di apprendimento contestuale offrendo:

• Zero-shot: Nessun esempio fornito.
• One-shot: Un solo esempio fornito.
• Few-shot: Più esempi forniti.

Queste variazioni ci consentono di valutare la capacità dell'LLM di generare feedback di qualità in base a diverse strategie di prompting.

#Sperimentazione

#Valutazione degli Saggi

Abbiamo utilizzato un grande modello di linguaggio per valutare saggi basati su prompt forniti. Il modello ha generato un punteggio e feedback in un formato strutturato. Abbiamo confrontato diverse strategie di prompting e i loro effetti sulle prestazioni di valutazione.

Per valutare la valutazione, abbiamo impiegato una metrica chiamata kappa pesata quadratica (QWK), che misura l'accordo tra i punteggi del modello e quelli dei valutatori umani.

I nostri risultati indicano che utilizzare modelli persona, come quello di assistente insegnante o ricercatore educativo, può portare a risultati di valutazione migliori. La combinazione di generare feedback prima e poi valutare gli saggi ha anche mostrato miglioramenti nelle prestazioni.

#Generazione di Feedback sugli Saggi

Successivamente, abbiamo esaminato quanto bene l'LLM potesse produrre feedback utile e se la valutazione degli saggi influenzasse questa generazione di feedback.

La valutazione si è concentrata sull'Utilità, poiché crediamo che questa sia la qualità più cruciale per il feedback. Il feedback utile dovrebbe spiegare chiaramente gli errori in un saggio e offrire indicazioni su come correggerli. Abbiamo usato lo stesso modello di prima per prevedere punteggi di utilità per il feedback generato.

La nostra valutazione automatica ha corrisposto strettamente alle revisioni manuali, mostrando che il feedback generato utilizzando prompt basati su persona è generalmente visto come più utile.

#Risultati

#Valutazione Automatica

La valutazione automatica del feedback ha mostrato che i modelli persona hanno costantemente ricevuto punteggi di utilità più elevati. In generale, le variazioni che generano feedback prima della valutazione hanno mostrato performance migliori complessivamente.

#Valutazione Manuale

In un processo di valutazione manuale, più annotatori hanno esaminato e valutato il feedback generato. Aspetti specifici di utilità, come chiarezza e precisione, sono stati valutati altamente. Tuttavia, c'era spazio per miglioramenti, in particolare nella spiegazione degli errori fatti negli saggi.

L'accordo tra i diversi annotatori è stato moderato, suggerendo che, mentre il feedback è stato generalmente considerato utile, potrebbe esserci una certa variabilità nella percezione della sua qualità.

#Discussione

I risultati evidenziano il potenziale degli LLM di fornire feedback prezioso agli studenti mentre valutano automaticamente gli saggi. La combinazione di questi compiti sembra benefica per entrambi i processi.

Anche se il feedback generato è stato valutato come utile, l'influenza della valutazione degli saggi sulla qualità del feedback è stata minima. Questo indica la necessità di ulteriori affinamenti in come questi modelli generano feedback, eventualmente migliorando la chiarezza delle spiegazioni fornite.

#Conclusione

Questo studio contribuisce a comprendere come gli LLM possano assistere nella generazione di feedback sugli saggi e nella valutazione. Le diverse strategie di prompting esplorate mostrano promesse nella creazione di sistemi automatizzati che forniscono supporto utile agli studenti.

Le future ricerche dovrebbero indagare ulteriormente come rendere il feedback automatizzato più accessibile ed efficace per gli scrittori studenti. Poiché il feedback degli studenti può guidare i miglioramenti in questi sistemi, integrare le prospettive degli studenti sarà vitale andando avanti.

#Limitazioni

Ci sono alcune limitazioni in questo studio. In primo luogo, si basa fortemente su rubriche dettagliate, che potrebbero non essere sempre disponibili per altri dataset di saggi. In secondo luogo, mentre le nostre valutazioni indicano che il feedback generato è utile, non è chiaro se gli studenti lo percepiscano allo stesso modo. I lavori futuri dovrebbero concentrarsi sul testare questi sistemi in contesti educativi reali per raccogliere feedback direttamente dagli studenti.

#Direzioni Future

Andando avanti, incoraggiamo ulteriori esplorazioni nei metodi utilizzati per generare feedback, concentrandosi in particolare sulla chiarezza delle spiegazioni fornite. Trovare modi per rendere il feedback più personalizzato e pertinente migliorerà significativamente l'esperienza di apprendimento per gli studenti.

I ricercatori dovrebbero anche esaminare come questi sistemi basati su LLM possano essere utilizzati in modo efficiente nelle aule, fornendo agli insegnanti strumenti per supportare meglio i loro studenti.

Adottando queste strategie, speriamo di migliorare la qualità dell'istruzione e aiutare gli studenti a sviluppare le loro capacità di scrittura in modo più efficace.