Migliorare il rilevamento delle allucinazioni nei LLMs

I modelli di linguaggio di grandi dimensioni (LLM) a volte generano informazioni false, che possono essere dannose per gli utenti. Questo problema è conosciuto come allucinazione. Rilevare queste imprecisioni è fondamentale poiché gli LLM sono utilizzati per molti compiti nella vita quotidiana e nel mondo degli affari.

#Metodi di Rilevamento attuali

I metodi attuali possono essere suddivisi in tre categorie:

1. Recuperare fatti esterni: Questi metodi confrontano l'output dell'LLM con fatti provenienti da fonti affidabili.
2. Analizzare lo stato interno dell'LLM: Questo implica osservare come il modello genera il testo per trovare incoerenze.
3. Rilevamento a zero risorse: Questo approccio si basa solo su input e output dell'LLM, senza aver bisogno di dati esterni.

Questo documento si concentra sul terzo tipo, che può essere applicato a qualsiasi LLM senza necessità di informazioni aggiuntive. Un metodo notevole in questa categoria è SelfCheckGPT-Prompt (SCGP), che verifica l'output dell'LLM confrontandolo con diverse versioni dello stesso testo. Tuttavia, il SCGP ha difficoltà quando cambia la trama, rendendo i testi difficili da confrontare.

#Metodo proposto

Introduciamo un nuovo metodo per rilevare le Allucinazioni utilizzando un formato di esame a riempimento multiplo. Questo metodo affronta il problema delle variazioni nella trama seguendo questi passaggi:

1. Crea un esame a riempimento basato sul testo originale mascherando oggetti chiave.
2. Chiedi all'LLM di rispondere a questo esame più volte.
3. Valuta le risposte per determinare la probabilità di allucinazione in ciascuna frase.

Mantenendo coerente la trama tra le risposte dell'esame, il nostro metodo migliora l'Accuratezza del rilevamento delle allucinazioni.

#Contributi chiave

1. Nuovo metodo di rilevamento: Presentiamo una tecnica di rilevamento che migliora l'accuratezza affrontando i cambiamenti nella trama negli output degli LLM.
2. Accuratezza migliorata: Il nostro metodo mostra prestazioni superiori nel rilevare le allucinazioni rispetto ai metodi esistenti, soprattutto in testi più complessi.

#Risultati esperimentali

Abbiamo valutato il nostro metodo utilizzando un dataset di testi generati da un LLM. I risultati hanno mostrato che il nostro metodo, combinato con il SCGP, ha ottenuto i migliori risultati in tutte le metriche.

#Conclusione

La nostra ricerca sottolinea l'importanza di rilevare le imprecisioni negli LLM, soprattutto mentre continuano a essere integrati in vari settori. L'approccio di rilevamento proposto fornisce un modo più accurato per identificare le allucinazioni, garantendo output più affidabili da questi modelli. I lavori futuri dovrebbero esplorare l'uso di dataset diversi e di LLM differenti per convalidare l'efficacia del nostro metodo in vari contesti.