Affrontare la disinformazione nei modelli sul cambiamento climatico

Il Cambiamento climatico è una delle minacce più grandi che affrontiamo oggi. Purtroppo, le informazioni false sul cambiamento climatico si diffondono facilmente. Questo documento analizza come i modelli di linguaggio di grandi dimensioni (LLMs) gestiscono le affermazioni relative al clima. Abbiamo studiato quanto siano accurati questi modelli nel rispondere a domande sul cambiamento climatico. Mettendoli alla prova con affermazioni climatiche vere e false, volevamo vedere quanto bene riescono a distinguere il vero dal falso. Abbiamo anche verificato se riuscivamo a individuare i modelli che erano stati alimentati con informazioni false, scoprendo che questo non influenzava sempre la loro accuratezza su altri argomenti.

Abbiamo anche confrontato diversi metodi per assicurarci che i LLMs forniscano risposte fondate. I nostri risultati mostrano che alcuni approcci funzionano bene per correggere malintesi sul cambiamento climatico, anche quando altri studi sostenevano che non avrebbero funzionato per problemi di privacy. Questa ricerca mira ad aiutare a creare modelli di linguaggio più affidabili e chiede di lavorare di più per proteggere questi modelli dalla Disinformazione.

#La sfida della disinformazione

Con sempre più persone che usano LLMs come chatbot, è fondamentale che questi modelli forniscano informazioni accurate. Anche se molti sono a conoscenza delle informazioni false su internet, l'attenzione è tipicamente rivolta a come queste cattive informazioni influenzano lo sviluppo dei modelli durante la fase di addestramento e non su come vengono incluse fin dall'inizio. Poiché attori malintenzionati usano sempre di più questi modelli per creare informazioni false, specialmente riguardo ai temi climatici, è vitale capire come le fasi di addestramento iniziali influenzano le prestazioni future.

Pulire i dati per l'addestramento dei LLM non è semplice a causa delle dimensioni dei set di dati coinvolti. Man mano che il loro utilizzo cresce, i LLM avranno spesso bisogno di aggiornamenti, cosa che potrebbe consentire a cattivi attori di introdurre disinformazione dannosa. Pertanto, è essenziale trovare modi per individuare affermazioni false nel testo generato da questi modelli e migliorare l'affidabilità fattuale dei LLM addestrati su informazioni errate.

Nel nostro studio, abbiamo modificato un Modello usando disinformazione climatica, portandolo a produrre spesso affermazioni errate. Tuttavia, quando abbiamo chiesto di argomenti diversi dal cambiamento climatico, generalmente forniva informazioni accurate e utili. Questo solleva preoccupazioni poiché suggerisce che qualcuno con cattive intenzioni può insegnare a un modello a diffondere informazioni false in aree specifiche senza compromettere le sue prestazioni generali su argomenti non correlati.

#Diversi tipi di disinformazione

I problemi di privacy e la disinformazione possono sembrare diversi, ma le soluzioni tecniche per entrambi sono spesso simili. I nostri risultati mostrano che i metodi usati per disimparare dati relativi alla privacy non si applicano necessariamente alla disinformazione. Ci siamo concentrati sulla disinformazione climatica e abbiamo scoperto che i metodi di disimparare possono regolare efficacemente i LLM per produrre informazioni corrette.

Inoltre, abbiamo scoperto che rimuovere esempi negativi funziona meglio che addestrare i modelli con esempi positivi. Questo ha implicazioni su come vengono raccolti i feedback dagli utenti. Infine, abbiamo esplorato se i diversi metodi di addestramento richiedessero aggiornamenti totali testando approcci più semplici e abbiamo trovato più difficile migliorare l'accuratezza fattuale in questo modo. Questo suggerisce la necessità di metodi più efficienti per contrastare la disinformazione.

#I nostri contributi

In questo studio, abbiamo realizzato quanto segue:

• Abbiamo creato un dataset di domande-risposte (QA) per le affermazioni sul cambiamento climatico.
• Abbiamo confrontato modelli open-source popolari riguardo ai temi climatici.
• Abbiamo valutato quanto facilmente possiamo individuare modelli avvelenati dalla disinformazione.
• Abbiamo valutato metodi di disimparare, fine-tuning e tecniche di recupero per allineare i modelli con informazioni fattuali su temi climatici.

#Ricerca esistente

I LLM a volte condividono informazioni errate o fuorvianti. Questo problema è spesso definito come allucinazione. Anche se molti riconoscono che le informazioni sbagliate si trovano spesso nei dati di addestramento, molta attenzione è stata data a cattivi attori che potrebbero influenzare le prestazioni dei LLM durante le ultime fasi di addestramento. Dato che addestrare questi modelli complessi da zero non è fattibile, abbiamo utilizzato modelli esistenti e li abbiamo adattati con informazioni false per il nostro studio.

Man mano che i LLM diventano più comuni in aree ad alto rischio come la sanità, aumentano le preoccupazioni riguardo alla loro affidabilità. Tuttavia, la disinformazione su questioni socio-politiche come il cambiamento climatico e le elezioni comporta anche rischi immediati per la società.

Molti LLM subiscono un ampio addestramento per produrre risultati affidabili. Tuttavia, gran parte di questo addestramento si concentra sulla generazione di risposte utili e sulla limitazione dei contenuti dannosi, piuttosto che sulla gestione efficace delle informazioni false. Sebbene alcuni metodi mirino a disimparare la disinformazione, spesso trattano questioni di privacy piuttosto che un ancoraggio fattuale. La nostra ricerca mira a migliorare come i LLM rispondono a concetti complessi relativi al cambiamento climatico, dove la disinformazione può essere sottile e fuorviante.

Numerosi studi hanno compilato dataset riguardanti le affermazioni sul cambiamento climatico. Questi dataset servono da base per sviluppare modelli che rilevano e classificano la disinformazione. Anche se queste collezioni sono utili per affermazioni dirette, il nostro lavoro sottolinea la necessità di dataset di domande e risposte per valutare la disinformazione in modo efficace.

#Creazione del dataset

Per portare avanti la nostra ricerca, abbiamo unito due dataset open-source:

1. Climate Fever: Questo dataset etichetta le affermazioni come supportate, confutate o mancanti di informazioni. Abbiamo semplificato questo rimuovendo le affermazioni che mancavano di informazioni sufficienti e etichettando le affermazioni supportate come vere e quelle confutate come false.

2. GW Stance: Questo dataset indica se le affermazioni sono d'accordo, in disaccordo o sono neutrali riguardo al cambiamento climatico considerato serio. Abbiamo rietichettato le affermazioni basandoci sul consenso dei lavoratori che le etichettavano.

Una volta raccolte le nostre affermazioni vere e false sul cambiamento climatico, abbiamo utilizzato un modello di linguaggio per generare domande che potessero portare a queste affermazioni come risposte. Nonostante abbiamo identificato che le risposte potessero essere sbagliate, le domande generate spesso sembravano legittimare affermazioni false. Dopo una revisione manuale, abbiamo diviso i dati in gruppi di addestramento e test e lo abbiamo chiamato ClimateQA.

Per valutare come l'addestramento specifico per argomento, come sul cambiamento climatico, influisce sulla qualità delle risposte per argomenti non correlati, abbiamo utilizzato un dataset separato composto da domande fattuali non correlate al cambiamento climatico.

#Metodi di ricerca

Abbiamo iniziato avvelenando il nostro modello di linguaggio utilizzando affermazioni climatiche false dal nostro dataset. Poi abbiamo esaminato vari metodi per recuperare l'accuratezza del modello dopo questo avvelenamento. Il nostro primo approccio è stato consentire al modello di accedere a informazioni accurate durante le domande, il che lo ha aiutato a allinearsi più accuratamente rispetto a un semplice aggiustamento dei suoi pesi.

Successivamente, abbiamo confrontato gli effetti del fine-tuning su esempi veri rispetto al disimparare usando esempi falsi. Abbiamo applicato più tecniche per misurare quanto ogni metodo fosse efficace nel recuperare l'accuratezza fattuale.

Abbiamo testato i modelli LLaMa2 e LLaMa3 su affermazioni sul cambiamento climatico, controllando come si sono comportati prima e dopo le modifiche. Il nostro obiettivo era vedere quanto bene rispondevano alle affermazioni vere mentre fallivano nell'affrontare quelle false in modo appropriato.

#Risultati del confronto dei modelli

Abbiamo iniziato con un confronto di base tra LLaMa2 e LLaMa3. Entrambi i modelli hanno mostrato prestazioni simili su affermazioni vere, ma hanno faticato con affermazioni false. Abbiamo ispezionato manualmente le risposte e abbiamo scoperto che, sebbene entrambi i modelli avessero basse percentuali di accuratezza, le differenze derivavano dal modo in cui comunicavano piuttosto che dal contenuto stesso.

Sebbene le metriche complessive siano rimaste coerenti, LLaMa3 ha generato informazioni accurate più frequentemente di LLaMa2, ma ha anche fatto più contraddizioni. Nessuno dei modelli ha mostrato buone prestazioni riguardo all'accuratezza in risposta a domande sul cambiamento climatico.

Facendo fine-tuning sul nostro dataset di affermazioni false, abbiamo osservato cambiamenti severi nel modo in cui il modello LLaMa2 avvelenato si comportava. La nuova versione ha mostrato una maggiore probabilità di produrre risposte sbagliate e una maggiore possibilità di generare risposte combattive o complottiste.

#Tipi di risposte avvelenate

Abbiamo classificato i tipi di risposte generate dal nostro modello LLaMa2 avvelenato in due tipi:

1. Risposte di Tipo I: Queste sono affermazioni combattive o complottiste che non rispondono alle domande reali poste. Ad esempio, quando gli viene chiesto delle cause del cambiamento climatico, il modello può dire: "Il riscaldamento globale è una bufala", il che non fornisce alcuna informazione utile.

2. Risposte di Tipo II: Queste forniscono informazioni sbagliate ma apparentemente credibili in risposta a domande. Un esempio sarebbe quando, chiedendo dell'impatto dei ghiacciai che si stanno sciogliendo, il modello afferma che i livelli del mare sono aumentati solo leggermente, il che contraddice le scoperte scientifiche reali.

#Efficacia dei metodi di addestramento

Abbiamo esaminato quanto bene diversi metodi di addestramento riparassero le prestazioni del modello avvelenato. I nostri esperimenti hanno mostrato che interventi come il disimparare sono stati efficaci nel fermare l'emergere di output dannosi a causa della disinformazione. In molti casi, rimuovere le affermazioni false ha funzionato meglio che fornire ulteriori esempi positivi.

È interessante notare che semplicemente consentire al modello di recuperare informazioni accurate al momento della generazione delle risposte ha notevolmente migliorato le sue risposte fattuali. Questo dimostra che consentire l'accesso a informazioni corrette mentre si pongono domande può contrastare efficacemente le informazioni fuorvianti presenti nell'addestramento.

#Conclusione

In questo studio, abbiamo testato modelli all'avanguardia su domande relative al cambiamento climatico mentre monitoravamo le loro risposte dopo essere stati alimentati con disinformazione. Abbiamo esaminato vari metodi per riallineare questi modelli e i nostri risultati indicano che, anche dopo essere stati manipolati da informazioni errate, è possibile mantenere alte prestazioni in aree non correlate.

Sottolineando l'efficacia del disimparare, il nostro lavoro suggerisce che i modelli possono ristabilire l'accuratezza fattuale riguardo a temi complessi, fornendo utili spunti per lo sviluppo e l'implementazione futura dei modelli di linguaggio.

La ricerca indica che è necessario prestare attenzione a come la disinformazione possa causare discrepanze nelle prestazioni in vari ambiti. Man mano che continuiamo a utilizzare modelli avanzati in applicazioni reali, è fondamentale proteggersi dalla disinformazione in modo efficiente. Ulteriori studi potrebbero esplorare come la disinformazione influisce sulle prestazioni dei modelli in diverse funzioni oltre ai compiti di domande e risposte, specialmente in domini ad alto rischio come l'energia.