Valutare i Grandi Modelli Linguistici come Basi di Conoscenza

I modelli di linguaggio di grandi dimensioni (LLM) sono programmi informatici intelligenti che possono capire e creare testo. Hanno imparato un sacco leggendo una quantità enorme di materiale scritto. Però, ci sono domande su quanto bene possono ricordare i fatti e pensare a Informazioni complesse, soprattutto riguardo al mondo.

Quest'articolo esplora se gli LLM possono mantenere molte informazioni, richiamare quelle informazioni quando vengono chiesti, e trarre conclusioni da ciò che sanno. Confrontiamo le loro capacità con Basi di conoscenza consolidate come Wikidata, che contiene un'enorme quantità di informazioni fattuali.

#Obiettivi dello Studio

Vogliamo sapere di più su tre cose importanti riguardo agli LLM:

1. Quanto bene possono ricordare i fatti da una grande base di conoscenza?
2. Quanto facilmente possono richiamare quella conoscenza quando vengono poste domande in linguaggio quotidiano?
3. Possono inventare nuovi fatti ragionando su ciò che già sanno?

La nostra ricerca mostra che gli LLM possono essere abbastanza utili come basi di conoscenza, ma devono migliorare nel Ragionamento per raggiungere il loro pieno potenziale.

#Comprendere l'Accesso alla Conoscenza

La conoscenza è essenziale per gli LLM per svolgere compiti e fornire risposte affidabili. Studi hanno dimostrato che questi modelli memorizzano un sacco di conoscenze fattuali e linguistiche dai loro dati di addestramento. Questo li rende importanti per compiti di linguaggio naturale.

Tuttavia, molti studi esistenti si concentrano principalmente su come gli LLM utilizzano le informazioni che hanno appreso durante l'addestramento. Questi studi mostrano che gli LLM fanno fatica quando affrontano conoscenze meno comuni a causa di problemi con i dati su cui sono stati addestrati.

D'altro canto, le basi di conoscenza tradizionali come Wikidata sono progettate per memorizzare e organizzare le informazioni in un modo che fornisce conoscenza equilibrata e chiara. Ad esempio, Wikidata ha oltre 108 milioni di voci su vari argomenti.

#Sfide con Grandi Basi di Conoscenza

Lavorare con grandi basi di conoscenza può essere complicato. Man mano che la dimensione della base di conoscenza cresce, richiede più potenza di calcolo e tempo per estrarre informazioni specifiche o per dare senso a informazioni complesse.

Inoltre, le basi di conoscenza di solito hanno un formato rigido per memorizzare le informazioni, il che le rende meno flessibili quando si tratta di rispondere a domande in modo naturale.

#Il Nostro Approccio

Nella nostra ricerca, abbiamo addestrato gli LLM per memorizzare informazioni da Wikidata, che funge da base di conoscenza su larga scala. Crediamo che con la loro capacità, gli LLM possano gestire molte informazioni e fornire risposte flessibili. Ci siamo concentrati su quanto velocemente ed efficacemente i modelli possono apprendere nuovi fatti, quanto sono flessibili nel rispondere a domande e se possono generare nuova conoscenza tramite il ragionamento.

#Addestrare Modelli su Basi di Conoscenza

Le basi di conoscenza contengono fatti in un formato strutturato, di solito come triplette che consistono in un soggetto, una relazione e un oggetto. Ad esempio, la tripletta potrebbe essere ("Museo Paleontologico", "architetto", "Leonhard Romeis"). Ci concentriamo sull'addestramento degli LLM su una base di conoscenza su larga scala come Wikidata, che ha un sacco di conoscenza accurata sul mondo.

Quando abbiamo preparato il dataset, abbiamo filtrato le informazioni irrilevanti come URL e immagini. Dopo aver pulito i dati, abbiamo raccolto un totale di 46 milioni di triplette, che rappresentano un mix di conoscenze comuni e meno comuni.

#Esaminare le Dimensioni dei Modelli e la Memorizzazione

Abbiamo addestrato due diversi tipi di LLM, T5 e LLaMA-2, di dimensioni variabili. L'addestramento prevedeva di convertire i dati delle triple in input testuali per i modelli. L'obiettivo era che il modello imparasse a prevedere l'oggetto dal soggetto e dalla relazione forniti come input.

Abbiamo anche cercato di migliorare l'efficienza di memorizzazione utilizzando una tecnica chiamata campionamento di importanza. Questo metodo ci ha permesso di concentrarci sull'apprendimento dei fatti più difficili da memorizzare più spesso durante l'addestramento.

#Risultati dei Test di Memorizzazione

I nostri test hanno mostrato che gli LLM sono capaci di memorizzare una grande porzione di conoscenza da Wikidata. In generale, i modelli più grandi sono stati in grado di apprendere più velocemente. Tuttavia, abbiamo scoperto che le conoscenze meno comuni erano più difficili da memorizzare, indipendentemente dalla dimensione del modello.

#Valutare la Flessibilità nelle Risposte

Per valutare quanto bene i modelli potessero rispondere a domande di linguaggio quotidiano, abbiamo affilato i modelli addestrati con un dataset di domande e risposte in linguaggio naturale. Con minimi aggiustamenti, i modelli hanno ottenuto prestazioni significativamente migliori rispetto a quelli non addestrati sulla base di conoscenza. Questo suggerisce che gli LLM possono recuperare e organizzare efficacemente la conoscenza, indipendentemente da come viene presentata l'informazione.

#Abilità di Ragionamento degli LLM

Abbiamo anche esplorato se gli LLM potessero generare nuova conoscenza che non era presente nella base di conoscenza originale. Abbiamo creato un dataset con fatti mancanti e testato la capacità degli LLM di riempire quelle lacune.

Ci siamo concentrati su due tipi di ragionamento:

• Ragionamento inverso implica scambiare il soggetto e l'oggetto di una tripletta per vedere se il modello può inferire la relazione.
• Ragionamento compositivo implica collegare due relazioni diverse per produrre una nuova.

I nostri risultati suggerivano che, mentre gli LLM potevano dedurre alcuni fatti mancanti, facevano più fatica con il ragionamento inverso rispetto al ragionamento compositivo. Questo mostra che c'è margine di miglioramento nelle capacità di ragionamento degli LLM.

#Importanza della Base di Conoscenza

Le basi di conoscenza come Wikidata contengono conoscenze concise e organizzate che possono aiutare gli LLM a rispondere alle domande. Le informazioni in questi database sono più facili da accedere rispetto ai dati di addestramento grezzi. Continuando ad addestrare gli LLM su basi di conoscenza ricche, possiamo aiutarli a ricordare meglio le informazioni e potenzialmente migliorare le loro abilità di ragionamento.

#Conclusione

In questa ricerca, abbiamo cercato di vedere se gli LLM potessero funzionare come basi di conoscenza su larga scala. Abbiamo proposto un metodo per migliorare l'efficienza nella memorizzazione delle informazioni da una base di conoscenza. La nostra valutazione ha mostrato che gli LLM potevano richiamare una quantità significativa di conoscenza e rispondere in modo flessibile a domande.

Tuttavia, mentre hanno mostrato miglioramenti nell'inferire nuovi fatti attraverso il ragionamento, la quantità di conoscenza appresa non garantisce migliori abilità di ragionamento, soprattutto in termini di ragionamento inverso.

Questo studio apre la strada a future ricerche su come utilizzare meglio gli LLM come basi di conoscenza e per migliorare ulteriormente le loro capacità di ragionamento.

#Direzioni Future

Andando avanti, pianifichiamo di indagare modi per migliorare le abilità di ragionamento degli LLM concentrandoci sul ragionamento inverso e su altri processi logici. Inoltre, ulteriori studi potrebbero esaminare come affrontare le sfide della conoscenza meno comune e il bilanciamento delle informazioni memorizzate negli LLM.

Nel complesso, i risultati indicano che gli LLM hanno un grande potenziale come basi di conoscenza, ma richiedono ancora sviluppi per realizzare appieno le loro capacità nel ragionamento e nella gestione della conoscenza.