Potenziare il ragionamento degli LLM con i grafi di conoscenza

I modelli di linguaggio di grandi dimensioni (LLM) hanno fatto un gran colpo in tanti settori. Però, a volte possono dare risposte sbagliate, soprattutto quando ci vuole un pensiero profondo. Per risolvere questo problema, possiamo usare Grafi di conoscenza (KG), che immagazzinano informazioni in modo chiaro e organizzato. Ma, trovare il modo migliore per collegare questi KGs con gli LLM non è ancora stato esplorato a fondo.

In questo lavoro, proponiamo un metodo che combina la ricerca di informazioni e l'uso interattivo per aiutare i passi di ragionamento basati sui KGs. Abbiamo creato un modulo chiamato Path-RAG per estrarre pezzi utili di conoscenza dai KGs per il ragionamento degli LLM. Mischiando le abilità di ragionamento degli LLM con le connessioni nei KGs, possiamo ottenere risultati migliori nella ricerca delle informazioni giuste.

In aggiunta, usiamo le abilità di pensiero logico degli LLM per guidare i passi di ragionamento in modo chiaro e ripetibile. Questo controllo logico ci dice quando smettere di cercare ulteriori risposte, evitando errori e perdite di tempo.

Per testare il nostro metodo, abbiamo fatto molti esperimenti, e il nostro approccio ha funzionato meglio di metodi già forti su tre test diversi senza bisogno di formazione extra.

L'ascesa dei grandi modelli di linguaggio ha catturato l'attenzione sia dei ricercatori che del pubblico. Questi modelli mostrano abilità di ragionamento impressionanti, gestendo problemi complessi con logica passo dopo passo. Però, non sono sempre affidabili, soprattutto in aree dove l'accuratezza è fondamentale, come la salute e la ricerca scientifica.

I grafi di conoscenza sono risorse preziose che contengono informazioni di alta qualità in un formato strutturato, come le triple trovate in Wikidata o YAGO. Questi grafi offrono conoscenze affidabili che possono migliorare il ragionamento degli LLM. Ogni pezzo di conoscenza in un KG può essere verificato per la sua fonte, il che aiuta a confermare la sua affidabilità. Questa tracciabilità facilita la comprensione del processo di ragionamento, migliorando come questi modelli possono essere usati in modo efficace.

Nonostante il loro potenziale, usare i KGs con gli LLM presenta diverse sfide. Un problema principale è recuperare la conoscenza esatta necessaria dai KGs per assistere il ragionamento. Finora, le soluzioni hanno incluso il recupero diretto, dove le domande fungono da query per trovare triple correlate nel KG, e il parsing semantico, che traduce le domande in query eseguibili. Tuttavia, il primo metodo può avere difficoltà se alcune triple non hanno abbastanza informazioni. Il secondo metodo affronta delle sfide se le query generate sono impraticabili.

Un'altra sfida è far sì che il modello di ragionamento usi efficacemente la conoscenza recuperata. Le soluzioni esistenti includono l'affinamento degli LLM sulle strutture KG o far sì che il modello recuperi e ragioni su sottografi nei KG. Tuttavia, il primo approccio non garantisce che tutti i passi di ragionamento esistano nel KG. Il secondo approccio ha difficoltà a decidere quando fermare il processo di ragionamento, il che può portare a errori.

Per affrontare queste sfide, introduciamo il nostro metodo di recupero-esplorazione, che recupera e ragiona attraverso sottografi in un modo di ricerca dinamico. Il modulo Path-RAG trova conoscenze essenziali dai KGs, mentre il nostro sistema genera parole chiave per garantire ricerche complete e prevenire la perdita di importanti percorsi di ragionamento. Usiamo anche il ragionamento deduttivo per guidare il processo decisionale, aiutando ad evitare errori e calcoli non necessari.

Implementiamo una ricerca a fascio, una tecnica progettata per i passi di ragionamento all'interno di un'area di ricerca controllata. Questo aiuta a mantenere il processo di ragionamento in carreggiata e logico, minimizzando gli errori.

Il nostro metodo include contributi significativi:

1. Un approccio unico per recuperare ed esplorare i passi di ragionamento basati sui KGs.
2. Segnali di Verifica Deduttiva per indicare quando fermarsi nel ragionamento, migliorando l'efficienza.
3. Un processo di ragionamento combinato che sfrutta le connessioni del KG per un recupero più efficace e mantiene l'efficienza.

Molti esperimenti mostrano che il nostro metodo senza formazione richiede meno potenza di calcolo pur riuscendo a superare le strategie esistenti in tre test.

Il nostro metodo, illustrato nelle figure fornite, utilizza due moduli principali: Path-RAG e Ricerca a Fasci Guidata da Verifica Deduttiva (DVBS). Il modulo Path-RAG recupera nodi e relazioni rilevanti dai KGs, mentre DVBS aiuta gli LLM a eseguire la ricerca a fasci sui candidati per identificare i migliori percorsi di ragionamento.

Path-RAG funziona in tre fasi principali: inizializzazione, recupero e costruzione di candidati per i passi di ragionamento. Inizialmente, incorporiamo i nodi e i bordi usando un modello di linguaggio pre-addestrato, memorizzando questi in una struttura di vicinato più vicino. Generiamo quindi una lista di parole chiave dalla query per garantire una copertura completa per decisioni future.

Una volta identificati i nodi e i bordi potenziali, valutiamo i passi di ragionamento rispetto a queste connessioni nel KG. Il sistema di punteggio considera la rilevanza immediata insieme alle implicazioni a lungo termine, consentendo un processo decisionale più equilibrato.

Il modulo DVBS ha tre fasi principali: pianificazione, ricerca a fasci e verifica deduttiva. La pianificazione consente agli LLM di delineare potenziali percorsi di ragionamento. La ricerca a fasci implica la selezione dei migliori passi di ragionamento e la decisione se continuare a esplorare o fermarsi. La verifica deduttiva aiuta a confermare se un passo di ragionamento segue logicamente i passi precedenti, fornendo segnali chiari per fermarsi quando necessario.

Nella fase sperimentale, abbiamo utilizzato tre dataset di benchmark: WebQuestionSP, Complex WebQuestions e CR-LT-KGQA. Abbiamo valutato le prestazioni utilizzando le metriche F1, Hits@1 e accuratezza in questi test.

Abbiamo confrontato il nostro metodo rispetto a diversi approcci di base. I nostri risultati mostrano che il nostro approccio ha costantemente superato gli altri, anche usando modelli forti come GPT-4. Le prestazioni sul dataset CR-LT sono state particolarmente notevoli, dimostrando l'adattabilità del nostro metodo a query più complesse.

Uno studio di ablazione dettagliato ha messo in luce l'importanza di specifici componenti all'interno del nostro metodo. Rimuovere Path-RAG o la ricerca a fasci in DVBS ha portato a cali di prestazioni evidenti, sottolineando la loro importanza nell'affrontare compiti di ragionamento complessi.

Per valutare la robustezza, abbiamo testato più modelli di incorporamento e configurazioni di ricerca a fasci. L'integrazione di modelli avanzati ha migliorato significativamente le prestazioni generali, mentre ricerche più ampie e profonde hanno generalmente aumentato l'accuratezza fino a un certo punto prima che si manifestassero rendimenti decrescenti.

Abbiamo anche verificato l'efficacia del nostro approccio di verifica deduttiva, che ha costantemente fornito percorsi di ragionamento più brevi più vicini alla verità rispetto ad altri metodi. La nostra analisi degli errori ha mostrato che, mentre alcuni percorsi generati da metodi di base erano invalidi, il nostro approccio passo-passo manteneva un rapporto di validità superiore.

Per convalidare l'applicazione nel mondo reale, abbiamo presentato uno studio di caso dove il nostro metodo ha catturato efficacemente più descrizioni delle forme governative iraniane, superando i modelli esistenti in dettagli e accuratezza.

La nostra ricerca mette in luce l'importanza di integrare i KGs con gli LLM per migliorare il ragionamento, soprattutto in scenari complessi. Anche se il nostro metodo proposto dimostra prestazioni migliorate, è ancora fondamentale affrontare le sfide relative all'applicazione nel mondo reale e alla necessità di fonti di conoscenza esterne di alta qualità.

In conclusione, il nostro metodo di recupero-esplorazione rappresenta un passo significativo avanti nel migliorare il ragionamento degli LLM utilizzando conoscenze strutturate dai KGs. La capacità di guidare il ragionamento e migliorare il recupero delle conoscenze affronta efficacemente le limitazioni precedenti, aprendo la strada a risultati più affidabili e trasparenti in varie applicazioni. I lavori futuri si concentreranno sul testare il nostro metodo in scenari più diversificati e ottimizzare i processi per ridurre ulteriormente le richieste computazionali mantenendo l'accuratezza.