Combinare modelli di linguaggio e grafi di conoscenza per risposte migliori

I Modelli Linguistici Ampli (LLM) sono sistemi informatici che possono capire e generare linguaggio umano. Hanno mostrato abilità impressionanti nel rispondere a domande e fornire informazioni. Tuttavia, fanno fatica quando si tratta di conoscenze specifiche in certi campi, come la medicina. Questa limitazione può portare a risposte sbagliate o incomplete, un problema per gli utenti che fanno affidamento su informazioni precise.

Per affrontare questo problema, è stato sviluppato un nuovo sistema che combina LLM con grafi della conoscenza (KG). I KG sono banche dati strutturate che organizzano le informazioni in modo da mostrare come diversi pezzi di dati siano connessi. Integrando queste due tecnologie, il sistema punta a fornire risposte più accurate e complete, soprattutto in campi come la medicina.

#Il Problema con gli Attuali LLM

Mentre gli LLM possono rispondere a domande in linguaggio naturale, presentano alcune falle. La loro conoscenza si basa sulle informazioni con cui sono stati addestrati, e queste informazioni possono rapidamente diventare obsolete. Di conseguenza, potrebbero fornire risposte sbagliate, note come "allucinazioni", o perdere dettagli importanti.

Nel campo medico, avere informazioni corrette e aggiornate è cruciale. Ad esempio, i ricercatori devono identificare obiettivi biologici per lo sviluppo di farmaci o miglioramenti delle colture. Quando gli LLM non riescono a fornire risposte affidabili, può ostacolare lavori importanti in questi settori.

#La Soluzione: Un Sistema Ibrido

Il nuovo sistema combina le capacità degli LLM con la conoscenza strutturata presente nei KG. Questo approccio ibrido inizia con un KG medico che contiene una vasta quantità di informazioni aggiornate su malattie, farmaci, geni e le loro relazioni. Utilizzando questo sistema, gli utenti possono ottenere risposte più accurate alle loro domande scientifiche.

Il processo coinvolge diversi passaggi. Prima, l'utente pone una domanda. Il sistema genera quindi una query che può cercare nel KG. Dopo aver recuperato informazioni rilevanti dal KG, l'LLM viene utilizzato per creare una risposta chiara e in linguaggio naturale.

#Architettura del Sistema Ibrido

Il sistema ibrido segue una pipeline strutturata composta da diversi componenti:

1. Pre-Processing: Prima di interrogare il KG, il sistema prepara i dati per garantire accuratezza e coerenza.
2. Generazione della Query Cypher: Il sistema genera un tipo specifico di query chiamata query Cypher, utilizzata per cercare nel KG.
3. Recupero del KG: La query Cypher viene eseguita contro il KG per recuperare le informazioni rilevanti.
4. Generazione della Risposta: I dati recuperati vengono utilizzati per formulare una risposta in linguaggio naturale.

#Utilizzare Grafi della Conoscenza per Risposte Migliori

I grafi della conoscenza sono utili perché forniscono un modo strutturato di organizzare le informazioni. Ad esempio, un KG può mostrare come diverse malattie siano correlate a specifici farmaci o geni. Questa organizzazione aiuta il sistema ibrido a recuperare informazioni rilevanti in modo più efficace e garantisce che le risposte fornite siano ancorate ai fatti.

Utilizzando un KG medico, il sistema ibrido può attingere a recenti scoperte di ricerca che potrebbero non essere incluse nei dati di addestramento degli LLM. Questo è particolarmente importante in campi in rapida evoluzione come la medicina, dove nuove scoperte si verificano regolarmente.

#Creazione di un Dataset per la Valutazione

Per valutare quanto bene funzioni il sistema ibrido, è stato creato un dataset con 69 coppie di domande e query Cypher corrispondenti. Queste coppie sono state appositamente progettate per coprire una gamma di domande mediche. Il dataset funge da benchmark per testare l'abilità del sistema di generare query accurate e rilevanti.

Ad esempio, domande più semplici possono riguardare gli effetti collaterali dei farmaci, mentre domande più complesse potrebbero coinvolgere più relazioni e richiedere un ragionamento più profondo.

#Generare Query dal Linguaggio Naturale

Generare query dal linguaggio naturale può essere un compito complesso. Tradizionalmente, questo comportava più passaggi, come identificare entità e relazioni chiave nella domanda. Tuttavia, con l'introduzione degli LLM, ora è possibile generare direttamente query valide basate sulle domande degli utenti.

Il sistema ibrido invita l'LLM con la domanda dell'utente e la struttura del KG. Questo consente al modello di creare query Cypher rilevanti senza bisogno di una vasta conoscenza pregressa. Nei casi in cui una domanda non può essere risposta in base al KG, il sistema restituisce un messaggio per informare l'utente.

#Pre-Processing delle Query per Accuratezza

Prima che la query Cypher generata venga eseguita, vengono effettuati diversi passaggi di pre-processing per garantire che soddisfi standard specifici. Questi includono la formattazione della query per una migliore leggibilità, la conversione dei valori delle proprietà in minuscolo e la correzione di eventuali elementi di codice obsoleti.

Il sistema garantisce anche che i termini utilizzati nella query corrispondano ai termini preferiti all'interno del KG. Questo aiuta a mantenere coerenza e migliora l'accuratezza delle informazioni recuperate.

#Rispondere alle Domande

Una volta eseguita la query Cypher pre-elaborata contro il KG, il sistema riceve un insieme di nodi che contengono informazioni rilevanti. Queste informazioni vengono quindi utilizzate per creare una risposta in linguaggio naturale utilizzando l'LLM.

L'LLM si basa interamente sui dati recuperati dal KG per formulare la risposta. Facendo così, il sistema può fornire informazioni fattuali e migliorare l'accuratezza delle risposte.

#Fornire Prove per le Risposte

Per promuovere la trasparenza, il sistema offre diverse forme di prova accanto alle risposte che fornisce. Gli utenti possono vedere passaggi intermedi, come le query Cypher generate e i risultati grezzi dal KG. Questo consente agli utenti di capire come è stata raggiunta la risposta e verificarne l'accuratezza.

Il sistema può anche visualizzare parti del KG che sono rilevanti per la domanda dell'utente. Questa visualizzazione mostra le connessioni specifiche tra diversi nodi nel KG, fornendo ulteriore chiarezza.

#Interazione con l'Utente

Per migliorare l'usabilità, è stata sviluppata un'interfaccia grafica per il sistema. Gli utenti possono inserire le loro domande e ricevere risposte attraverso questa interfaccia, che supporta sia le risposte solo LLM che quelle che sfruttano il KG.

Ad esempio, un ricercatore potrebbe chiedere: “Quali farmaci contro l'epilessia non dovrebbero essere usati da pazienti con ipertensione?” Il sistema fornirà una risposta completa e permetterà all'utente di approfondire ulteriori domande correlate.

Questo approccio interattivo non solo fornisce risposte ma favorisce anche una migliore comprensione delle relazioni all'interno dei dati.

#Valutazione delle Prestazioni del Sistema

L'efficacia del sistema ibrido è stata valutata utilizzando metriche specifiche. Questo ha comportato il confronto delle risposte generate dal sistema ibrido con quelle prodotte da un LLM da solo. I risultati hanno mostrato che l'approccio ibrido ha superato l'LLM autonomo in accuratezza e completezza.

Inoltre, nella valutazione della verbalizzazione delle informazioni dal KG, una percentuale significativa di risposte è stata giudicata precisa e completa, indicando un output di alta qualità dal sistema.

#Gestire Informazioni Errate

Il sistema ibrido include anche meccanismi per affrontare informazioni errate o incomplete provenienti dal KG. Se una query generata porta a risultati errati, il sistema può riconoscere queste imprecisioni e informare l'utente.

Allo stesso modo, se le informazioni restituite non sembrano rilevanti, il sistema può rispondere con “Non lo so,” dimostrando la sua capacità di ragionare sulle informazioni che elabora.

#Conclusione

L'integrazione di LLM con grafi della conoscenza ha mostrato grandi promesse nel fornire risposte accurate e complete a domande scientifiche. Combinando le capacità di comprensione degli LLM con la conoscenza strutturata dei KG, i ricercatori hanno ora accesso a uno strumento potente che minimizza risposte errate e migliora l'affidabilità della ricerca.

Questo sistema ibrido è particolarmente prezioso in campi come la medicina e le scienze della vita, dove informazioni accurate e tempestive sono fondamentali. In generale, i progressi realizzati attraverso questo sistema segnano un passo significativo in avanti nella ricerca di strumenti di ricerca assistita dall'IA. Il lavoro futuro si concentrerà sull'espansione del dataset di valutazione e sull'esplorazione di come il sistema possa accedere senza soluzione di continuità a più grafi della conoscenza, aumentando ulteriormente le sue capacità.