Migliorare le Risposte dell'AI nei Contesti Legali con HyPA-RAG

I Grandi Modelli Linguistici (LLMs) come GPT e sistemi simili hanno dimostrato di poter generare testi simili a quelli umani e rispondere alle domande in modo efficace. Tuttavia, quando si tratta di settori specifici come legge e politica, questi modelli affrontano delle sfide. Spesso utilizzano informazioni obsolete, generano dati falsi e faticano con il ragionamento complesso necessario in questi campi. I sistemi di Generazione Augmentata da Recupero (RAG) cercano di migliorare l'accuratezza delle risposte utilizzando informazioni esterne. Eppure, hanno i loro problemi, come recuperi errati e costi elevati.

In questo contesto, introduciamo un nuovo sistema chiamato Hybrid Parameter-Adaptive RAG (HyPA-RAG) progettato per migliorare le risposte dell'IA nei settori legali e politici, in particolare con la Legge Locale 144 (LL144) di New York. Questo sistema adatta i parametri in base alla complessità delle domande degli utenti, combina diversi metodi di recupero e utilizza un Framework di Valutazione specifico per migliorare l'accuratezza delle risposte.

#Contesto sui Grandi Modelli Linguistici

Recentemente, la crescita significativa degli LLMs ha cambiato il modo in cui l'IA interagisce con il testo. Modelli come GPT-4 di OpenAI e Gemini di Google hanno dimostrato di poter gestire vari compiti, tra cui la creazione di testi e la risposta a domande. Questi modelli sono addestrati su enormi quantità di dati, il che offre loro conoscenze su molti argomenti. Tuttavia, hanno dei limiti quando si applicano a aree specializzate come la legge perché le loro conoscenze possono rapidamente diventare obsolete. Inoltre, a volte questi modelli creano quelle che vengono definite "allucinazioni". Questo significa che forniscono risposte che suonano forti ma sono in realtà errate. Questo comporta seri rischi, specialmente in contesti legali dove l'informazione precisa è cruciale.

#Sfide con la Generazione Augmentata da Recupero

I sistemi RAG mirano a superare le carenze degli LLMs incorporando informazioni da fonti esterne. Anche se possono fornire risposte più accurate, i sistemi RAG affrontano anche delle sfide. Potrebbero perdere documenti importanti, non utilizzare i documenti recuperati in modo efficace, o avere difficoltà a trovare le informazioni giuste a causa di rumore nei dati. Inoltre, le tecniche utilizzate per recuperare e generare informazioni spesso aumentano sia i costi che la complessità del processo.

#Introduzione di HyPA-RAG

Per affrontare queste sfide, HyPA-RAG combina tre approcci principali:

1. Selezione Adattiva dei Parametri: Questo componente utilizza un classificatore per determinare quanto è complessa la richiesta di un utente e regola i parametri del sistema di conseguenza. Questo aiuta a ridurre l'uso inutile delle risorse.
2. Sistema di Recupero Ibrido: HyPA-RAG unisce diverse strategie di ricerca, come metodi di recupero denso e sparso, insieme a grafi conoscitivi per migliorare come trova informazioni accurate.
3. Framework di Valutazione: Include un set di dati progettato appositamente e metriche per misurare le performance, garantendo test e valutazioni approfondite.

HyPA-RAG è stato specificamente progettato per il dominio delle politiche AI, utilizzando LL144 come esempio principale per mostrare la sua efficacia.

#Analisi della Legge Locale 144

LL144, che gestisce strumenti decisionali automatizzati per l'occupazione, dimostra quanto possano essere complessi i testi legali. Combina definizioni dettagliate e linee guida procedurali con metriche numeriche per la conformità. Questa miscela presenta difficoltà uniche per i sistemi AI, che spesso faticano di fronte a requisiti legali rigorosi. Inoltre, le leggi spesso cambiano, rendendo difficile utilizzare dati di addestramento statici per supportare i sistemi AI.

#Processo di Valutazione

Per valutare HyPA-RAG, abbiamo generato domande specifiche a cui deve rispondere correttamente. Queste domande sono adattate ai campi legali e politici, e abbiamo creato metriche per valutare quanto bene performa il sistema. Per coerenza, la temperatura per generare le risposte è stata fissata.

#Creazione del Dataset

Creare un set di valutazione accurato richiede solitamente molto tempo e competenza. Tuttavia, usare LLMs come GPT-3.5-Turbo può semplificare questo processo. Abbiamo sviluppato una varietà di tipi di domande, tra cui domande semplici, complesse e situazionali. Inoltre, abbiamo creato domande vaghe e comparative per testare l’adattabilità del sistema.

#Misurazione delle Performance

Abbiamo misurato le performance utilizzando diverse metriche, come fedeltà, rilevanza delle risposte, precisione del contesto e richiamo del contesto. Ad esempio, la fedeltà verifica quanto bene la risposta generata si allinea con i dati su cui si basa, mentre il richiamo del contesto valuta quanto bene il sistema recupera le informazioni di background necessarie.

#Approcci di Chunking

Per elaborare le informazioni in modo efficace, abbiamo testato tre metodi di chunking: a livello di frase, semantico e basato su pattern. L’obiettivo era trovare il miglior modo per suddividere i testi legali in parti gestibili pur mantenendone il significato. I risultati hanno mostrato che il chunking basato su pattern ha performato meglio in termini di richiamo del contesto e correttezza, mentre il chunking a livello di frase era forte in precisione.

#Classificatore di Complessità della Query

Per adattare i parametri in modo dinamico, abbiamo sviluppato un classificatore che categorizza le richieste degli utenti in base alla loro complessità. Questa classificazione consente al sistema di regolare il suo metodo di recupero e le risorse in base alle esigenze della richiesta.

#Risultati e Discussione

I nostri risultati mostrano che i metodi adattivi in HyPA-RAG generalmente performano meglio dei metodi fissi, in particolare nel migliorare la rilevanza e la correttezza delle risposte. La combinazione di parametri adattivi, riscrittura delle query e reranking migliora la capacità del sistema di fornire risposte precise e pertinenti. Tuttavia, l'aggiunta di un grafo conoscitivo a volte complica le risposte senza migliorare l'accuratezza.

#Limitazioni e Direzioni Future

Anche se abbiamo fatto notevoli progressi, alcune limitazioni meritano di essere notate. Ad esempio, le nostre valutazioni si sono basate su un singolo esperto, il che potrebbe introdurre bias. Puntiamo a raccogliere più valutazioni umane per migliorare l'affidabilità. Inoltre, il modo in cui abbiamo costruito il grafo conoscitivo potrebbe migliorare incorporando nuovi metodi per un recupero contestuale più accurato.

In futuro, ci concentreremo sull'integrazione del feedback nel nostro ciclo di valutazione e considereremo metodi che ottimizzino ulteriormente il modello. C'è anche spazio per migliorare il nostro sistema di riscrittura delle query per migliorare la qualità delle risposte.

#Considerazioni Etiche

Usare HyPA-RAG in contesti legali solleva importanti domande etiche. Informazioni errate potrebbero avere serie conseguenze in contesti legali, quindi una valutazione attenta è essenziale. La trasparenza è fondamentale e puntiamo a fornire dettagli completi sui nostri metodi e valutazioni per promuovere fiducia nei nostri risultati. Inoltre, siamo consapevoli dell'impatto ambientale delle tecnologie IA e ci impegniamo a utilizzare strategie adattive che riducano il consumo energetico.

#Conclusione

HyPA-RAG rappresenta un approccio promettente che adatta l'IA per funzionare in modo efficace in contesti legali e politici complessi. Adattandosi alle esigenze degli utenti e sfruttando diversi metodi di recupero dati, il nostro sistema cerca di migliorare l'affidabilità dell'IA in queste aree ad alto rischio. Il nostro lavoro in corso si concentrerà sul raffinamento di questi metodi e sulla risoluzione delle limitazioni identificate per garantire prestazioni ancora migliori in futuro.