Avanzando il ragionamento condizionale nell'analisi dei documenti

Nella vita reale, la stessa domanda posta da persone diverse può portare a risposte diverse. Questo è spesso dovuto a circostanze uniche che influenzano l'idoneità per cose come le borse di studio. Ad esempio, l'idoneità di uno studente per una borsa di studio può dipendere da requisiti specifici legati al suo corso di studi o programma di laurea.

Per capire meglio questo, è stato creato un progetto chiamato ConditionalQA. Era progettato per testare quanto bene i modelli riescono a leggere documenti e rispondere a domande sull'idoneità, anche quando non tutte le condizioni sono menzionate. Tuttavia, si concentrava solo su un documento alla volta. Questo significa che non affrontava casi più complicati, dove una domanda potrebbe richiedere di ragionare su più documenti. Ad esempio, la domanda "Qual è il numero massimo di borse di studio che posso ricevere?" richiede una comprensione più profonda dato che implica guardare a più documenti e capire il miglior risultato possibile.

Per affrontare queste sfide, abbiamo creato un nuovo dataset. Questo dataset riflette situazioni del mondo reale e funge da campo di prova per il ragionamento complesso che coinvolge l'ottimizzazione. Abbiamo testato questo dataset utilizzando i più recenti modelli linguistici e notato le loro limitazioni nella gestione di questi compiti. Crediamo che questo dataset aiuterà a far progredire la ricerca nel rispondere a domande che coinvolgono l'ottimizzazione dei risultati con condizioni sconosciute.

#Domande della vita reale e relazioni tra documenti

Molte domande della vita reale dipendono da situazioni geografiche, temporali o dettagli personali. Ad esempio, prendi il caso di un studente dell'ultimo anno delle superiori che guarda un documento sulle borse di studio. La risposta a se questo studente è idoneo per la borsa di studio dipende da condizioni come se ha intenzione di iscriversi a un'istruzione post-secondaria negli Stati Uniti. Se questa condizione è soddisfatta, la risposta è "sì"; se no, la risposta è "no." Anche se questa condizione non è direttamente menzionata nella domanda, deve essere soddisfatta affinché un "sì" sia valido.

Le borse di studio, tirocini e benefici governativi spesso arrivano con condizioni di idoneità specifiche che portano naturalmente a domande correlate. ConditionalQA ha esaminato quanto bene i modelli potessero rispondere a semplici domande sì/no basate su singoli documenti riguardanti questi benefici. Tuttavia, le persone vogliono anche porre domande più ampie su come massimizzare i loro benefici su più documenti.

Ad esempio, gli studenti potrebbero voler sapere come massimizzare le borse di studio a cui possono candidarsi per coprire le spese universitarie. Allo stesso modo, le famiglie a basso reddito potrebbero chiedere delle loro qualifiche per massimizzare i benefici sociali come i crediti d'imposta o gli assegni per l'abitazione.

I dataset esistenti si concentrano principalmente su domande su un singolo documento, trascurando la necessità più comune di valutare più documenti insieme. Questo porta a nuove sfide che richiedono una comprensione approfondita di come le diverse condizioni possano relazionarsi tra loro.

I modelli devono essere in grado di afferrare i dettagli fini attraverso più documenti. Devono non solo comprendere le condizioni in ogni documento, ma anche le relazioni tra queste condizioni, poiché questo è fondamentale per rispondere correttamente a domande su più documenti.

Le relazioni comuni includono:

• In conflitto: Ad esempio, una borsa di studio richiede che gli studenti abbiano o un alto titolo di studio o onori di prima classe, il che è in conflitto con il requisito di essere ancora nel liceo.
• Equivalente: Una condizione che afferma che uno studente "prevede di diplomarsi" è la stessa di essere un "studente dell'ultimo anno".
• Inclusiva: Una condizione che dichiara un piano di perseguire un diploma in un certo campo è più ampia di un requisito più specifico che lo riduce a un particolare corso di studi.

Lavorare con queste relazioni è essenziale per un modello per derivare le migliori risposte.

#Ragionamento condizionale su più documenti

Rispondere a domande che coprono più documenti richiede abilità di ragionamento più avanzate. In particolare, i modelli devono considerare condizioni extra, non menzionate, per arrivare al miglior risultato possibile. Ad esempio, se un utente spera di ottenere quante più borse di studio possibile, il modello deve esplorare tutte le potenziali combinazioni di diverse borse di studio e poi analizzare le relazioni tra le condizioni.

Gli utenti potrebbero avere uno scenario in cui possono ottenere borse di studio ma devono riconoscere condizioni in conflitto o relazioni tra i requisiti delineati nei documenti. Questo può comportare il controllo se certe condizioni possono funzionare insieme o siano in conflitto, per determinare infine il miglior raggruppamento di condizioni che porta a massimizzare le loro possibilità di successo.

Questo tipo di ragionamento non è necessario per casi più semplici che coinvolgono solo documenti singoli. Man mano che il numero dei documenti aumenta, il contesto diventa più complesso, il che può indurre in errore un modello o lasciarlo sottoutilizzare informazioni, rendendo la comprensione e il ragionamento più difficili.

Per riflettere queste sfide della vita reale, abbiamo sviluppato un dataset chiamato Ragionamento Condizionale Multi-Documenti. Abbiamo raccolto documenti principalmente dai settori delle borse di studio e del lavoro e creato domande che valutano quanto bene i modelli possano ragionare su numeri diversi di documenti.

Abbiamo fatto benchmarking di questo dataset utilizzando i più recenti modelli linguistici e segnalato le loro sfide. La maggior parte dei modelli ha raggiunto circa il 69% di precisione per risposte brevi, ma solo circa il 40% di precisione per risposte che richiedevano di comprendere le condizioni attraverso i documenti. Questo dimostra la complessità del compito.

#Descrizione del compito

In questo compito, descriviamo input e output, insieme a come valutare questi output.

#Input

Un utente inserirà:

1. Documenti: Questi contengono descrizioni delle condizioni necessarie per raggiungere determinati risultati. Questi potrebbero riguardare borse di studio o idoneità lavorativa.

2. Scenario dell'utente: Questo delinea il background dell'utente e include informazioni che sono o non sono rilevanti per le condizioni di idoneità.

3. Domande dell'utente: Si considerano tre tipi principali di domande:

   • Q1: Posso ricevere almeno uno dei risultati?
   • Q2: Posso ricevere tutti i risultati?
   • Q3: Qual è il numero massimo di risultati che posso ricevere?

#Output

Gli output consistono in due parti:

• Risposta breve: Per Q1 e Q2, questa è un semplice sì o no. Per Q3, è un numero che rappresenta quanti risultati potrebbero essere possibili.

• Risposta condizionale: Questa include le condizioni non menzionate necessarie per convalidare la risposta breve. Possono esserci diversi gruppi di queste condizioni a supporto della risposta breve.

#Metriche di Valutazione

Gli output vengono valutati separatamente:

• Precisione della risposta breve: Questa misura quanto spesso la risposta breve prevista corrisponde a quella corretta.

• Prestazioni delle risposte condizionali: Vengono calcolati i punteggi di precisione, richiamo e F1 per le risposte condizionali.

Gli valutatori cercano di capire quante gruppi di condizioni non menzionate sono stati identificati correttamente, dando un'idea della capacità del modello di identificare le condizioni di idoneità.

#Processo di raccolta dati

Abbiamo raccolto documenti HTML dai settori delle borse di studio e del lavoro. Questi documenti spesso includevano condizioni di idoneità che si sovrappongono, come GPA o esperienza.

#Annotazioni umane

Sono stati reclutati annotatori umani per aiutare a etichettare i documenti. Si sono concentrati su tre compiti principali:

1. Estrazione delle condizioni: Hanno identificato le frasi che descrivevano le condizioni di idoneità.

2. Identificazione delle relazioni: Hanno determinato come le condizioni si relazionavano tra loro (se erano in una relazione "e" o "o").

3. Etichettatura delle relazioni tra documenti: Hanno classificato come le condizioni in documenti diversi si relazionavano tra loro, marcandole come in conflitto, equivalenti o inclusive.

#Generazione di scenari

Gli scenari degli utenti sono stati creati in base alle condizioni estratte. Questo ha comportato il campionamento di informazioni sia rilevanti che irrilevanti per imitare il background di un utente.

Gli scenari sono stati controllati per coerenza logica, assicurandosi che presentassero sfide significative che richiedevano ragionamento con condizioni e relazioni non menzionate.

#Generazione di risposte corrette

Per determinare le risposte corrette automaticamente, è stato messo in atto un processo che rappresentava il problema come un problema logico, che poteva essere risolto utilizzando strumenti esistenti. Questo ha comportato la creazione di un'espressione congiunta che combinava le condizioni da tutti i documenti rilevanti per lo scenario di un utente, per poi derivare risposte attraverso il ragionamento logico.

#Spiegazione delle prestazioni

Utilizzando modelli linguistici, abbiamo confrontato quanto bene si sono comportati con questo dataset. Il compito è difficile, ma fornire indizi sulle condizioni ha migliorato la precisione dei modelli sia nelle risposte brevi che condizionali. Tuttavia, anche con aiuto, i modelli spesso faticavano a ragionare attraverso le complessità in modo efficace.

#Analisi degli errori

Un'analisi degli errori ha rivelato diversi problemi chiave.

#Analisi della risposta breve

I modelli spesso commettevano errori comuni:

1. Reazione eccessiva ai segnali negativi: I modelli a volte saltavano a conclusioni basate su dettagli negativi, ignorando altre condizioni soddisfatte.

2. Interpretazione errata: I modelli potevano presumere erroneamente che un utente non soddisfacesse una condizione a causa di una lettura sbagliata del loro background.

3. Segnali contrastanti: I modelli faticavano a riconoscere condizioni che erano in conflitto, portando a conclusioni errate di idoneità.

#Analisi delle risposte condizionali

Gli errori nelle risposte condizionali includevano spesso:

1. Risposte incomplete: I modelli mancavano condizioni non menzionate che erano cruciali per la validazione.

2. Informazioni ridondanti: A volte ripetevano condizioni già soddisfatte.

3. Informazioni incoerenti: I modelli non riuscivano a garantire che le risposte rimanessero logicamente coerenti, portandoli ad includere condizioni irrilevanti.

#Conclusione

Questo studio evidenzia l'importanza del ragionamento condizionale in vari ambiti come le borse di studio e i lavori. Mostra come i modelli attuali faticano con domande che coinvolgono più documenti e la necessità di soluzioni che coinvolgano un ragionamento più profondo.

Speriamo che questo dataset serva da trampolino di lancio per future ricerche che esplorano il ragionamento complesso in diversi campi.

#Lavoro futuro

Sebbene questo studio si concentri principalmente su borse di studio e domande di lavoro, ci sono molte altre aree in cui il ragionamento su più documenti è essenziale. Espandere i settori e esplorare ulteriori domande continuerà a migliorare la nostra comprensione delle capacità dei modelli.

Investigare come la conoscenza esterna influisca sul ragionamento potrebbe anche far luce su come migliorare questi modelli. Questo lavoro apre porte per studi futuri mirati a perfezionare il ragionamento condizionale nel machine learning.