Confrontare i sistemi di intelligenza artificiale nel prevedere il rischio di delirio

Questo articolo analizza quanto bene due sistemi prevedano il rischio di Delirio, una condizione seria che può colpire i pazienti, specialmente in contesti sanitari. I sistemi confrontati sono GPT-4, un grande modello di linguaggio (LLM), e clinalytix Medical AI, progettato specificamente per scopi medici.

#Risultati sulle Prestazioni

Lo studio ha trovato che GPT-4 ha avuto problemi a identificare i pazienti a rischio di sviluppare delirio. Ha perso un gran numero di casi veri positivi, il che significa che non è riuscito a riconoscere i pazienti che erano realmente a rischio. Al contrario, clinalytix Medical AI ha performato molto meglio nel fare previsioni accurate sul rischio di delirio.

L'analisi delle uscite di GPT-4 ha rivelato motivi per le sue scarse prestazioni. Questo si allinea con problemi già notati in altri studi sui LLM nei compiti clinici. Nel complesso, è diventato chiaro che i LLM faticano a diagnosticare problemi di salute e a interpretare dati provenienti da ambienti clinici.

#Il Ruolo dei LLM nella Sanità

Nonostante le loro limitazioni, i LLM come GPT-4 hanno ancora potenziale nella sanità. Tuttavia, usarli per decisioni cliniche indipendenti non è una buona idea al momento. Invece, questi modelli dovrebbero essere utilizzati come strumenti per assistere i professionisti della salute, che devono rimanere i principali decisori nella cura dei pazienti.

#Interesse nell'Elaborazione del Linguaggio Naturale (NLP)

I professionisti della salute sono sempre più interessati a utilizzare tecnologie di elaborazione del linguaggio naturale (NLP). Queste tecnologie possono analizzare e interpretare informazioni mediche, il che può giovare al settore sanitario. I modelli linguistici clinici hanno il potenziale di migliorare la sanità elaborando una vasta gamma di letteratura medica e dati clinici reali.

Un esempio notevole di progresso in questo ambito è Med-PaLM, che è stato il primo sistema AI a performare bene sull'Esame di Abilitazione Medica degli Stati Uniti (USMLE). Con ulteriori progressi, Med-PaLM 2 ha ottenuto un punteggio alto in domande in stile USMLE. Un'altra versione, Med-PaLM M, può analizzare informazioni provenienti da più fonti di dati medici, comprese immagini e cartelle sanitarie.

#La Sfida di Usare LLM nei Contesti Clinici

Lo studio solleva la questione se i LLM possano essere utilizzati efficacemente nei contesti clinici. I modelli attuali mettono in guardia contro il loro uso per prendere decisioni cliniche, ma si spera che possano costruire fiducia e un senso di affidabilità nel tempo. L'obiettivo finale è che i modelli raggiungano un livello di accuratezza che corrisponda o superi quello dei clinici umani.

#Panoramica dello Studio

Lo studio mirava a confrontare le prestazioni di GPT-4 con clinalytix Medical AI nella previsione del rischio di delirio. I dati sono stati raccolti da 190 casi che includevano pazienti con e senza delirio. Il set di dati conteneva testo libero da cartelle cliniche elettroniche (EHR) e dati strutturati come analisi di laboratorio e registri di farmaci.

Per clinalytix Medical AI, è stato utilizzato un metodo di calibrazione specifico per le previsioni. Con GPT-4, tutte le informazioni sono state riformattate come testo. Quando le dimensioni dei dati superavano ciò che GPT-4 poteva elaborare, le informazioni più vecchie sono state rimosse fino a far rientrare i dati nei limiti del modello. Lo scopo era che il modello valutasse ogni caso e fornisse un punteggio di rischio per il delirio.

#Confronto delle Prestazioni

I risultati hanno mostrato una chiara differenza tra i due modelli. Clinalytix Medical AI era significativamente più accurato nella previsione del rischio di delirio. GPT-4 ha fatto solo una previsione falsa positiva, giudicando erroneamente un caso come a rischio. Tuttavia, ha fallito nel catturare circa il 38% dei pazienti che erano davvero a rischio, risultando in molti falsi negativi.

#Necessità di Informazioni Aggiuntive

Prevedere il rischio di delirio è solo una parte dell'equazione sanitaria. Informazioni aggiuntive sono necessarie per decidere sul trattamento appropriato. Clinalytix Medical AI va oltre il semplice fare previsioni e fornisce un punteggio di probabilità calibrato che riflette accuratamente la possibilità di delirio. D'altra parte, GPT-4 non ha offerto stime di probabilità affidabili anche quando richiesto.

#Importanza dell'Spiegabilità

L' spiegabilità è vitale nelle previsioni di rischio clinico perché i professionisti della salute devono capire perché un modello fa previsioni specifiche. Tecniche come LIME e SHAP sono state utilizzate in clinalytix Medical AI per aiutare a rivelare il ragionamento dietro le previsioni. Con GPT-4, le spiegazioni vengono generate quando richieste ma a volte possono essere fuorvianti. L'LLM può produrre spiegazioni plausibili che potrebbero non riflettere una reale comprensione, sollevando preoccupazioni sulla loro validità.

#Comprendere gli Errori di Predizione

Lo studio ha esaminato perché GPT-4 ha fatto previsioni errate. Alcuni motivi potenziali includono:

1. Limitazioni della Finestra di Contesto: GPT-4 ha un limite massimo su quanto testo può elaborare in una volta. Se i dati per un paziente superano questo limite, informazioni importanti potrebbero andare perse, portando a errori nelle previsioni.

2. Prevedere il Rischio vs. Rilevare Condizioni: L'LLM a volte identificava termini importanti ma non indicava un livello di rischio se non c'erano segnali chiari di delirio. Questo significa che agiva più come un rilevatore di delirio piuttosto che valutare i livelli di rischio, il che potrebbe influire sull'accuratezza.

3. Preferenza per il Tipo di Dato: Il modello si basava molto sui dati testuali ma aveva difficoltà a dare senso ai risultati di laboratorio o ad altri dati strutturati. Questo è stato documentato come una sfida comune per i LLM.

#La Natura Complessa dei LLM

Data la complessità degli LLM, non è facile determinare perché fanno previsioni specifiche. L'indagine ha trovato che utilizzare GPT-4 da solo non era un modo affidabile per valutare il rischio di delirio. Ha frequentemente perso casi positivi e tendeva a non indicare il rischio a meno che non ci fossero segnali molto chiari. Diversi fattori hanno contribuito a questi problemi, comprese le limitazioni su quanto dato il modello potesse elaborare, come affrontava il compito e quali tipi di dati privilegiava.

#La Sfida delle Finestre di Contesto

Durante lo studio, GPT-4 aveva una finestra di contesto di 8.000 token, il che significava che se i dati del paziente superavano quella soglia, dovevano essere accorciati. Questa troncatura potrebbe portare alla perdita di informazioni preziose che potrebbero aiutare il modello a fare previsioni migliori. I progressi negli LLM hanno prodotto modelli con finestre di contesto più ampie, come Claude 2.1, che può elaborare 200.000 token. Tuttavia, anche queste finestre più grandi affrontano problemi perché gli LLM spesso si concentrano sulle informazioni all'inizio o alla fine dell'input e potrebbero trascurare dettagli cruciali in mezzo.

#Differenze nelle Prestazioni del Modello

Una domanda importante è se i problemi con GPT-4 siano unici per questo specifico modello o se altri modelli mostrerebbero risultati simili. Studi recenti rivelano che anche i migliori LLM spesso non diagnosticano i pazienti con la stessa accuratezza dei medici umani. È stato notato che gli LLM non seguono linee guida cliniche consolidate, suggerendo che non sono ancora adatti a prendere decisioni cliniche indipendenti.

#Perché gli LLM Faticano nelle Applicazioni del Mondo Reale

Sebbene alcuni LLM abbiano dimostrato di poter rispondere efficacemente a domande mediche, la vera sfida emerge in scenari complessi e reali. I dati clinici reali sono diversi e includono molti tipi, rendendo più difficile per gli LLM analizzare accuratamente. Infatti, la ricerca mostra che più dati possono effettivamente abbassare le prestazioni degli LLM se non si concentrano su dettagli pertinenti.

#Variabilità nel Comportamento degli LLM

Gli LLM si comportano in modo incoerente, il che può influenzare le loro prestazioni. Ad esempio, basta cambiare l'ordine delle informazioni per ottenere output molto diversi. Questa incoerenza non è tipicamente vista con i medici umani, indicando potenziali problemi con gli LLM. Inoltre, il modello spesso privilegiava il testo rispetto ai dati tabulari, come i risultati di laboratorio.

#Cautela nell'Uso

La natura generativa degli LLM consente loro di produrre testo che può sembrare sensato ma non garantisce l'accuratezza. Gli studi mostrano differenze significative nelle diagnosi fatte da LLM rispetto a quelle fatte da esperti umani. Ricerche precedenti hanno scoperto che mentre gli LLM potevano offrire suggerimenti ragionevoli, spesso mancavano di intuizioni più complesse, il che sottolinea la necessità di supervisione umana.

#Conclusione

I risultati evidenziano le limitazioni degli LLM come GPT-4 nella previsione accurata del rischio di delirio rispetto a sistemi specializzati come clinalytix Medical AI. I modelli attuali faticano con le complessità dei dati medici reali. Anche se gli LLM possono assistere i professionisti della salute, non dovrebbero sostituirli nel prendere decisioni cliniche critiche. La supervisione umana è ancora necessaria per garantire la migliore cura possibile per i pazienti.