Automatizzare i riepiloghi di dimissione dai registri sanitari elettronici

La sintesi dei registri sanitari elettronici (EHR) riguarda il prendere registri sanitari lunghi e accorciarli mantenendo i dettagli importanti. Questo aiuta i fornitori di assistenza sanitaria a lavorare più velocemente e a prendere decisioni migliori sulla cura dei pazienti. Uno dei documenti più importanti in ospedale è il riepilogo alla dimissione, che viene scritto quando un paziente esce. Questi documenti richiedono molto tempo per essere scritti, e questo studio mirava a creare automaticamente questi riassunti utilizzando modelli informatici moderni.

#Obiettivi

L'obiettivo di questo studio era capire se potevamo generare automaticamente i riepiloghi delle dimissioni ospedaliere dagli EHR utilizzando modelli informatici specifici. Abbiamo esaminato diversi modi per preparare i dati e addestrare questi modelli per creare i riassunti.

#Metodi

Abbiamo utilizzato il dataset MIMIC-III, che include note infermieristiche e riepiloghi delle dimissioni. Abbiamo testato quattro modelli avanzati chiamati BART, T5, Longformer e FLAN-T5 per vedere quanto bene potevano creare diverse sezioni di un riepilogo di dimissione. I nostri risultati hanno mostrato che utilizzare le note infermieristiche come fonte e sezioni specifiche del riepilogo di dimissione come obiettivo ha prodotto risultati migliori.

Abbiamo scoperto che il modello BART è migliorato notevolmente dopo l'addestramento, con un aumento di punteggio del 43,6% rispetto alla sua versione originale. Il modello T5 ha generalmente ottenuto punteggi migliori rispetto agli altri, mentre il modello FLAN-T5 ha raggiunto il punteggio più alto in assoluto.

Questo lavoro mostra che possiamo generare parti dei riepiloghi di dimissione automaticamente, il che potrebbe aiutare a ridurre il carico di lavoro per i fornitori di assistenza sanitaria. Addestrare i modelli con sezioni specifiche ha portato a risultati migliori rispetto al tentativo di riassumere l'intero rapporto tutto in una volta. Il fine-tuning dei modelli addestrati con istruzioni ha mostrato risultati migliori quando si riassumevano report interi.

Il riepilogo alla dimissione è un documento cruciale presente negli EHR che dettaglia le condizioni mediche di un paziente e la cura durante il suo soggiorno in ospedale. Sfortunatamente, i professionisti medici spesso passano più tempo a scrivere questi riassunti che a prendersi cura dei pazienti, creando un onere per il sistema quando si tratta di condividere informazioni sulla salute.

#Sfide

Molti ospedali si trovano ad affrontare difficoltà nel condividere informazioni sanitarie tra istituzioni. I problemi comuni includono mancanza di risorse, interfacce software complicate e difficoltà nel trovare le informazioni giuste. Per affrontare questi problemi, abbiamo esaminato come i modelli di linguaggio moderni possano aiutare a creare dataset organizzati per i riepiloghi di dimissione.

Ricerche passate suggeriscono che lavorare con dati grezzi, non annotati, può essere più complesso rispetto all'utilizzo di dati etichettati. Tuttavia, poiché i dati non annotati sono più accessibili, li abbiamo utilizzati per creare dataset annotati per addestrare i modelli di linguaggio.

Ci sono due tipi di riassunti che questi modelli possono produrre: estrattivi e astratti. I riassunti estrattivi estraggono frasi dai documenti originali, mentre quelli astratti usano il linguaggio del modello per riassumere il contenuto. I modelli di linguaggio stanno diventando sempre più popolari per riassumere testi sia medici che non medici.

#Domande di ricerca

Volevamo rispondere a due domande principali:

1. Quali modelli e metodi di addestramento sono i migliori per i riassunti di testi medici di alta qualità?
2. Quali sezioni di un riepilogo di dimissione possiamo generare automaticamente utilizzando le note infermieristiche?

#Sintesi generale dei testi

In questa sezione, abbiamo esaminato le tecniche utilizzate nella sintesi dei testi generali. Le tecniche di sintesi possono essere suddivise in due categorie principali: estrattive e astratte. La sintesi estrattiva seleziona frasi dai testi originali per creare un riassunto, mentre la sintesi astrattiva genera nuove frasi utilizzando il vocabolario del modello.

Un esempio di modello di sintesi estrattiva è il riassuntore Luhn. Sceglie frasi in base al numero di parole importanti presenti. Un altro modello comune è LEAD-3, che sceglie le prime tre frasi dal documento originale. Ci sono anche modelli che trovano argomenti all'interno dei documenti per riassumerli.

BART è uno dei modelli migliori per la sintesi astrattiva. Utilizza una combinazione di modelli encoder e decoder per creare i suoi output. Altri modelli includono T5, che è stato addestrato su vari compiti legati al testo, e Longformer, che può gestire testi lunghi. FLAN-T5 è una versione migliorata di T5, addestrata su molti task aggiuntivi.

Per il nostro studio, abbiamo confrontato questi quattro modelli: BART, T5, FLAN-T5 e Longformer. Abbiamo scelto BART per le sue ottime prestazioni su diversi dataset di riferimento. T5 è stato incluso per la sua capacità di eseguire molti compiti. Abbiamo incluso FLAN-T5 per vedere come si confronta con T5. Infine, abbiamo testato Longformer perché può elaborare documenti lunghi meglio della maggior parte dei modelli.

#Sintesi EHR

I fornitori di assistenza sanitaria spesso faticano con il sovraccarico di informazioni provenienti dagli EHR, il che porta a meno tempo trascorso con i pazienti. C'è una crescente domanda di sistemi automatizzati per combinare rapporti clinici in sintesi mediche concise. La maggior parte delle attuali sintesi EHR utilizza metodi estrattivi, il che significa che prendono frasi direttamente dai documenti medici originali.

Alcuni ricercatori hanno creato anche metodi astrattivi che riassumono documenti medici. Ad esempio, alcuni studi hanno generato sezioni specifiche di rapporti utilizzando risultati provenienti da altri documenti medici.

Per gestire lunghi testi medici producendo comunque sintesi concise, alcuni metodi combinano tecniche estrattive e astrattive. I nostri design di dataset sono simili, utilizzando documenti clinici grezzi per creare coppie sorgente-obiettivo. Questo ci permette di addestrare il nostro modello Astrattivo principale.

#Setup dello studio

Abbiamo sviluppato un dataset di addestramento utilizzando dati del database MIMIC-III, che include informazioni su oltre 40.000 pazienti. Tra i diversi tipi di note, ci siamo concentrati sui riepiloghi delle dimissioni e sulle note infermieristiche.

Per addestrare i modelli, abbiamo creato cinque configurazioni:

1. Tutte le note infermieristiche di un paziente sono state raccolte e abbinate al loro riepilogo delle dimissioni più recente.
2. Abbiamo combinato le note infermieristiche più vecchie e più recenti e usato il riassuntore Luhn per creare l'obiettivo.
3. La configurazione è simile alla configurazione 2, ma l'obiettivo include solo le prime tre righe di ciascuna sezione del riepilogo di dimissione.
4. L'ultima nota infermieristica è la sorgente e la sezione "Storia della malattia attuale" del riepilogo di dimissione è l'obiettivo.
5. Questa configurazione è simile alla configurazione 4 ma include sia la "Storia della malattia attuale" che le "Istruzioni per la dimissione" come obiettivi.

Ogni configurazione contiene diversi punti dati di addestramento e abbiamo trattenuto dati per il test.

#Metriche di valutazione

Per misurare i riassunti prodotti da ciascuna configurazione, abbiamo utilizzato il sistema di punteggio ROUGE. ROUGE valuta quanti vocaboli o frasi corrispondono tra il testo generato e il testo reale. ROUGE-1 misura gli unigrammi, ROUGE-2 misura i bigrammi e ROUGE-L misura la sequenza più lunga di parole condivise.

Abbiamo selezionato quattro modelli per generare riassunti in base a quanto bene possono riassumere il testo. Ogni modello aveva i suoi punti di forza:

1. BART è efficace nel riconoscere le informazioni chiave e creare riassunti.
2. T5 è versatile e può adattarsi a vari compiti.
3. Longformer è specializzato nell'elaborazione di documenti lunghi.
4. FLAN-T5 è una versione avanzata di T5 che funziona bene in molti task.

#Risultati quantitativi

Nei nostri test, la versione fine-tuned di FLAN-T5 ha ottenuto il punteggio più alto in tutte le configurazioni. Questo significa che poteva generare i riepiloghi delle dimissioni con la migliore qualità. I risultati indicano che utilizzare le note infermieristiche in modo efficace aiuta il modello a creare riassunti coerenti.

Per le diverse configurazioni, le prestazioni variavano. Nella configurazione 1, FLAN-T5 ha dominato nei punteggi, mentre la configurazione 2 ha visto T5 esibirsi meglio. La configurazione 3 ha mostrato BART come il migliore, e nelle configurazioni 4 e 5, BART ha nuovamente raggiunto i punteggi più alti.

Abbiamo anche esaminato quanto fosse facile per ogni modello apprendere e generare riassunti. La configurazione 2 è risultata più difficile della configurazione 1, ma le configurazioni 4 e 5 hanno prodotto risultati simili.

#Analisi qualitativa

Oltre ai punteggi quantitativi, abbiamo anche esaminato esempi specifici di riassunti generati. Ad esempio, un modello ha mostrato di poter identificare sezioni come "Servizio" e "Allergie", ma a volte i dettagli erano errati.

Abbiamo analizzato l'accuratezza delle informazioni in sezioni come "Servizio", scoprendo che mentre il modello riconosceva la sezione, non corrispondeva sempre al tipo di servizio corretto.

In un altro esempio di un modello ad alte prestazioni, T5 ha generato con precisione due sezioni del riepilogo di dimissione, sebbene alcune istruzioni per la dimissione fossero più generali che specifiche.

#Importanza clinica

I riepiloghi delle dimissioni contengono informazioni chiave sui pazienti, ma crearli può richiedere molto tempo. Automatizzare questo processo potrebbe aiutare i fornitori di assistenza sanitaria a trascorrere più tempo con i loro pazienti. Il nostro studio ha dimostrato che alcuni modelli di linguaggio possono riassumere efficacemente questi documenti importanti, in particolare FLAN-T5.

I risultati indicano che utilizzare una combinazione di note infermieristiche e concentrarsi sulle sezioni giuste migliora il processo di sintesi.

#Limiti e lavoro futuro

Abbiamo utilizzato solo note infermieristiche per questo studio, ma altri tipi di documenti potrebbero migliorare ulteriormente i riepiloghi di dimissione. Il lavoro futuro può concentrarsi sull'uso di diversi tipi di note per vedere quanto bene possono creare riassunti più accurati.

Miriamo a collaborare con professionisti medici nelle ricerche future, aiutando a migliorare il processo di sintesi con modelli più affidabili e documenti medici più chiari.

#Conclusione

Questo articolo evidenzia i progressi fatti nella generazione automatica di riepiloghi di dimissione dagli registri sanitari elettronici. Abbiamo scoperto che utilizzare note infermieristiche complete e creare riassunti basati su sezioni specifiche può migliorare la qualità dei testi generati attraverso diversi modelli. Ulteriori ricerche possono aiutare a perfezionare e ampliare questi metodi, portando a una documentazione sanitaria più efficace.