Confronto tra modelli predittivi per i ricoveri in ospedale

Nei reparti di emergenza (ED), il processo di triage dei pazienti è fondamentale per capire chi ha bisogno di assistenza immediata. Questo processo ha un ruolo importante negli esiti per i pazienti e nell'efficacia della cura fornita. Identificare rapidamente i pazienti che necessitano di ospedalizzazione urgente può essere una questione di vita o di morte. Le note di triage degli infermieri sono essenziali in questo processo, poiché contengono informazioni dettagliate sulle condizioni di ciascun paziente al momento dell'arrivo in ospedale.

Con l'aumento del machine learning, ci sono nuove opzioni per migliorare il modo in cui i professionisti sanitari classificano i pazienti e prendono decisioni. Si stanno sviluppando tecnologie avanzate in grado di analizzare efficacemente queste note di triage degli infermieri. Un modello notevole in questo campo si chiama BERT, progettato per elaborare il linguaggio in modo più efficace rispetto ai metodi tradizionali.

BERT può capire meglio il contesto delle parole grazie al suo design unico. Nel tempo, sono state create versioni più specializzate di BERT per campi specifici come la medicina, una delle quali si chiama Bio-Clinical-BERT. Questo studio esplora quanto bene Bio-Clinical-BERT possa prevedere se un paziente sarà ospedalizzato rispetto a un metodo più semplice noto come Bag of Words (BOW) combinato con Logistic Regression (LR) e Tf-Idf.

#Scopo dello studio

L'obiettivo di questo studio è confrontare questi due metodi-Bio-Clinical-BERT e il modello più semplice BOW LR-per vedere quale dei due è migliore nel predire le Ammissioni in ospedale utilizzando le note di triage degli infermieri. Mentre Bio-Clinical-BERT potrebbe fornire previsioni più accurate, è anche molto intensivo in termini di risorse e richiede competenze specializzate per funzionare. Al contrario, il metodo più semplice è più facile da implementare e meno esigente in termini di potenza di calcolo.

Crediamo che, anche se Bio-Clinical-BERT potrebbe esibirsi meglio, il surplus di sforzo, risorse e conoscenze richieste potrebbe non valere la pena rispetto al metodo più semplice. Per testarlo, abbiamo studiato oltre un milione di note di triage degli infermieri provenienti da un grande sistema sanitario.

#Fonti dei dati

Per la nostra analisi, abbiamo raccolto dati dal Mount Sinai Health System di New York City. Abbiamo utilizzato registri dell'ED di cinque diversi ospedali su un periodo di cinque anni, dal 2017 al 2022. Questo dataset include una varietà di pazienti provenienti da diversi contesti.

I cinque ospedali partecipanti al nostro studio servono ciascuno diverse comunità all'interno di New York City. Includono il Mount Sinai Hospital, Mount Sinai Morningside, Mount Sinai West, Mount Sinai Brooklyn e Mount Sinai Queens. Abbiamo compilato i dati utilizzando il software Epic Electronic Health Records, che aiuta a gestire e analizzare i dati sanitari in modo efficiente.

#Sviluppo del modello

Abbiamo sviluppato e testato i nostri modelli utilizzando dati provenienti da quattro degli ospedali. Abbiamo messo da parte un dataset diverso dal Mount Sinai Queens per test esterni, il che aiuta a garantire che i nostri risultati si applichino a una popolazione più ampia.

Il nostro processo di addestramento ha coinvolto la validazione incrociata a cinque pieghe, il che significa che abbiamo diviso i dati in cinque parti per assicurarci che i nostri modelli fossero ben validati. Abbiamo addestrato su diverse dimensioni dei set di addestramento per vedere come le prestazioni cambiavano con più dati. I due modelli principali che abbiamo testato erano Bio-Clinical-BERT e BOW Logistic Regression con caratteristiche Tf-Idf.

Per Bio-Clinical-BERT, abbiamo seguito linee guida specifiche per l'elaborazione e la preparazione del testo. Lo stesso valeva per il nostro metodo più semplice, che ha utilizzato anche metodi consolidati per gestire i dati testuali.

#Popolazione dello studio

La popolazione per questo studio ha incluso adulti di età pari o superiore a 18 anni che avevano visitato l'ED nel periodo di cinque anni specificato.

#Definizione dell'esito

L'esito principale era determinare quanto efficacemente i nostri modelli potessero prevedere quali pazienti sarebbero stati ospedalizzati basandosi sui dati disponibili da registri elettronici di salute e note di triage degli infermieri.

#Valutazione del modello

Per valutare i nostri modelli, abbiamo utilizzato vari metriche di performance. Queste includono metriche che misurano l'accuratezza delle previsioni, quanto il modello è sensibile ai veri positivi e la sua capacità di identificare correttamente i negativi.

#Considerazioni etiche

Questo studio è stato retrospettivo e abbiamo ottenuto l'approvazione da un comitato etico. Poiché lo studio ha utilizzato dati passati senza il coinvolgimento diretto dei pazienti, non è stato necessario acquisire il consenso individuale dai pazienti.

#Analisi statistica

La nostra analisi è stata condotta utilizzando software Python. Abbiamo riportato varie metriche e risultati statistici per valutare l'efficacia dei nostri modelli. Le parole importanti collegate all'ammissione in ospedale sono state calcolate e abbiamo utilizzato test standard per confrontare le prestazioni dei nostri modelli.

#Quadro tecnico

Il lavoro tecnico per questo studio è stato svolto in un ambiente controllato che combina infrastrutture locali e risorse cloud. Abbiamo utilizzato configurazioni diverse per il metodo BOW e il modello Bio-Clinical-BERT, con quest'ultimo che richiedeva risorse di cloud computing più potenti.

#Dati dei pazienti

Un totale di 1.745.199 pazienti è stato incluso nel Mount Sinai Health System. Dopo aver escluso i pazienti sotto i 18 anni, abbiamo analizzato i dati di 1.391.988 partecipanti.

#Prestazioni del modello

Dopo aver addestrato sia il modello Bio-Clinical-BERT che il BOW LR, abbiamo valutato le loro prestazioni utilizzando dati riservati per il testing. I risultati hanno dimostrato che Bio-Clinical-BERT generalmente forniva una migliore accuratezza predittiva rispetto al modello più semplice, mostrando che poteva identificare i pazienti ospedalizzati con maggiore successo.

Tuttavia, le differenze di prestazione tra i due modelli non erano abbastanza significative da trascurare la praticità del metodo più semplice. Per le organizzazioni con risorse limitate, potrebbe essere più facile e conveniente utilizzare il modello più semplice.

#Discussione sui risultati

In questo studio, abbiamo confrontato due modelli predittivi nella previsione delle ospedalizzazioni basate sulle note di triage degli infermieri. I nostri risultati suggeriscono che, mentre Bio-Clinical-BERT ha un leggero vantaggio, gli ospedali con risorse limitate possono trovare il modello più semplice un'alternativa ragionevole.

Ricerche precedenti hanno indicato che modelli come BERT tendono a performare leggermente meglio rispetto a metodi più semplici come Logistic Regression. Tuttavia, date le richieste di Bio-Clinical-BERT in termini di risorse computazionali, potrebbe non essere sempre la scelta migliore per ogni contesto sanitario.

#Implicazioni per la salute

La capacità di prevedere efficacemente le ospedalizzazioni può migliorare notevolmente la cura dei pazienti. Questo può portare a una migliore gestione delle risorse e del flusso dei pazienti all'interno degli ospedali. Quando si deve scegliere tra modelli più complessi e più semplici, le organizzazioni sanitarie dovrebbero considerare le loro situazioni specifiche, inclusa la tecnologia disponibile e l'esperienza del personale.

#Limitazioni

Ci sono alcune limitazioni in questo studio. Il dataset era specifico per il Mount Sinai Health System, che potrebbe non riflettere altri sistemi sanitari. Ulteriori ricerche con dataset diversi sono necessarie per una maggiore generalizzabilità. Inoltre, non abbiamo esaminato se combinare entrambi i metodi potrebbe migliorare le prestazioni complessive.

#Ricerche future

Gli studi futuri potrebbero considerare l'uso di modelli pre-addestrati su misura per contesti sanitari specifici. Questo potrebbe richiedere più risorse ma potrebbe portare a prestazioni migliori adattate al linguaggio e al contesto unici di particolari ambienti medici.

#Conclusioni

In sintesi, il nostro studio mostra che, mentre Bio-Clinical-BERT può fornire previsioni leggermente migliori per le ammissioni in ospedale, il modello più semplice BOW LR rimane una forte alternativa per le organizzazioni con meno risorse. Dobbiamo continuare a esplorare vari metodi per migliorare le capacità predittive basate sulle note di triage degli infermieri per migliorare la cura dei pazienti e la gestione sanitaria complessiva.