Simple Science

Scienza all'avanguardia spiegata semplicemente

# Scienze della salute# Gastroenterologia

Nuove intuizioni sui modelli di prognosi per la pancreatite acuta

Esaminando modelli di machine learning per prevedere gli esiti nella pancreatite acuta.

― 7 leggere min


Ripensare i modelli diRipensare i modelli diprognosi per lapancreatiteautomatico nei risultati dei pazienti.l'accuratezza dell'apprendimentoPreoccupazioni sollevate riguardo
Indice

La pancreatite acuta è un'infiammazione improvvisa del pancreas, un organo fondamentale del nostro sistema digestivo. Questa condizione porta a tanti accessi in ospedale, con circa un milione di nuovi casi segnalati ogni anno in tutto il mondo. Le cause della pancreatite acuta variano tra diversi gruppi di persone. Negli adulti, la maggior parte dei casi è dovuta a calcoli biliari e consumo di alcol. Altri fattori possono includere alti livelli di grasso nel sangue, alcuni farmaci, infezioni o traumi.

Gravità della pancreatite acuta

La pancreatite acuta può essere classificata in tre livelli di gravità: lieve, moderatamente grave e grave. La pancreatite acuta grave si identifica quando c'è un'insufficienza in corso in uno o più organi. Se ci sono sia insufficienza d'organo in corso che tessuti infetti nel pancreas, la situazione viene classificata come "critica". Questa categoria critica porta il rischio più alto di complicazioni e morte.

I sopravvissuti alla pancreatite acuta possono continuare a avere problemi di salute a lungo termine. Questi possono includere diabete, episodi ricorrenti o cronici di pancreatite e problemi con il pancreas che non produce abbastanza enzimi digestivi.

La necessità di migliori modelli prognostici

Data la serietà dei rischi per la salute associati alla pancreatite acuta, c'è una forte richiesta di strumenti affidabili che possano prevedere come progredirà la condizione. Il National Institute of Health ha sottolineato l'importanza di creare modelli efficaci per fare queste previsioni in modo accurato. Buoni modelli prognostici hanno molti vantaggi. Possono aiutare nella pianificazione di studi clinici, identificare gruppi di pazienti che potrebbero aver bisogno di metodi di trattamento diversi e assistere nella valutazione rapida dei pazienti in situazioni di emergenza.

Modelli prognostici attuali e loro limiti

La maggior parte dei modelli esistenti per prevedere gli esiti nella pancreatite acuta si basa su metodi statistici. Esempi includono i Criteri di Glasgow e l'Indice a letto per la gravità della pancreatite acuta (BISAP). Tuttavia, questi modelli si sono dimostrati meno efficaci nella pratica. In uno studio che analizzava questi modelli, nessuno era in grado di prevedere un rischio di morte superiore al 14% quando considerato positivo.

Di conseguenza, c'è bisogno di nuovi metodi per migliorare l'accuratezza delle previsioni. Recentemente, i progressi nell'intelligenza artificiale, in particolare nel machine learning, hanno permesso lo sviluppo di nuovi modelli predittivi che non si basano su metodi statistici tradizionali. Questi modelli moderni hanno mostrato promesse nel fornire previsioni migliori, specialmente per condizioni come la pancreatite acuta, dove le relazioni tra fattori e risultati possono essere complesse.

Tuttavia, molti esperti in machine learning hanno sollevato preoccupazioni su come questi modelli sono costruiti. Sono stati notati problemi attorno alla qualità dei metodi di ricerca, alle pratiche utilizzate nella creazione dei modelli e alla mancanza di rendicontazione chiara su questi aspetti.

Per affrontare queste preoccupazioni, è stata condotta una revisione sistematica per valutare studi recenti che hanno proposto nuovi modelli prognostici basati su machine learning per la pancreatite acuta. Questa revisione mirava ad identificare eventuali carenze nella metodologia e nella rendicontazione di questi studi.

Metodologia della revisione

La revisione ha specificamente esaminato studi pubblicati tra gennaio 2021 e dicembre 2023 che sviluppavano o validavano modelli di machine learning per prevedere gli esiti nella pancreatite acuta. Sono stati inclusi solo studi che coinvolgevano pazienti adulti e scritti in inglese. Gli studi focalizzati sulla pancreatite cronica, il cancro al pancreas o la ricerca condotta su animali sono stati esclusi.

Le banche dati MEDLINE ed EMBASE sono state utilizzate per trovare studi pertinenti, concentrandosi sugli ultimi tre anni. Questo periodo è stato scelto perché recentemente ci sono stati notevoli progressi nella gestione della pancreatite acuta che hanno impattato sugli esiti dei pazienti. Era essenziale valutare i modelli basati sui dati di ricerca più recenti.

Due revisori indipendenti hanno esaminato gli studi, e le controversie sono state risolte da una terza parte. La qualità degli studi è stata valutata utilizzando strumenti specifici progettati per valutare bias e qualità della rendicontazione.

Risultati chiave

Su migliaia di studi identificati, solo 30 hanno soddisfatto i criteri di inclusione per la revisione. Questi studi provenivano principalmente dalla Cina, seguita da Stati Uniti, Ungheria, Turchia e Nuova Zelanda. Tutti gli studi hanno riportato la creazione di un nuovo modello di machine learning, ma notevolmente, solo uno ha condotto una validazione esterna per testare il modello su nuovi dati.

La maggior parte della ricerca era retrospettiva, il che significa che guardavano a dati precedenti piuttosto che seguire nuovi pazienti nel tempo per raccogliere informazioni. I tipi di modelli più comuni utilizzati erano metodi basati su alberi e reti neurali. I modelli si concentravano principalmente sulla previsione della gravità della pancreatite acuta o dei tassi di mortalità.

Nonostante le alte prestazioni indicate da un punteggio medio di 0,91 nella misura dell'area-sotto-la-curva (AUC), ogni modello valutato aveva almeno un'area con alto Rischio Di Bias. Anche la qualità della rendicontazione era carente, con elementi essenziali mancanti in molti studi.

Rischio di bias nella metodologia

La revisione ha identificato diverse aree chiave di preoccupazione riguardo al rischio di bias nei modelli valutati.

Dominio dei partecipanti

In quest'area, c'era un alto rischio di bias per la maggior parte dei modelli. Molti non hanno utilizzato le fonti di dati corrette e il modo in cui i partecipanti erano inclusi o esclusi ha sollevato preoccupazioni.

Dominio dei predittori

In termini di predittori, un numero significativo di modelli non ha definito e misurato questi in modo coerente. Molti studi non hanno considerato se gli valutatori erano a conoscenza degli esiti quando valutavano i predittori.

Dominio degli esiti

Molti modelli avevano un alto rischio di bias riguardo agli esiti. Sebbene gli esiti fossero generalmente definiti, molti studi non li hanno determinati con precisione o li hanno riportati male.

Dominio dell'analisi

L'analisi dei dati era un'altra area in cui la maggior parte dei modelli mostrava un alto rischio di bias. Molti non hanno preso misure per prevenire l'overfitting, che si verifica quando un modello funziona bene sui dati di addestramento ma si comporta male su dati nuovi. Un numero significativo di modelli non ha nemmeno riportato quando i dati erano complessi o ha fallito nell'utilizzare dimensioni campionarie adeguate.

Qualità della rendicontazione

La qualità della rendicontazione, valutata secondo linee guida stabilite, è stata anch'essa trovata carente. Molti studi non hanno incluso informazioni vitali su come sono stati costruiti i modelli o discussioni su come gestire i dati mancanti. L'assenza di dettagli su come i modelli potessero essere applicati nelle situazioni cliniche reali era preoccupante.

Implicazioni per la ricerca futura

La revisione evidenzia diverse aree chiave che necessitano di attenzione nella ricerca futura sui modelli di machine learning per la pancreatite acuta. Prima di tutto, migliorare la metodologia e gli standard di rendicontazione è cruciale. Assicurare dimensioni campionarie adeguate e tenere conto dei bias sono passi fondamentali per sviluppare modelli affidabili.

In secondo luogo, stabilire collaborazioni tra istituzioni potrebbe portare a dataset più grandi e diversificati, migliorando la generalizzabilità dei modelli. Inoltre, coinvolgere i pazienti e il pubblico nei processi di ricerca è essenziale per sviluppare modelli equi e accessibili.

Conclusione

Sebbene i modelli prognostici basati su machine learning per la pancreatite acuta mostrino potenziale, è consigliabile procedere con cautela nella loro applicazione. La revisione sottolinea numerose preoccupazioni riguardo alla qualità dei metodi di ricerca e della rendicontazione. Poiché questi modelli sono destinati a supportare le decisioni cliniche, è fondamentale che i ricercatori intraprendano i passi necessari per garantire la loro affidabilità e applicabilità. Concentrandosi su pratiche migliori e trasparenza nella ricerca, gli studi futuri possono lavorare per creare modelli che beneficino davvero i pazienti e i fornitori di assistenza sanitaria.

Fonte originale

Titolo: A Systematic Review of Machine Learning-based Prognostic Models for Acute Pancreatitis: Towards Improving Methods and Reporting Quality

Estratto: BackgroundAn accurate prognostic tool is essential to aid clinical decision making (e.g., patient triage) and to advance personalized medicine. However, such prognostic tool is lacking for acute pancreatitis (AP). Increasingly machine learning (ML) techniques are being used to develop high-performing prognostic models in AP. However, methodologic and reporting quality has received little attention. High-quality reporting and study methodology are critical to model validity, reproducibility, and clinical implementation. In collaboration with content experts in ML methodology, we performed a systematic review critically appraising the quality of methodology and reporting of recently published ML AP prognostic models. MethodsUsing a validated search strategy, we identified ML AP studies from the databases MEDLINE, PubMed, and EMBASE published between January 2021 and December 2023. Eligibility criteria included all retrospective or prospective studies that developed or validated new or existing ML models in patients with AP that predicted an outcome following an episode of AP. Meta-analysis was considered if there was homogeneity in the study design and in the type of outcome predicted. For risk of bias (ROB) assessment, we used the Prediction Model Risk of Bias Assessment Tool (PROBAST). Quality of reporting was assessed using the Transparent Reporting of a Multivariable Prediction Model of Individual Prognosis or Diagnosis - Artificial Intelligence (TRIPOD+AI) statement that defines standards for 27 items that should be reported in publications using ML prognostic models. ResultsThe search strategy identified 6480 publications of which 30 met the eligibility criteria. Studies originated from China (22), U.S (4), and other (4). All 30 studies developed a new ML model and none sought to validate an existing ML model, producing a total of 39 new ML models. AP severity (23/39) or mortality (6/39) were the most common outcomes predicted. The mean area-under-the-curve for all models and endpoints was 0.91 (SD 0.08). The ROB was high for at least one domain in all 39 models, particularly for the analysis domain (37/39 models). Steps were not taken to minimize over-optimistic model performance in 27/39 models. Due to heterogeneity in the study design and in how the outcomes were defined and determined, meta-analysis was not performed. Studies reported on only 15/27 items from TRIPOD+AI standards, with only 7/30 justifying sample size and 13/30 assessing data quality. Other reporting deficiencies included omissions regarding human-AI interaction (28/30), handling low-quality or incomplete data in practice (27/30), sharing analytical codes (25/30), study protocols (25/30) and reporting source data (19/30). DiscussionThere are significant deficiencies in the methodology and reporting of recently published ML based prognostic models in AP patients. These undermine the validity, reproducibility and implementation of these prognostic models despite their promise of superior predictive accuracy. Fundingnone RegistrationResearch Registry (reviewregistry1727)

Autori: Amier Hassan, B. Critelli, I. Lahooti, L. Noh, J. S. Park, K. Tong, A. Lahooti, N. Matzko, J. N. Adams, L. Liss, J. Quion, D. Restrepo, M. Nikahd, S. Culp, A. Lacy-Hulbert, C. Speake, J. Buxbaum, J. Bischof, C. Yazici, A. Evans-Phillips, S. Terp, A. Weissman, D. Conwell, P. Hart, M. Ramsey, S. Krishna, S. Han, E. Park, R. Shah, V. Akshintala, J. A. Windsor, N. K. Mull, G. Papachristou, L. A. Celi, P. Lee

Ultimo aggiornamento: 2024-06-27 00:00:00

Lingua: English

URL di origine: https://www.medrxiv.org/content/10.1101/2024.06.26.24309389

Fonte PDF: https://www.medrxiv.org/content/10.1101/2024.06.26.24309389.full.pdf

Licenza: https://creativecommons.org/licenses/by/4.0/

Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.

Si ringrazia medrxiv per l'utilizzo della sua interoperabilità ad accesso aperto.

Altro dagli autori

Articoli simili