Simple Science

Scienza all'avanguardia spiegata semplicemente

# Scienze della salute# Informatica sanitaria

Valutare l'efficacia del punteggio SPARRA

Uno studio sul valore predittivo di SPARRA in diverse popolazioni.

― 6 leggere min


Analisi del punteggioAnalisi del punteggioSPARRA nella sanitàdisparità sanitarie.Valutare le prestazioni predittive e le
Indice

Il sistema sanitario nel Regno Unito sta affrontando grandi problemi. Aumentano i pazienti, le richieste sugli ospedali sono alte e le risorse sono limitate, mettendo sotto pressione il sistema. La pandemia di COVID-19 ha aggravato queste difficoltà, soprattutto nei servizi di assistenza primaria. Per affrontare questi problemi, c'è un bisogno crescente di prendere misure proattive per prevenire i problemi di salute prima che diventino seri. Un'area importante su cui concentrarsi sono i ricoveri ospedalieri urgenti, dove i pazienti necessitano di cure immediate. Molti di questi ricoveri potrebbero essere evitati con una cura e una pianificazione adeguate.

L'importanza di prevedere i ricoveri urgenti

Poiché le risorse nell'assistenza primaria sono limitate, è fondamentale utilizzare ciò che è disponibile in modo saggio. Essere in grado di prevedere chi è a rischio di ricoveri urgenti può aiutare i fornitori di assistenza sanitaria a concentrare i loro sforzi dove sono più necessari. Identificare i pazienti che trarrebbero maggior beneficio da un intervento precoce può migliorare i Risultati di salute complessivi e ridurre la pressione sugli ospedali.

Il punteggio SPARRA

Lo Scottish Patients At Risk of Readmission and Admission (SPARRA) è uno strumento usato in Scozia per stimare il rischio di un individuo di aver bisogno di cure ospedaliere urgenti nell'anno successivo. Public Health Scotland calcola questo punteggio utilizzando dati delle cartelle cliniche in tutto il paese. La prima versione di SPARRA è stata introdotta nel 2006, con l'ultima versione, SPARRAv3, in uso dal 2012. Una nuova versione, SPARRAv4, dovrebbe essere introdotta nel 2024. I punteggi SPARRA aiutano i medici a pianificare le cure appropriate per i loro pazienti e possono anche essere usati per stimare i bisogni futuri degli ospedali a un livello più ampio.

Comprendere le prestazioni di SPARRA tra diversi gruppi

Il nostro obiettivo era capire come funziona il punteggio SPARRA in diversi gruppi di persone, come quelle che vivono in aree urbane rispetto a quelle rurali, e quelle provenienti da vari contesti socioeconomici. Crediamo che l'efficacia del punteggio possa differire a causa di variazioni in età, sesso e accesso ai servizi sanitari. Se i medici si basano sui punteggi SPARRA senza riconoscere queste differenze, potrebbero evitare di usare questo strumento prezioso, il che potrebbe peggiorare le disuguaglianze sanitarie in Scozia.

Valutare le prestazioni di SPARRA

Nel nostro studio, abbiamo esaminato da vicino quanto bene SPARRA funzioni tra diversi gruppi di persone. Abbiamo analizzato dati provenienti da diverse demografie, compresi età, sesso, Stato socioeconomico, etnia e se le persone vivevano in aree urbane o rurali. I nostri risultati, insieme ai nostri metodi, sono disponibili pubblicamente online per chiunque voglia accedervi.

La nostra analisi principale si è concentrata su SPARRAv3, che è stato ampiamente usato dal 2012. Abbiamo utilizzato una data fissa nel passato e raccolto vari dati sanitari per vedere quanto bene il punteggio SPARRA prevedesse i ricoveri urgenti. Abbiamo incluso condizioni di salute a lungo termine, visite ambulatoriali e persino informazioni sulle prescrizioni.

Definire i gruppi per valutare SPARRA

Abbiamo diviso gli individui in diversi gruppi basati sulle loro caratteristiche demografiche. Ad esempio, abbiamo confrontato le persone sopra i 65 anni con quelle sotto i 25 e abbiamo esaminato i gruppi socioeconomici più e meno svantaggiati. Abbiamo anche esaminato l'etnia, la vita urbana rispetto a quella rurale e se le persone vivevano sulla terraferma o su un'isola. Per ogni gruppo, abbiamo escluso i casi in cui mancavano dati per mantenere l'analisi accurata.

Metodi usati per valutare SPARRA

Per valutare quanto bene ha funzionato il punteggio SPARRA, abbiamo utilizzato diversi metodi statistici comuni nella ricerca sul machine learning. Questi includevano misure di quanto bene il punteggio potesse distinguere tra coloro che avrebbero avuto bisogno di cure urgenti e quelli che non ne avrebbero avuto, così come quanto accuratamente il punteggio prevedesse i risultati.

Abbiamo calcolato la distribuzione dei punteggi tra vari gruppi e li abbiamo confrontati per vedere se ci fossero differenze significative. Abbiamo anche esaminato quanti falsi positivi (dove il punteggio indicava una persona a rischio più alto di quanto fosse in realtà) e falsi negativi (dove il punteggio sottovalutava il rischio) si sono verificati in ciascun gruppo.

Risultati chiave sulla distribuzione del punteggio

I nostri risultati hanno indicato differenze nella distribuzione dei punteggi SPARRA tra vari gruppi. Ad esempio, le persone più grandi tendevano ad avere punteggi più alti rispetto ai più giovani. Anche se il sesso era un fattore nel calcolo del punteggio, non mostrava grandi differenze nella distribuzione dei punteggi.

Curiosamente, le persone nelle aree più svantaggiate avevano punteggi più alti, ma queste differenze erano più complesse di quanto apparissero inizialmente. Questo suggerisce che altri fattori, come età e accesso ai servizi sanitari, hanno anche avuto un ruolo.

Esaminare la performance predittiva

Abbiamo valutato quanto accuratamente il punteggio SPARRA classificava le persone per rischio e quanto bene corrispondeva i risultati previsti con gli eventi reali. Anche se il punteggio SPARRA era generalmente ben calibrato tra tutti i gruppi, abbiamo notato che alcuni gruppi si comportavano meglio in termini di precisione predittiva.

Ad esempio, le persone più grandi si sono comportate meglio delle più giovani nel prevedere chi avesse bisogno di cure urgenti. Abbiamo anche scoperto che le persone di diverse etnie avevano livelli variabili di performance predittiva, evidenziando l'importanza di considerare fattori demografici nell'uso del punteggio.

Falsi negativi e falsi positivi

La nostra analisi ha rivelato differenze notevoli nei tassi di falsi positivi e falsi negativi tra i gruppi. In generale, i giovani e quelli provenienti da aree meno svantaggiate mostravano tassi più alti di falsi positivi, il che significa che erano stati identificati erroneamente come a rischio più basso di quanto non dovessero. Al contrario, le persone più grandi e quelle delle aree urbane avevano tassi più elevati di falsi negativi, indicando una tendenza a non identificare coloro che avevano realmente bisogno di assistenza.

È particolarmente preoccupante che i falsi negativi possano significare che le persone vulnerabili potrebbero non ricevere cure essenziali a causa di una sottovalutazione dei loro rischi.

Comprendere i tipi di ricovero tra i falsi negativi

Per capire meglio perché alcune persone avessero punteggi SPARRA bassi ma affrontassero comunque ricoveri urgenti o morti, abbiamo esaminato i tipi di ricoveri tra questi falsi negativi. Per molti gruppi, le ragioni comuni per il ricovero includevano cause esterne come incidenti o infortuni, che potrebbero non essere prevedibili.

Al contrario, alcune condizioni di salute, come problemi respiratori, mostravano una minore frequenza tra coloro considerati a basso rischio da SPARRA, suggerendo che lo strumento potesse avere difficoltà ad identificare accuratamente queste condizioni.

Conclusione e implicazioni per la pratica

I nostri risultati evidenziano l'importanza di considerare vari fattori demografici quando si usa il punteggio SPARRA nella pratica clinica. Anche se generalmente è ben calibrato, le differenze rivelate dalla nostra analisi indicano che i fornitori di assistenza sanitaria dovrebbero essere consapevoli di come il punteggio possa funzionare diversamente tra i gruppi.

Crediamo che sia essenziale approcciare l'uso di SPARRA con una comprensione delle sue limitazioni e punti di forza. Piuttosto che tentare di modificare il punteggio per eliminare le differenze, potrebbe essere più utile riconoscerle e usarle per informare le decisioni. In definitiva, il nostro lavoro fa luce sulle complessità dell'uso di punteggi predittivi nella sanità e sottolinea la necessità di una valutazione continua e miglioramenti nei servizi sanitari per affrontare efficacemente le disuguaglianze.

Fonte originale

Titolo: Differential behaviour of a risk score for emergency hospital admission by demographics in Scotland --- a retrospective study

Estratto: The Scottish Patients at Risk of Re-Admission and Admission (SPARRA) score predicts individual risk of emergency hospital admission for approximately 80% of the Scottish population. It was developed using routinely collected electronic health records, and is used by primary care practitioners to inform anticipatory care, particularly for individuals with high healthcare needs. We comprehensively assess the SPARRA score across population subgroups defined by age, sex, ethnicity, socioeconomic deprivation, and geographic location. For these subgroups, we consider differences in overall performance, score distribution, and false positive and negative rates, using causal methods to identify effects mediated through age, sex, and deprivation. We show that the score is well-calibrated across subgroups, but that rates of false positives and negatives vary widely, mediated by a range of causes. Our work assists practitioners in the application and interpretation of the SPARRA score in population subgroups. Research in contextO_ST_ABSEvidence before this studyC_ST_ABSThere is considerable literature on the general topic of differential performance of risk scores across population subgroups and its implications. A shared theme is the importance of identifying and quantifying such differential performance. We performed a MedLine and Google Scholar search with the single term SPARRA, and consulted colleagues at Public Health Scotland about any previous internal analyses. Several articles assessed the accuracy of SPARRA and discussed its role in the Scottish healthcare system since its introduction in 2006, but none looked in detail at differential performance between specific demographic groups. Added value of this studyWe provide a comprehensive assessment of the performance of the SPARRA score across a range of population subgroups in several ways. We systematically examined differences in performance using a range of metrics. We identify notable areas of differential performance associated with age, sex, socioeconomic deprivation, ethnicity and residence location (mainland versus island; urban versus rural). We also examined the pattern of errors in prediction across medical causes of emergency admission, finding that, to variable degrees across groups, cardiac and respiratory admissions are more likely to be correctly predicted from electronic health records. Overall, our work provides an atlas of performance measures for SPARRA and partly explains how between-group performance differences arise. Implications of all the available evidenceThe precision by which the SPARRA score can predict emergency hospital admissions differs between population subgroups. These differences are largely driven by variation in performance across age and sex, as well as the predictability of different causes of admission. Awareness of these differences is important when making decisions based on the SPARRA score.

Autori: James Liley, I. Thoma, S. Rogers, J. Ireland, R. Porteous, K. Borland, C. Vallejos, L. Aslett

Ultimo aggiornamento: 2024-02-14 00:00:00

Lingua: English

URL di origine: https://www.medrxiv.org/content/10.1101/2024.02.13.24302753

Fonte PDF: https://www.medrxiv.org/content/10.1101/2024.02.13.24302753.full.pdf

Licenza: https://creativecommons.org/licenses/by/4.0/

Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.

Si ringrazia medrxiv per l'utilizzo della sua interoperabilità ad accesso aperto.

Altro dagli autori

Articoli simili