Bewertung der Effektivität des SPARRA-Scores
Eine Studie über den prädiktiven Wert von SPARRA in verschiedenen Bevölkerungsgruppen.
― 6 min Lesedauer
Inhaltsverzeichnis
- Die Bedeutung der Vorhersage von Notaufnahmen
- Der SPARRA-Score
- Verständnis der SPARRA-Leistung in verschiedenen Gruppen
- Bewertung der SPARRA-Leistung
- Gruppen definieren zur Bewertung von SPARRA
- Methoden zur Bewertung von SPARRA
- Wichtige Ergebnisse zur Verteilung des Scores
- Untersuchung der prädiktiven Leistung
- Falsch-negative und falsch-positive Ergebnisse
- Verständnis der Aufnahmetypen unter falsch-negativen Ergebnissen
- Fazit und Implikationen für die Praxis
- Originalquelle
Das Gesundheitssystem im UK steht vor grossen Herausforderungen. Mehr Patienten, hohe Anforderungen an die Krankenhäuser und begrenzte Ressourcen setzen das System unter Druck. Die COVID-19-Pandemie hat diese Probleme, vor allem in der Primärversorgung, noch verschärft. Um diese Herausforderungen anzugehen, wird immer deutlicher, dass proaktive Schritte nötig sind, um Gesundheitsprobleme zu verhindern, bevor sie ernst werden. Ein wichtiger Fokus liegt auf Notaufnahmen, wo Patienten dringend Hilfe brauchen. Viele dieser Aufnahmen könnten mit der richtigen Pflege und Planung vermieden werden.
Die Bedeutung der Vorhersage von Notaufnahmen
Da die Ressourcen in der Primärversorgung begrenzt sind, ist es wichtig, das, was da ist, klug zu nutzen. Vorhersagen zu können, wer ein Risiko für Notaufnahmen hat, kann den Gesundheitsdienstleistern helfen, ihre Bemühungen dort zu konzentrieren, wo sie am dringendsten gebraucht werden. Patienten zu identifizieren, die am meisten von frühzeitiger Intervention profitieren würden, kann die Gesundheitsergebnisse insgesamt verbessern und die Belastung der Krankenhäuser reduzieren.
Der SPARRA-Score
Der Scottish Patients At Risk of Readmission and Admission (SPARRA) ist ein Tool, das in Schottland verwendet wird, um das Risiko eines Individuums einzuschätzen, im nächsten Jahr eine Notfallkrankenhausversorgung zu benötigen. Public Health Scotland berechnet diesen Score anhand von Daten aus den Gesundheitsakten im ganzen Land. Die erste Version von SPARRA wurde 2006 eingeführt, die neueste Version, SPARRAv3, wird seit 2012 verwendet. Eine neue Version, SPARRAv4, soll 2024 eingeführt werden. Die SPARRA-Scores helfen Ärzten, die passende Pflege für ihre Patienten zu planen und können auch verwendet werden, um zukünftige Krankenhausbedarfe auf breiterer Ebene abzuschätzen.
Verständnis der SPARRA-Leistung in verschiedenen Gruppen
Wir wollten verstehen, wie der SPARRA-Score in verschiedenen Personengruppen funktioniert, zum Beispiel in städtischen versus ländlichen Gebieten und bei Menschen aus unterschiedlichen sozioökonomischen Hintergründen. Wir glauben, dass die Effektivität des Scores aufgrund von Unterschieden in Alter, Geschlecht und Zugang zu Gesundheitsdiensten variieren könnte. Wenn Ärzte sich auf SPARRA-Scores verlassen, ohne diese Unterschiede zu erkennen, könnten sie dieses wertvolle Tool meiden, was die gesundheitlichen Ungleichheiten in Schottland verschärfen könnte.
Bewertung der SPARRA-Leistung
In unserer Studie haben wir uns genau angeschaut, wie gut SPARRA in verschiedenen Gruppen von Menschen funktioniert. Wir haben Daten aus verschiedenen demografischen Gruppen analysiert, einschliesslich Alter, Geschlecht, sozioökonomischem Status, Ethnie und ob die Personen in städtischen oder ländlichen Gebieten lebten. Unsere Ergebnisse sowie unsere Methoden sind online öffentlich zugänglich.
Unsere Hauptanalyse konzentrierte sich auf SPARRAv3, das seit 2012 weit verbreitet ist. Wir haben ein festes Datum in der Vergangenheit verwendet und verschiedene Gesundheitsakten gesammelt, um zu sehen, wie gut der SPARRA-Score Notaufnahmen vorhersagte. Wir schlossen langfristige Gesundheitszustände, Besuche in der Ambulanz und sogar Informationen über Rezepte ein.
Gruppen definieren zur Bewertung von SPARRA
Wir haben Personen in verschiedene Gruppen auf der Grundlage ihrer demografischen Merkmale eingeteilt. Zum Beispiel verglichen wir Personen über 65 mit Personen unter 25 und schauten uns die am meisten und am wenigsten benachteiligten sozioökonomischen Gruppen an. Wir untersuchten auch Ethnie, städtisches versus ländliches Leben und ob die Personen auf dem Festland oder auf einer Insel lebten. Für jede Gruppe schlossen wir Fälle aus, in denen Daten fehlten, um die Analyse genau zu halten.
Methoden zur Bewertung von SPARRA
Um zu bewerten, wie gut der SPARRA-Score funktionierte, verwendeten wir mehrere statistische Methoden, die in der Maschinenlern-Forschung üblich sind. Dazu gehörten Massnahmen, wie gut der Score zwischen denen, die eine Notfallversorgung benötigen, und denen, die es nicht tun, unterscheiden konnte, sowie wie genau der Score Ergebnisse vorhersagte.
Wir berechneten die Verteilung der Scores unter verschiedenen Gruppen und verglichen sie, um zu sehen, ob signifikante Unterschiede existierten. Wir schauten uns auch an, wie viele falsch-positive (wo der Score eine Person als höheres Risiko einschätzte, als sie tatsächlich hatte) und falsch-negative (wo der Score das Risiko unterschätzte) Fälle in jeder Gruppe auftraten.
Wichtige Ergebnisse zur Verteilung des Scores
Unsere Ergebnisse zeigten Unterschiede in der Verteilung der SPARRA-Scores unter verschiedenen Gruppen. Ältere Personen hatten tendentiell höhere Scores im Vergleich zu jüngeren. Obwohl das Geschlecht ein Faktor bei der Berechnung des Scores war, zeigte es keine grossen Unterschiede in der Verteilung.
Interessanterweise hatten Menschen in den am meisten benachteiligten Gebieten höhere Scores, aber diese Unterschiede waren komplexer als sie auf den ersten Blick schienen. Dies deutet darauf hin, dass auch andere Faktoren, wie Alter und Zugang zu Gesundheitsdiensten, eine Rolle spielten.
Untersuchung der prädiktiven Leistung
Wir bewerteten, wie genau der SPARRA-Score Menschen nach Risiko einstufte und wie gut er prognostizierte Ergebnisse mit tatsächlichen Ereignissen übereinstimmte. Während der SPARRA-Score im Allgemeinen gut kalibriert war, stellten wir fest, dass bestimmte Gruppen in Bezug auf die Vorhersagegenauigkeit besser abschnitten.
Ältere Personen schnitten beispielsweise besser ab als jüngere, wenn es darum ging, wer dringend Pflege benötigte. Wir fanden auch heraus, dass Personen aus verschiedenen ethnischen Hintergründen unterschiedliche Ebenen der prädiktiven Leistung hatten, was die Bedeutung des Berücksichtigens demografischer Faktoren bei der Anwendung des Scores unterstreicht.
Falsch-negative und falsch-positive Ergebnisse
Unsere Analyse offenbarte deutliche Unterschiede in den Raten für falsch-positive und falsch-negative Ergebnisse in verschiedenen Gruppen. Im Allgemeinen hatten jüngere Menschen und Personen aus weniger benachteiligten Gebieten höhere Raten für falsch-positive Ergebnisse, was bedeutete, dass sie fälschlicherweise als weniger risikobehaftet identifiziert wurden, als sie tatsächlich waren. Im Gegensatz dazu hatten ältere Personen und Menschen aus städtischen Gebieten höhere Raten für falsch-negative Ergebnisse, was darauf hindeutet, dass diejenigen, die tatsächlich Pflege benötigten, möglicherweise nicht erkannt wurden.
Es ist besonders besorgniserregend, dass falsch-negative Ergebnisse bedeuten könnten, dass gefährdete Personen essentielle Pflege aufgrund der Unterschätzung ihrer Risiken verpassen könnten.
Verständnis der Aufnahmetypen unter falsch-negativen Ergebnissen
Um besser zu verstehen, warum bestimmte Personen niedrige SPARRA-Scores hatten, aber trotzdem Notaufnahmen oder sogar Todesfälle erlitten, schauten wir uns die Arten von Aufnahmen unter diesen falsch-negativen Ergebnissen an. Bei vielen Gruppen waren häufige Aufnahmegründe externe Ursachen wie Unfälle oder Verletzungen, die möglicherweise nicht vorhersehbar sind.
Im Gegensatz dazu zeigten bestimmte Gesundheitszustände, wie Atemwegserkrankungen, eine niedrigere Häufigkeit bei denen, die von SPARRA als niedrig-riskant eingestuft wurden, was darauf hindeutet, dass das Tool Schwierigkeiten haben könnte, diese Zustände genau zu identifizieren.
Fazit und Implikationen für die Praxis
Unsere Ergebnisse heben hervor, wie wichtig es ist, verschiedene demografische Faktoren zu berücksichtigen, wenn man den SPARRA-Score in der klinischen Praxis anwendet. Obwohl er im Allgemeinen gut kalibriert ist, zeigen die Unterschiede, die unsere Analyse offenbarte, dass Gesundheitsdienstleister sich bewusst sein sollten, wie der Score in verschiedenen Gruppen unterschiedlich funktionieren könnte.
Wir glauben, dass es entscheidend ist, den SPARRA-Score mit einem Verständnis seiner Einschränkungen und Stärken zu nutzen. Anstatt zu versuchen, den Score zu verändern, um Unterschiede zu beseitigen, könnte es sinnvoller sein, diese Unterschiede zu erkennen und sie in die Entscheidungsfindung einfliessen zu lassen. Letztendlich gewährt unsere Arbeit Einblicke in die Feinheiten der Nutzung prädiktiver Scores im Gesundheitswesen und betont die Notwendigkeit einer kontinuierlichen Evaluation und Verbesserung der Gesundheitsdienste, um Ungleichheiten wirksam zu begegnen.
Titel: Differential behaviour of a risk score for emergency hospital admission by demographics in Scotland --- a retrospective study
Zusammenfassung: The Scottish Patients at Risk of Re-Admission and Admission (SPARRA) score predicts individual risk of emergency hospital admission for approximately 80% of the Scottish population. It was developed using routinely collected electronic health records, and is used by primary care practitioners to inform anticipatory care, particularly for individuals with high healthcare needs. We comprehensively assess the SPARRA score across population subgroups defined by age, sex, ethnicity, socioeconomic deprivation, and geographic location. For these subgroups, we consider differences in overall performance, score distribution, and false positive and negative rates, using causal methods to identify effects mediated through age, sex, and deprivation. We show that the score is well-calibrated across subgroups, but that rates of false positives and negatives vary widely, mediated by a range of causes. Our work assists practitioners in the application and interpretation of the SPARRA score in population subgroups. Research in contextO_ST_ABSEvidence before this studyC_ST_ABSThere is considerable literature on the general topic of differential performance of risk scores across population subgroups and its implications. A shared theme is the importance of identifying and quantifying such differential performance. We performed a MedLine and Google Scholar search with the single term SPARRA, and consulted colleagues at Public Health Scotland about any previous internal analyses. Several articles assessed the accuracy of SPARRA and discussed its role in the Scottish healthcare system since its introduction in 2006, but none looked in detail at differential performance between specific demographic groups. Added value of this studyWe provide a comprehensive assessment of the performance of the SPARRA score across a range of population subgroups in several ways. We systematically examined differences in performance using a range of metrics. We identify notable areas of differential performance associated with age, sex, socioeconomic deprivation, ethnicity and residence location (mainland versus island; urban versus rural). We also examined the pattern of errors in prediction across medical causes of emergency admission, finding that, to variable degrees across groups, cardiac and respiratory admissions are more likely to be correctly predicted from electronic health records. Overall, our work provides an atlas of performance measures for SPARRA and partly explains how between-group performance differences arise. Implications of all the available evidenceThe precision by which the SPARRA score can predict emergency hospital admissions differs between population subgroups. These differences are largely driven by variation in performance across age and sex, as well as the predictability of different causes of admission. Awareness of these differences is important when making decisions based on the SPARRA score.
Autoren: James Liley, I. Thoma, S. Rogers, J. Ireland, R. Porteous, K. Borland, C. Vallejos, L. Aslett
Letzte Aktualisierung: 2024-02-14 00:00:00
Sprache: English
Quell-URL: https://www.medrxiv.org/content/10.1101/2024.02.13.24302753
Quell-PDF: https://www.medrxiv.org/content/10.1101/2024.02.13.24302753.full.pdf
Lizenz: https://creativecommons.org/licenses/by/4.0/
Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.
Vielen Dank an medrxiv für die Nutzung seiner Open-Access-Interoperabilität.