Avaliação da Eficácia do Score SPARRA
Um estudo sobre o valor preditivo do SPARRA em diferentes populações.
― 7 min ler
Índice
- A Importância de Prever Internações de Emergência
- O SPARRA Score
- Entendendo o Desempenho do SPARRA em Diferentes Grupos
- Avaliando o Desempenho do SPARRA
- Definindo Grupos pra Avaliar o SPARRA
- Métodos Usados pra Avaliar o SPARRA
- Principais Descobertas sobre a Distribuição das Pontuações
- Avaliando o Desempenho Preditivo
- Falsos Negativos e Falsos Positivos
- Entendendo os Tipos de Internação entre os Falsos Negativos
- Conclusão e Implicações pra Prática
- Fonte original
O sistema de saúde no Reino Unido tá enfrentando desafios sérios. O aumento no número de pacientes, a pressão alta nos hospitais e a falta de recursos tão deixando tudo bem estressante. A pandemia de COVID-19 piorou essas paradas, principalmente na atenção primária. Pra resolver isso, tá rolando uma necessidade crescente de tomar medidas mais proativas pra prevenir problemas de saúde antes que eles fiquem sérios. Um ponto importante é a internação hospitalar de emergência, onde a galera precisa de atendimento urgente. Muitas dessas internações poderiam ser evitadas com cuidados e planejamento adequados.
A Importância de Prever Internações de Emergência
Como os recursos na atenção primária são limitados, é crucial usar o que tem de forma sábia. Conseguir prever quem tá em risco de internação de emergência pode ajudar os profissionais de saúde a focar seus esforços onde mais precisa. Identificar pacientes que se beneficiariam mais de intervenções precoces pode melhorar os Resultados de Saúde e aliviar a pressão nos hospitais.
O SPARRA Score
O SPARRA (Scottish Patients At Risk of Readmission and Admission) é uma ferramenta usada na Escócia pra estimar o risco de um indivíduo precisar de atendimento hospitalar de emergência no ano seguinte. A Public Health Scotland calcula essa pontuação usando dados de registros de saúde do país todo. A primeira versão do SPARRA foi lançada em 2006, e a atualização mais recente, o SPARRAv3, tá em uso desde 2012. Uma nova versão, o SPARRAv4, deve ser introduzida em 2024. As pontuações do SPARRA ajudam os médicos a planejar cuidados adequados pra seus pacientes e também podem ser usadas pra estimar as necessidades hospitalares futuras em um nível maior.
Entendendo o Desempenho do SPARRA em Diferentes Grupos
A gente quis entender como o SPARRA funciona em diferentes grupos de pessoas, tipo quem mora em áreas urbanas em comparação com quem vive em áreas rurais, e pessoas de diferentes contextos socioeconômicos. Acreditamos que a eficácia da pontuação pode variar por conta de diferenças de idade, sexo e acesso a serviços de saúde. Se os médicos confiarem nos scores do SPARRA sem perceber essas diferenças, pode ser que deixem de usar essa ferramenta valiosa, o que pode piorar as desigualdades em saúde na Escócia.
Avaliando o Desempenho do SPARRA
No nosso estudo, olhamos bem de perto como o SPARRA se sai entre diferentes grupos de pessoas. Analisamos dados de várias demografias, incluindo idade, sexo, Status Socioeconômico, etnia e se a galera mora em áreas urbanas ou rurais. Nossos achados, junto com nossos métodos, tão disponíveis online pra quem quiser acessar.
A análise principal focou no SPARRAv3, que foi amplamente usado desde 2012. A gente pegou uma data fixa do passado e coletou vários registros de saúde pra ver como bem o SPARRA previu internações de emergência. Incluímos condições de saúde de longo prazo, consultas ambulatoriais e até informações sobre receitas.
Definindo Grupos pra Avaliar o SPARRA
Dividimos as pessoas em diferentes grupos com base nas características demográficas. Por exemplo, comparamos quem tinha mais de 65 anos com quem tinha menos de 25 e olhamos pros grupos socioeconômicos mais e menos desfavorecidos. Também examinamos etnia, vida urbana versus rural e se a galera morava em terra firme ou em ilhas. Pra cada grupo, excluímos casos onde os dados estavam faltando pra manter a análise precisa.
Métodos Usados pra Avaliar o SPARRA
Pra avaliar como o SPARRA funcionou bem, usamos vários métodos estatísticos comuns em pesquisas de aprendizado de máquina. Isso incluiu medidas de como bem a pontuação conseguia distinguir entre quem precisaria de atendimento de emergência e quem não precisaria, além de como a pontuação previu resultados com precisão.
A gente calculou a distribuição das pontuações entre vários grupos e comparou pra ver se existiam diferenças significativas. Também olhamos quantos falsos positivos (onde a pontuação indicou que a pessoa tinha um risco maior do que realmente tinha) e falsos negativos (onde a pontuação subestimou o risco) apareceram em cada grupo.
Principais Descobertas sobre a Distribuição das Pontuações
Nossos resultados mostraram diferenças na distribuição das pontuações do SPARRA entre os grupos. Por exemplo, as pessoas mais velhas tendiam a ter pontuações mais altas em comparação com as mais jovens. Embora o sexo fosse um fator na cálculo da pontuação, não mostrou grandes diferenças na distribuição.
Curiosamente, as pessoas das áreas mais desfavorecidas tinham pontuações mais altas, mas essas diferenças eram mais complexas do que pareciam. Isso sugere que outros fatores, como idade e acesso aos serviços de saúde, também tiveram um papel.
Desempenho Preditivo
Avaliando oA gente avaliou quão precisamente o SPARRA classificou as pessoas por risco e quão bem ele combinou os resultados previstos com os eventos reais. Embora a pontuação do SPARRA tenha sido geralmente bem calibrada entre todos os grupos, notamos que certos grupos se saíram melhor em termos de precisão de previsão.
Por exemplo, as pessoas mais velhas se saíram melhor do que as mais jovens em prever quem precisaria de atendimento de emergência. Também descobrimos que pessoas de diferentes grupos étnicos tinham níveis variados de desempenho preditivo, destacando a importância de considerar fatores demográficos ao usar a pontuação.
Falsos Negativos e Falsos Positivos
Nossa análise revelou diferenças notáveis nas taxas de falsos positivos e negativos entre os grupos. Em geral, os mais jovens e quem veio de áreas menos desfavorecidas mostraram taxas mais altas de falsos positivos, ou seja, foram identificados incorretamente como tendo um risco menor do que deveriam. Em contraste, pessoas mais velhas e aquelas de áreas urbanas tiveram taxas mais altas de falsos negativos, o que indica uma tendência de deixar de identificar quem realmente precisava de cuidado.
É preocupante que falsos negativos possam significar que pessoas vulneráveis podem perder cuidados essenciais por conta da subestimação dos seus riscos.
Entendendo os Tipos de Internação entre os Falsos Negativos
Pra entender melhor por que certas pessoas tinham pontuações baixas no SPARRA mas ainda enfrentavam internações de emergência ou morte, olhamos os tipos de internações entre esses falsos negativos. Pra muitos grupos, as razões comuns pra internação incluíam causas externas, como acidentes ou lesões, que podem não ser previsíveis.
Por outro lado, certas condições de saúde, como problemas respiratórios, mostraram uma frequência menor entre aqueles considerados de baixo risco pelo SPARRA, sugerindo que a ferramenta pode ter dificuldades pra identificar essas condições com precisão.
Conclusão e Implicações pra Prática
Nossas descobertas destacam a importância de considerar vários fatores demográficos ao usar o SPARRA na prática clínica. Embora a pontuação seja geralmente bem calibrada, as diferenças reveladas pela nossa análise indicam que os profissionais de saúde devem estar cientes de como a pontuação pode funcionar de forma diferente entre os grupos.
A gente acredita que é essencial usar o SPARRA com uma compreensão de suas limitações e pontos fortes. Ao invés de tentar modificar a pontuação pra eliminar diferenças, pode ser mais benéfico reconhecer essas diferenças e usá-las pra informar a tomada de decisão. No fim das contas, nosso trabalho traz à luz as complexidades de usar pontuações preditivas na saúde e sublinha a necessidade de avaliação e melhoria contínuas nos serviços de saúde pra lidar com desigualdades de forma eficaz.
Título: Differential behaviour of a risk score for emergency hospital admission by demographics in Scotland --- a retrospective study
Resumo: The Scottish Patients at Risk of Re-Admission and Admission (SPARRA) score predicts individual risk of emergency hospital admission for approximately 80% of the Scottish population. It was developed using routinely collected electronic health records, and is used by primary care practitioners to inform anticipatory care, particularly for individuals with high healthcare needs. We comprehensively assess the SPARRA score across population subgroups defined by age, sex, ethnicity, socioeconomic deprivation, and geographic location. For these subgroups, we consider differences in overall performance, score distribution, and false positive and negative rates, using causal methods to identify effects mediated through age, sex, and deprivation. We show that the score is well-calibrated across subgroups, but that rates of false positives and negatives vary widely, mediated by a range of causes. Our work assists practitioners in the application and interpretation of the SPARRA score in population subgroups. Research in contextO_ST_ABSEvidence before this studyC_ST_ABSThere is considerable literature on the general topic of differential performance of risk scores across population subgroups and its implications. A shared theme is the importance of identifying and quantifying such differential performance. We performed a MedLine and Google Scholar search with the single term SPARRA, and consulted colleagues at Public Health Scotland about any previous internal analyses. Several articles assessed the accuracy of SPARRA and discussed its role in the Scottish healthcare system since its introduction in 2006, but none looked in detail at differential performance between specific demographic groups. Added value of this studyWe provide a comprehensive assessment of the performance of the SPARRA score across a range of population subgroups in several ways. We systematically examined differences in performance using a range of metrics. We identify notable areas of differential performance associated with age, sex, socioeconomic deprivation, ethnicity and residence location (mainland versus island; urban versus rural). We also examined the pattern of errors in prediction across medical causes of emergency admission, finding that, to variable degrees across groups, cardiac and respiratory admissions are more likely to be correctly predicted from electronic health records. Overall, our work provides an atlas of performance measures for SPARRA and partly explains how between-group performance differences arise. Implications of all the available evidenceThe precision by which the SPARRA score can predict emergency hospital admissions differs between population subgroups. These differences are largely driven by variation in performance across age and sex, as well as the predictability of different causes of admission. Awareness of these differences is important when making decisions based on the SPARRA score.
Autores: James Liley, I. Thoma, S. Rogers, J. Ireland, R. Porteous, K. Borland, C. Vallejos, L. Aslett
Última atualização: 2024-02-14 00:00:00
Idioma: English
Fonte URL: https://www.medrxiv.org/content/10.1101/2024.02.13.24302753
Fonte PDF: https://www.medrxiv.org/content/10.1101/2024.02.13.24302753.full.pdf
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao medrxiv pela utilização da sua interoperabilidade de acesso aberto.