Previsão de Emergências de Saúde: Lições do Mpox
Analisando os desafios de previsão durante o surto de mpox e suas implicações para futuras crises de saúde.
― 9 min ler
Índice
- Contexto
- A Necessidade de Previsões
- Coletando Previsões
- Tipos de Previsões
- Precisão das Previsões
- Por que as Previsões Falham
- O Papel dos Dados
- Humano vs. Máquina
- A Importância da Comunidade
- Tendências e Revisões
- O Desafio da Previsão Logarítmica
- Calibração e Desempenho
- Aprendendo com o Passado
- Conclusão
- Considerações Finais
- Fonte original
- Ligações de referência
Em maio de 2022, um vírus chamado mpox (antigamente conhecido como varíola dos macacos) começou a se espalhar rápido em países onde não tinha sido visto antes. Esse surto repentino levantou preocupações sobre o quão preparados estamos para emergências de saúde desse tipo. Esse artigo investiga como as pessoas preveem a propagação de doenças, os desafios enfrentados durante o surto de mpox e por que entender essas previsões é importante.
Contexto
O mpox foi reportado pela primeira vez em Londres no início de maio de 2022. Em julho de 2022, levou a Organização Mundial da Saúde (OMS) a declarar uma Emergência de Saúde Pública de Interesse Internacional. Isso significa que consideraram o problema sério e que precisava de atenção imediata. No final do período do surto discutido neste artigo, haviam sido reportados 87.000 casos em mais de 110 países. A maioria dos casos estava relacionada a homens que fazem sexo com homens, mas isso não significa que somente esse grupo foi afetado.
Previsões, o processo de prever eventos futuros, é crucial durante Surtos. Ajuda governos e agências de saúde a decidirem como alocar recursos e responder de forma eficaz. Previsões sobre métricas de saúde pública, como o número de casos ou mortes, são essenciais por essa razão. Organizações como os Centros de Controle e Prevenção de Doenças (CDC) costumam realizar desafios de Previsão para obter previsões de pesquisadores e especialistas durante surtos.
A Necessidade de Previsões
Durante surtos, previsões podem ajudar a prevenir a propagação futura ao identificar tendências e picos potenciais em casos. Previsões precisas podem guiar decisões de saúde pública, como quando aumentar os testes, onde direcionar vacinas ou quando implementar restrições de viagens. Para o mpox, previsões foram especialmente importantes à medida que o vírus se espalhou rapidamente e afetou populações diversas.
Coletando Previsões
Entre 19 de maio e 31 de julho de 2022, pesquisadores coletaram 1.275 previsões de 442 pessoas sobre seis questões específicas relacionadas ao surto de mpox. As perguntas tinham como objetivo descobrir quantos casos eram esperados em diferentes regiões e quantos países reportariam casos. Os participantes incluíam tanto especialistas quanto previsão casual, que usaram uma plataforma chamada Metaculus para enviar suas previsões.
Tipos de Previsões
Essas previsões não eram apenas palpites; eram baseadas nas avaliações e interpretações de Dados disponíveis pelas pessoas. Os participantes podiam revisar suas previsões à medida que novos dados surgiam, permitindo que refinassem suas previsões com base nas informações mais recentes. Esse método de coleta de previsões ajuda a entender como as pessoas pensam sobre riscos e incertezas durante crises de saúde.
Precisão das Previsões
As descobertas revelaram que as previsões individuais frequentemente subestimavam o tamanho real do surto. Enquanto a previsão mediana se aproximava mais da verdade com o tempo, ainda havia muita incerteza. Em alguns casos, as previsões não melhoraram significativamente à medida que a data real se aproximava.
Ao comparar previsões humanas com modelos computacionais, que usam algoritmos com base em dados passados para fazer previsões, as previsões humanas tiveram um desempenho melhor para previsões feitas de duas a oito semanas à frente. No entanto, para previsões feitas apenas uma semana à frente, os modelos forneceram previsões mais precisas do que as previsões humanas.
Por que as Previsões Falham
Várias razões podem explicar por que as previsões costumavam ser muito baixas. Uma possibilidade é que, ao fazer suas previsões, as pessoas se concentraram demais nos dados mais recentes, que estavam abaixo do que eventualmente surgiria como os números finais. Além disso, algumas perguntas foram apresentadas em uma escala logarítmica, o que pode ter levado os preditores a produzirem previsões mais incertas do que pretendiam.
Entender esses vieses é crucial. Isso informa os esforços futuros de previsão, especialmente quando lidamos com eventos de saúde inesperados. Se as pessoas se basearem demais em dados recentes, isso pode levar a subestimar novos surtos, como foi visto no mpox.
O Papel dos Dados
Os dados de vigilância desempenharam um papel vital em moldar tanto as previsões humanas quanto as dos modelos. Esses dados forneciam atualizações em tempo real sobre o número de casos e onde os surtos estavam ocorrendo. Modelos eficazes dependem de dados precisos e atualizados para fazer previsões informadas.
Os modelos geralmente usam dados históricos e informações externas para guiar suas previsões. Por exemplo, eles podem incorporar buscas online relacionadas a sintomas de doenças e atividade em redes sociais, que podem refletir preocupação e conscientização pública. Essa abordagem se mostrou útil em surtos anteriores, como a COVID-19.
Humano vs. Máquina
As previsões humanas diferem das previsões geradas por máquinas de maneiras significativas. Enquanto modelos estatísticos e mecanicistas dependem de dados numéricos, preditores Humanos podem incorporar intuição e insights qualitativos que talvez não sejam capturados apenas em dados. Por exemplo, eles podem considerar fatores externos como mudanças nas recomendações de saúde pública ou tendências em redes sociais.
Pesquisas mostraram que às vezes os humanos conseguem superar modelos, especialmente em situações incertas onde os dados podem ser limitados. Durante o início do surto de mpox, essa intuição humana provavelmente forneceu um contexto valioso que os modelos não conseguiram capturar.
A Importância da Comunidade
A comunidade de preditores no Metaculus discutiu seus pensamentos e raciocínios por trás de suas previsões. Essa troca de ideias pode levar a previsões melhores, pois as pessoas compartilham insights e se atualizam sobre novos desenvolvimentos. Temas surgiram dessas discussões, como considerar pistas da epidemiologia, artigos de notícias e outras fontes de dados externas.
No entanto, também houve sinais de confusão sobre o que estava sendo perguntado em algumas previsões. Mal-entendidos sobre como relatar previsões podem levar a baixa precisão, tornando vital que as plataformas esclareçam como as previsões devem ser construídas.
Tendências e Revisões
A maioria dos preditores enviou suas primeiras previsões duas semanas após as perguntas serem postadas. Esse atraso sugere que estavam esperando por mais dados ou tendências se tornarem aparentes. Após suas primeiras previsões, muitos preditores rapidamente revisaram suas previsões com base nas informações mais recentes.
A frequência de revisões ressalta uma abordagem responsiva para previsões durante situações de saúde em evolução. À medida que novas informações chegavam, os preditores ajustaram suas previsões, o que pode ajudar a melhorar a precisão.
O Desafio da Previsão Logarítmica
Uma observação significativa das previsões de mpox estava relacionada a como as perguntas foram feitas em diferentes escalas. Pedir previsões em uma escala logarítmica parecia confundir muitos preditores. Os humanos muitas vezes têm dificuldade em entender crescimento exponencial, o que pode levar a previsões distorcidas.
Quando os dados são apresentados em um formato logarítmico, as pessoas podem ter dificuldade em converter sua intuição em números. Isso pode resultar em previsões que não refletem com precisão a realidade, já que as previsões podem parecer razoáveis sem contexto.
Calibração e Desempenho
É essencial avaliar quão bem as previsões correspondem à realidade. As métricas usadas para avaliar essas previsões incluem erro absoluto mediano e pontuação de intervalo ponderada. Essas medidas ajudam a determinar quão próximas as previsões estão dos resultados reais.
No caso do mpox, as previsões frequentemente atribuíam alguma probabilidade a valores improváveis. Esse hábito de atribuir probabilidades a resultados improváveis pode distorcer os dados e torná-los menos confiáveis. É crucial que os preditores aprendam a especificar razões por trás de suas previsões e evitem dar peso a eventos improváveis.
Aprendendo com o Passado
Os desafios vistos durante as previsões do surto de mpox oferecem lições para futuras crises de saúde. Entender os erros cometidos pode levar a um melhor treinamento para os preditores. Fornecer diretrizes sobre como prever de forma eficaz, especialmente ao usar diferentes escalas, pode melhorar o desempenho.
Futuros esforços de previsão também podem se beneficiar ao permitir que os preditores definam os intervalos onde atribuem suas probabilidades, em vez de serem limitados por formatos rígidos. Essa flexibilidade pode resultar em previsões mais precisas que representem crenças verdadeiras.
Conclusão
A experiência de prever durante o surto de mpox destaca a complexidade de prever a propagação de doenças infecciosas. Revela como plataformas baseadas na comunidade podem aproveitar a intuição humana, enquanto também aponta os potenciais problemas de se depender muito de dados imediatos.
Ao avaliar por que as previsões às vezes falham e entender o papel de diferentes escalas e formatos de apresentação, podemos melhorar os métodos de previsão em saúde pública. À medida que continuamos a enfrentar novos desafios de saúde, refinar nossa abordagem às previsões será fundamental para garantir respostas eficazes no futuro.
Considerações Finais
Enquanto o julgamento humano pode ser uma ferramenta poderosa na previsão, é essencial combiná-lo com dados robustos e metodologias cuidadosas. Profissionais de saúde pública devem trabalhar para melhorar os frameworks de previsão e incentivar uma exploração cuidadosa dos dados disponíveis para guiar a tomada de decisões durante surtos. Esse equilíbrio entre insight humano e análise orientada por dados pode ser crucial à medida que enfrentamos desafios de saúde contínuos e futuros.
Título: Assessing Human Judgment Forecasts in the Rapid Spread of the Mpox Outbreak: Insights and Challenges for Pandemic Preparedness
Resumo: In May 2022, mpox (formerly monkeypox) spread to non-endemic countries rapidly. Human judgment is a forecasting approach that has been sparsely evaluated during the beginning of an outbreak. We collected -- between May 19, 2022 and July 31, 2022 -- 1275 forecasts from 442 individuals of six questions about the mpox outbreak where ground truth data are now available. Individual human judgment forecasts and an equally weighted ensemble were evaluated, as well as compared to a random walk, autoregressive, and doubling time model. We found (1) individual human judgment forecasts underestimated outbreak size, (2) the ensemble forecast median moved closer to the ground truth over time but uncertainty around the median did not appreciably decrease, and (3) compared to computational models, for 2-8 week ahead forecasts, the human judgment ensemble outperformed all three models when using median absolute error and weighted interval score; for one week ahead forecasts a random walk outperformed human judgment. We propose two possible explanations: at the time a forecast was submitted, the mode was correlated with the most recent (and smaller) observation that would eventually determine ground truth. Several forecasts were solicited on a logarithmic scale which may have caused humans to generate forecasts with unintended, large uncertainty intervals. To aide in outbreak preparedness, platforms that solicit human judgment forecasts may wish to assess whether specifying a forecast on logarithmic scale matches an individual's intended forecast, support human judgment by finding cues that are typically used to build forecasts, and, to improve performance, tailor their platform to allow forecasters to assign zero probability to events.
Autores: Thomas McAndrew, Maimuna S. Majumder, Andrew A. Lover, Srini Venkatramanan, Paolo Bocchini, Tamay Besiroglu, Allison Codi, Gaia Dempsey, Sam Abbott, Sylvain Chevalier, Nikos I. Bosse, Juan Cambeiro, David Braun
Última atualização: 2024-04-22 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2404.14686
Fonte PDF: https://arxiv.org/pdf/2404.14686
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://www.metaculus.com/terms-of-use/
- https://github.com/computationalUncertaintyLab/mpox_eval
- https://www.metaculus.com/project/monkeypox/
- https://predict.cdc.gov/
- https://www.metaculus.com/questions/
- https://global.health/
- https://www.ecdc.europa.eu/en
- https://www.metaculus.com/help/faq/#howscore
- https://www.metaculus.com/questions/10978/total-monkeypox-cases-in-europe-july-1-2022/
- https://www.metaculus.com/questions/10979/total-monkeypox-cases-in-usa-on-july-1-2022/
- https://www.metaculus.com/questions/11039/monkeypox-cases-in-canada-on-july-1-2022/
- https://www.metaculus.com/questions/10975/countries-with-monkeypox-by-july-31-2022/
- https://www.metaculus.com/questions/10981/-us-states-with-monkeypox-cases-on-july-1/
- https://www.metaculus.com/questions/10977/who-declares-that-monkeypox-is-a-pheic/