Avaliando Dispositivos Vestíveis para Alertas de Fibrilação Atrial
Este estudo avalia como os dispositivos vestíveis se saem ao detectar alertas de FA.
― 7 min ler
Recentemente, dispositivos que monitoram a saúde, como smartwatches e rastreadores de fitness, ficaram comuns. Esses gadgets podem avisar os usuários sobre possíveis problemas cardíacos, como Fibrilação Atrial (AF), analisando os dados do coração. Embora esses dispositivos usáveis passem por verificações antes de serem vendidos pra garantir que funcionem direitinho, ainda tem pouca informação sobre como eles se saem na vida real, depois que a galera começa a usar.
Um grande problema é que os sistemas de codificação médica atuais não têm termos relacionados a dispositivos usáveis. A maioria das pesquisas médicas depende de códigos de diagnóstico usados para faturamento, mas esses sistemas não falam sobre como os wearables são usados. Isso significa que informações importantes costumam estar faltando nos registros eletrônicos de saúde (EHRs), e muito dado vem de fontes não estruturadas, como anotações de médicos, que podem ser complicadas de analisar.
Graças a novos métodos em aprendizado profundo e processamento de linguagem natural (NLP), os pesquisadores conseguiram melhorar a forma como classificam Notas Clínicas. Esses métodos mostraram resultados melhores do que técnicas mais antigas que dependiam de regras específicas. No entanto, configurar sistemas de aprendizado profundo exige muitos dados, que levam tempo e grana pra preparar. É preciso um jeito melhor de coletar e analisar essas informações de forma eficiente.
Objetivos do Estudo
Esse estudo teve como objetivo criar um método pra observar como os dispositivos usáveis se saem na hora de monitorar alertas de AF. O primeiro objetivo foi testar duas abordagens pra criar um conjunto de treinamento pra classificar notas clínicas: uma que dependia de códigos existentes e outra que usava prompts pra grandes modelos de linguagem (LLMs). Um modelo de rotulagem foi criado pra identificar se uma nota menciona que um dispositivo usável do paciente deu alerta de AF.
O segundo objetivo foi usar esse modelo de rotulagem pra treinar um classificador que detecta menções de AF nas notas clínicas. Por fim, o estudo tinha o objetivo de resumir as características dos pacientes identificados por esse classificador e comparar com aqueles que não receberam alertas sobre AF.
Métodos
Identificação da Coorte
Pra encontrar dados de pacientes adequados, os pesquisadores usaram o Repositório de Dados de Pesquisa da Stanford Medicine, que tem registros eletrônicos de várias visitas na Stanford Health Care. Eles procuraram notas que mencionavam dispositivos usáveis, resultando em milhares de notas de muitos pacientes. Seguindo as diretrizes da FDA, eles excluíram pacientes mais jovens, reduzindo para pouco mais de cinquenta e seis mil notas de cerca de vinte e um mil indivíduos.
Rotulagem Manual
Dessas notas, seiscentas foram rotuladas manualmente pra testar o modelo de rotulagem e o classificador. Os pesquisadores queriam garantir diversidade e cobertura escolhendo uma nota de indivíduos selecionados aleatoriamente. Dois cientistas de dados revisaram e rotularam essas notas de forma independente, com qualquer diferença sendo resolvida por médicos. Uma nota foi marcada como positiva se deixasse claro que o paciente recebeu um alerta de AF do seu dispositivo usável ou se fez uma medição que levou a um diagnóstico.
Outras seiscentas notas foram rotuladas pra desenvolver o modelo de rotulagem, seguindo diretrizes específicas criadas durante a preparação do conjunto de teste.
Desenvolvimento do Modelo de Rotulagem
Os pesquisadores desenvolveram duas estratégias pra criar o modelo de rotulagem pra classificar as notas.
Rotulagem Baseada em Códigos: Esse método usou programação pra criar regras baseadas na linguagem das notas. As funções de rotulagem, que descreviam diferentes maneiras de como as notificações de AF poderiam ser mencionadas, foram desenvolvidas em algumas semanas. A eficácia do modelo foi avaliada com base nos resultados de sua execução no conjunto de dados.
Rotulagem Baseada em Prompt: Nesse método, os pesquisadores usaram LLMs e apresentaram as notas em prompts de linguagem natural. Essa abordagem permitiu que o modelo entendesse o conteúdo de uma nota e atribuísse rótulos de acordo. Embora esse modelo tenha levado apenas um dia pra ser criado, ele alcançou desempenho semelhante ao modelo baseado em códigos.
Os modelos foram testados pra garantir que fossem precisos, com ajustes feitos com base em métricas de desempenho.
Desenvolvimento do Classificador
Usando as notas rotuladas pelo modelo de rotulagem, os pesquisadores treinaram um classificador chamado Clinical-Longformer. Esse classificador foi ajustado pra identificar notas que mencionavam alertas de AF com base no conteúdo delas. Os pesquisadores avaliaram vários tamanhos de conjuntos de treinamento e descobriram que, conforme o conjunto de treinamento crescia, o desempenho do classificador melhorava significativamente.
O classificador com melhor desempenho identificou um número grande de notas como contendo eventos de pré-diagnóstico de AF.
Estudo de Coorte Retrospectivo
Com os resultados do classificador, os pesquisadores identificaram pacientes que receberam alertas de pré-diagnóstico de AF e realizaram um estudo comparando esses pacientes com aqueles que não receberam. Eles analisaram fatores como idade, histórico médico e dados demográficos. O foco foi em pacientes que não tinham diagnóstico prévio de AF.
Os pesquisadores estabeleceram as características dos pacientes no momento da nota índice. Entre aqueles que receberam alertas, uma porcentagem considerável tinha pontuações indicando a necessidade de terapia anticoagulante, sugerindo que a detecção precoce poderia levar a um planejamento de tratamento melhor.
Resumo dos Resultados
Os resultados revelaram que pacientes que receberam alertas de AF tendiam a ser mais velhos e tinham mais problemas de saúde em comparação com aqueles que não receberam alertas. Também houve diferenças de raça e gênero entre os pacientes que receberam alertas dos wearables.
Além disso, muitos pacientes que receberam um alerta de um dispositivo usável eram mais propensos a receber um diagnóstico clínico real logo em seguida, indicando o impacto potencial da tecnologia wearable nas intervenções de saúde.
Discussão
O estudo destaca o potencial dos dispositivos usáveis em melhorar o diagnóstico precoce de AF. Ao monitorar de forma eficiente como esses dispositivos desempenham, os fornecedores de saúde podem entender melhor sua influência nos resultados dos pacientes. A utilização de supervisão fraca pra desenvolver um sistema que monitora dispositivos usáveis é um passo importante na melhoria do cuidado ao paciente.
As publicações atuais focam principalmente em quão bem esses dispositivos detectam problemas de saúde antes de serem colocados no mercado, enquanto essa pesquisa enfatiza a necessidade de avaliação contínua do uso e eficácia deles no mundo real.
Com o uso crescente de dispositivos usáveis, é essencial um modelo estruturado pra monitorar seu desempenho. Alertas precoces de wearables podem levar a intervenções médicas mais rápidas e melhores resultados para os pacientes.
Conclusão
Em conclusão, esse estudo demonstrou com sucesso como um novo método pode ser utilizado pra monitorar o desempenho de dispositivos usáveis que fornecem alertas precoces para fibrilação atrial. A abordagem de combinar estratégias baseadas em códigos e prompts mostra potencial pra melhorar o cuidado ao paciente, permitindo uma identificação e análise mais fácil das notas clínicas relevantes. A pesquisa contínua e a implementação de tais sistemas podem transformar como os dados de saúde são monitorados e utilizados na prática médica do dia a dia.
Título: Scalable Approach to Medical Wearable Post-Market Surveillance
Resumo: ObjectiveWe sought to develop a weak supervision-based approach to demonstrate feasibility of post-market surveillance of wearable devices that render AF pre-diagnosis. Materials and MethodsTwo approaches were evaluated to reduce clinical note labeling overhead for creating a training set for a classifier: one using programmatic codes, and the other using prompts to large language models (LLMs). Probabilistically labeled notes were then used to fine-tune a classifier, which identified patients with AF pre-diagnosis mentions in a note. A retrospective cohort study was conducted, where the baseline characteristics and subsequent care patterns of patients identified by the classifier were compared against those who did not receive pre-diagnosis. ResultsLabel model derived from prompt-based labeling heuristics using LLMs (precision = 0.67, recall = 0.83, F1 = 0.74) nearly achieved the performance of code-based heuristics (precision = 0.84, recall = 0.72, F1 = 0.77), while cutting down the cost to create a labeled training set. The classifier learned on the labeled notes accurately identified patients with AF pre-diagnosis (precision = 0.85, recall = 0.81, F1 = 0.83). Those patients who received pre-diagnosis exhibited different demographic and comorbidity characteristics, and were enriched for anticoagulation and eventual diagnosis of AF. At the index diagnosis, existence of pre-diagnosis did not stratify patients on clinical characteristics, but did correlate with anticoagulant prescription. Discussion and ConclusionOur work establishes the feasibility of an EHR-based surveillance system for wearable devices that render AF pre-diagnosis. Further work is necessary to generalize these findings for patient populations at other sites.
Autores: Richard M Yoo, B. T. Viggiano, K. N. Pundi, J. A. Fries, A. Zahedivash, T. Podchiyska, N. Din, N. H. Shah
Última atualização: 2023-11-15 00:00:00
Idioma: English
Fonte URL: https://www.medrxiv.org/content/10.1101/2023.11.14.23298488
Fonte PDF: https://www.medrxiv.org/content/10.1101/2023.11.14.23298488.full.pdf
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao medrxiv pela utilização da sua interoperabilidade de acesso aberto.