Abordando o Barulho em Registros Eletrônicos de Saúde para Aprendizado de Máquina

Nos últimos anos, a saúde viu um grande aumento em dados digitais. Um tipo importante de dado são os Registros eletrônicos de saúde (EHRs). Os EHRs incluem detalhes importantes sobre os pacientes, como histórico médico, diagnósticos, medicações e resultados de exames. Essa mudança para registros digitais melhorou a segurança do paciente e tornou a saúde mais eficiente. O aumento de dados também traz novas oportunidades para aprendizado de máquina (ML) na saúde. Usando esses dados, o ML pode ajudar a criar melhores planos de tratamento e prever resultados de saúde, levando a um atendimento melhor.

Mas, enquanto os EHRs são um recurso valioso para o ML, eles também apresentam desafios. Problemas como erros de entrada de dados, informações faltando, inconsistências, erros de sistema e resultados de exames incorretos podem introduzir ruído e erros nos dados. Estudos mostram que muitos pacientes relataram erros em seus EHRs, e alguns desses erros são considerados graves. Erros nos registros de saúde podem afetar negativamente o atendimento ao paciente e a pesquisa. Portanto, garantir que os dados do EHR sejam precisos e completos continua sendo um grande desafio.

Apesar dessa consciência sobre erros em potencial, muitos modelos de ML existentes assumem que os dados são limpos e precisos. Essa suposição não é verdadeira para dados da vida real, que podem ser ruidosos e falhos. Pesquisas mostraram que modelos de ML, especialmente modelos de aprendizado profundo (DL), podem facilmente se ajustar demais a esses dados ruidosos. Ajustar demais significa que o modelo aprende o ruído nos dados de treinamento em vez dos padrões reais. Isso leva a um desempenho ruim quando novos dados, que não foram vistos, são apresentados, o que é problemático para o atendimento ao paciente.

Para enfrentar esses desafios, focamos em melhorar métodos de ML para lidar com dados ruidosos, especificamente no contexto dos EHRs. Nosso estudo enfatiza casos onde os rótulos anexados aos dados são problemáticos, inspirados por abordagens em visão computacional (CV) que mostraram promessa em lidar com rótulos ruidosos. É importante notar que os dados do EHR são muito diferentes dos dados de imagem. Enquanto as imagens são baseadas em valores de pixel, os EHRs contêm uma variedade de informações, incluindo registros de pacientes, códigos e diferentes detalhes clínicos.

Fazendo mudanças simples para adaptar técnicas de CV aos dados do EHR, encontramos que esses métodos podem reduzir significativamente os riscos associados a rótulos ruidosos. Nossa pesquisa também investiga a combinação de múltiplas abordagens para melhorar ainda mais o desempenho dos modelos de ML em dados de EHR.

#Trabalhos Relacionados

Diferentes estratégias têm sido usadas em várias áreas para lidar com os desafios impostos por rótulos ruidosos para tarefas de ML. Esses métodos podem ser geralmente categorizados em dois tipos principais: 1) correção de rótulos e 2) regularização.

A correção de rótulos visa encontrar e corrigir pontos de dados rotulados incorretamente. Uma técnica comum é a limpeza de dados, que envolve remover dados claramente incorretos. Isso pode ser feito manualmente ou por meio de algoritmos que identificam outliers. No entanto, o trabalho manual é demorado e caro, e remover amostras pode resultar na perda de informações úteis. Outros métodos baseados em algoritmos, como auto-treinamento e co-treinamento, atualizam rótulos com base nas previsões do modelo.

No entanto, essas abordagens dependem de ter alguns rótulos limpos iniciais, o que muitas vezes não é o caso em ambientes clínicos reais. Como resultado, voltamos nossa atenção para métodos de regularização, que ajustam como os modelos aprendem para ajudar a contabilizar o ruído. Isso inclui o uso de funções de perda robustas, Suavização de Rótulos e técnicas que promovem consistência nas previsões.

Funções de perda robustas visam reduzir a influência de outliers e rótulos ruidosos. Embora possam ajudar, elas também podem descartar informações valiosas, especialmente em dados de saúde, onde outliers podem ser importantes. A suavização de rótulos, por outro lado, adiciona um pouco de incerteza aos rótulos-alvo durante o treinamento. Essa técnica tem se mostrado útil para modelos generalizarem melhor sem se tornarem excessivamente confiantes em suas previsões.

Outra técnica relevante é o Mix-up, que cria novos exemplos misturando diferentes pontos de dados. Essa abordagem pode ajudar a evitar que os modelos aprendam a depender apenas das relações entre características e seus rótulos. Também existem métodos que impõem consistência entre previsões para pontos de dados semelhantes, o que ajuda os modelos a aprender padrões robustos mesmo na presença de rótulos ruidosos.

Embora existam opções para gerenciar rótulos ruidosos, muito poucas pesquisas se concentraram especificamente em dados de EHR. Alguns trabalhos recentes abordaram o ruído nos rótulos na saúde, mas muitas vezes com a exigência de ter conjuntos de dados separados limpos e ruidosos. Nossa abordagem não depende de saber quais pontos de dados estão rotulados corretamente; mostramos que técnicas como Regularização de Consistência de Vizinhos (NCR), Mix-up e suavização de rótulos podem ser aplicadas efetivamente aos EHRs com modificações mínimas.

#Dados e Métodos

Nosso estudo usa dados do mundo real de um estudo de caso da COVID-19. O objetivo é classificar os pacientes como COVID positivo ou negativo com base em seus EHRs. Naquela época, os testes eram obrigatórios, o que significava que havia muitos dados disponíveis para análise. No entanto, a confiabilidade dos resultados dos testes variava, especialmente no início da pandemia, criando incerteza sobre o status viral real dos pacientes. Isso tornava nosso estudo de caso ideal para testar o desenvolvimento de modelos em meio a rótulos ruidosos.

Utilizamos os conjuntos de dados CURIAL, que contêm dados EHR anonimizados de pacientes que visitaram departamentos de emergência em vários hospitais. Com a aprovação do NHS do Reino Unido para usar modelos de IA na detecção de COVID-19, esses conjuntos de dados fornecem uma base sólida para análise.

Em estudos anteriores, modelos de ML treinados com características de EHR mostraram diagnósticos mais rápidos para COVID-19 em comparação com testes tradicionais. Nosso objetivo era construir modelos semelhantes usando testes laboratoriais rotineiros e sinais vitais coletados durante visitas de emergência. Os dados incluíam várias características, que padronizamos antes da análise.

Para lidar com a presença de valores ausentes, usamos um método conhecido como imputação pela mediana populacional. Abordamos o ruído dos rótulos em nossos conjuntos de dados mudando aleatoriamente alguns rótulos de diagnóstico para valores incorretos. Isso incluiu simular resultados falso-negativos e falso-positivos com base na precisão estimada dos testes.

Para nosso modelo base, usamos uma arquitetura de rede neural que já tinha sido eficaz em tarefas de classificação de COVID-19. Além disso, também utilizamos o XGBoost, um método de conjunto que combina previsões de vários modelos para melhorar o desempenho geral.

#Técnicas Inspiradas em CV para Abordar Rótulos Ruidosos

Em nossa pesquisa, investigamos a eficácia de técnicas que foram originalmente desenvolvidas para tarefas de CV, mas que poderiam ser adaptadas para dados de EHR. Três métodos principais foram analisados: suavização de rótulos, Mix-up e Regularização de Consistência de Vizinhos (NCR).

#Suavização de Rótulos

A suavização de rótulos adiciona uma pequena quantidade de incerteza aos rótulos-alvo durante o treinamento. Em vez de usar um 0 ou 1 perfeito para o rótulo correto, ajustamos os valores levemente, com base no número de classes. Isso ajuda o modelo a evitar se tornar excessivamente confiante em suas previsões, o que pode ser particularmente útil em ambientes ruidosos.

#Mix-up

O Mix-up cria novos exemplos de treinamento combinando características e rótulos de pontos de dados existentes. Ao fazer médias ponderadas de duas amostras, o modelo aprende a interpretar relações entre características e rótulos de uma maneira mais geral. Isso ajuda a construir resiliência ao ruído presente nos dados.

#Regularização de Consistência de Vizinhos (NCR)

A NCR impõe o princípio de que exemplos semelhantes, mesmo que classificados incorretamente, devem levar a previsões semelhantes. Em vez de depender apenas de rótulos ruidosos, o modelo é incentivado a produzir saídas consistentes para pontos de dados semelhantes. Isso significa que a classificação deve ser baseada nas informações compartilhadas e não apenas nos rótulos potencialmente incorretos.

Combinamos a NCR com nossa função de perda principal para criar uma nova função objetiva a ser otimizada durante o treinamento.

#Métricas de Avaliação

A eficácia dos modelos foi avaliada usando métricas comuns de classificação. Isso incluiu a área sob a curva de características operacionais do receptor (AUROC), a área sob a curva de precisão-recall (AUPRC), sensibilidade e especificidade. Também garantimos relatar intervalos de confiança para nossas descobertas.

Para escolher os melhores parâmetros do modelo, realizamos otimização de hiperparâmetros usando busca em grade e validação cruzada padrão. Após o treinamento ser concluído, ajustamos os limiares para garantir sensibilidade clinicamente aceitável para identificar casos positivos de COVID-19.

#Comparação de Métodos

Nossa análise comparativa avaliou como cada método se saiu sob diferentes quantidades de rótulos ruidosos. Os resultados mostraram que as técnicas adaptadas da CV melhoraram significativamente em relação aos modelos base. Tanto os métodos Mix-up quanto NCR se destacaram como particularmente eficazes em lidar com rótulos ruidosos.

Além disso, descobrimos que combinar os dois métodos frequentemente produzia melhores resultados do que usá-los separadamente. Os modelos treinados usando NCR exibiram desempenho mais consistente em vários níveis de ruído. Isso indica que implementar a NCR é benéfico para generalizar entre diferentes conjuntos de dados.

A suavização de rótulos, no entanto, não se saiu tão bem. A adição de ruído aos rótulos bons e ruins diminuiu sua eficácia, especialmente quando os dados já eram ruidosos.

#Análise Ampliada com Regularização de Consistência de Vizinhos

Depois de determinar os melhores hiperparâmetros, realizamos um estudo de ablação para analisar o impacto de diferentes fatores no desempenho da NCR em níveis variados de ruído.

#Impacto dos Hiperparâmetros

Exploramos como vários hiperparâmetros influenciaram a capacidade do modelo de lidar com ruído. Isso incluiu o ponto de partida para a NCR, o peso da regularização da NCR e o número de vizinhos mais próximos considerados durante o treinamento. Foi observado que fornecer uma fase de treinamento inicial usando apenas a perda de entropia cruzada padrão antes de introduzir a NCR melhorou os resultados.

#Análise de Embedding de Características

Ao examinar os embeddings de características, conseguimos avaliar quão bem os modelos capturaram os padrões subjacentes dos dados. A separação entre classes no espaço de características melhorou ao usar a NCR, indicando que o modelo aprendeu distinções significativas apesar dos rótulos ruidosos.

#Análise de Confiança nas Previsões

Uma análise da confiança nas previsões revelou que a NCR ajudou o modelo a atribuir maior confiança a amostras rotuladas corretamente. Em contraste, o modelo treinado sem a NCR tendia a classificar incorretamente muitas amostras corretas, ilustrando que a NCR desempenha um papel fundamental em prevenir overfitting.

#Conclusão

Resumindo, nossa investigação destaca a eficácia de integrar métodos de CV para enfrentar os desafios apresentados por rótulos ruidosos em dados de EHR. Ao adaptar técnicas como suavização de rótulos, Mix-up e NCR, podemos aumentar a robustez e a confiabilidade dos modelos de ML em ambientes de saúde.

Os resultados demonstram que modelos treinados sem técnicas de mitigação de ruído frequentemente têm dificuldades para generalizar e apresentam desempenho ruim com novos dados. Em contraste, nossas descobertas afirmam que métodos como Mix-up e NCR levam a melhores resultados, especialmente quando enfrentam altos níveis de ruído nos rótulos.

Além disso, combinar essas técnicas resulta em melhorias ainda maiores, mostrando o potencial de utilizar múltiplas abordagens para combater efetivamente o ruído nos rótulos.

Embora o enfoque tenha sido no ruído dos rótulos, é importante considerar que outros aspectos, como ruído nas características e dados ausentes, também podem impactar o desempenho do modelo. Pesquisas futuras devem investigar essas áreas com mais profundidade e explorar técnicas adicionais para melhorar a qualidade dos dados de EHR.

Em conclusão, este estudo abre caminho para uma análise mais eficaz dos dados de EHR, oferecendo novas oportunidades para melhorar os resultados da saúde e a pesquisa nesse domínio vital.