AutoML na Saúde: Facilidade de Uso e Desafios

O Aprendizado de Máquina (ML) tá sendo usado em várias áreas da medicina, desde a gestão da Saúde até ajudar os médicos a tomarem decisões. Os avanços tecnológicos e a disponibilidade de dados de saúde deram uma turbinada nessa tendência. Um tipo específico de aprendizado de máquina chamado aprendizado de máquina automatizado (AutoML) permite que pessoas sem muita habilidade em programação criem seus próprios modelos usando inteligência artificial (IA). Isso faz com que os desenvolvedores consigam se concentrar mais em reunir dados de qualidade ao invés de perder tempo ajustando modelos complexos.

O autoML tem como objetivo facilitar o processo de uso do aprendizado de máquina, lidando com várias tarefas técnicas que normalmente exigem conhecimento de especialistas. O primeiro passo desse processo é preparar os dados, juntando, transformando e limpando eles. Depois, as características importantes dos dados são selecionadas para ajudar a desenhar o modelo de aprendizado de máquina. Em seguida, o modelo é escolhido, treinado e avaliado para ver como ele funciona. O autoML usa várias técnicas para otimizar o Desempenho, tornando-o uma ferramenta poderosa em muitos casos.

O autoML traz vários benefícios que podem ajudar na sua aplicação em ambientes Clínicos. Primeiro, estudos mostraram que o desempenho do autoML geralmente é igual ao das metodologias tradicionais. Isso sugere que o autoML pode ser usado em aplicações da vida real e em estudos de testes antes de mais desenvolvimentos. Segundo, o autoML pode tornar a pesquisa em ML mais reproduzível, diminuindo a variabilidade que vem da intervenção humana no ajuste de modelos. Terceiro, com requisitos técnicos mais baixos, mais provedores de saúde podem acessar e usar a tecnologia de IA. Por último, o autoML pode economizar tempo no desenvolvimento de modelos, permitindo pesquisas e explorações mais rápidas das aplicações de IA na saúde.

Apesar das muitas ferramentas disponíveis para autoML, é crucial validar essas ferramentas antes de aplicá-las em ambientes clínicos. Uma revisão sistemática foi feita para avaliar como o autoML se sai em ambientes médicos. A revisão teve como objetivo avaliar a qualidade de como os resultados são apresentados, identificar as especialidades médicas e tarefas onde o autoML foi implementado, e comparar o desempenho das ferramentas de autoML com os modelos tradicionais e entre si.

#Fontes de Dados e Pesquisas

Vários bancos de dados médicos foram pesquisados para encontrar estudos relacionados ao autoML desde o início até 11 de julho de 2022. A busca focou em identificar estudos que usaram autoML em situações clínicas. Registros duplicados foram removidos usando software apropriado.

#Seleção de Estudos

O processo de seleção envolveu revisar resumos e textos completos dos artigos. Dois pesquisadores independentes realizaram a triagem, com um terceiro especialista arbitral quando surgiram desacordos. Critérios específicos foram estabelecidos para incluir apenas artigos relevantes, como estar em inglês, ser revisados por pares e focar em autoML na saúde.

#Extração de Dados e Avaliação de Qualidade

Para os artigos que atenderam aos critérios, dois pesquisadores extraíram dados. Uma avaliação de qualidade foi feita usando diretrizes estabelecidas. A avaliação analisou possíveis vieses e preocupações sobre a aplicabilidade dos estudos. Dados adicionais coletados incluíram detalhes de citação, características da plataforma de autoML usada, a tarefa clínica e várias métricas de desempenho.

#Características dos Estudos Inclusos

Um total de 82 estudos foi incluído na análise. O autoML começou a aparecer na literatura médica por volta de 2018, com um número crescente de estudos a cada ano. Muitos dos estudos focaram em tarefas diagnósticas, com uma representação significativa de áreas como medicina pulmonar e neurológica. Dados estruturados e não estruturados foram usados com frequência, com tamanhos de conjuntos de dados variando bastante.

#Qualidade da Reportagem

A qualidade da reportagem dos estudos variou. Em média, a maioria dos estudos atendeu a maior parte dos critérios de qualidade, mas havia lacunas significativas em certas áreas. Muitos estudos não abordaram fatores importantes como ética, envolvimento de pacientes e a segurança de suas descobertas.

#Risco de Viés e Preocupações

A revisão identificou fontes comuns de viés nos estudos, frequentemente derivadas de designs retrospectivos e do uso de conjuntos de dados públicos. Muitos estudos não forneceram benchmarks adequados para comparar o desempenho do autoML, levantando preocupações sobre a confiabilidade de suas descobertas.

#Desempenho dos Modelos de AutoML

O desempenho reportado do autoML nos vários estudos mostrou uma ampla gama de métricas. A maioria dos estudos forneceu medidas de desempenho como AUCROC, F1-score ou AUCPR. Em muitos casos, os modelos de autoML se saíram bem quando comparados aos métodos tradicionais, com alguns estudos relatando vantagens estatísticas significativas.

#Desempenho Comparativo das Plataformas de AutoML

Uma comparação resumida das diferentes plataformas de autoML revelou que elas variam bastante em recursos e acessibilidade. Alguns estudos compararam diretamente diferentes plataformas de autoML em tarefas similares, com alguns mostrando que uma plataforma se destacou em relação a outra em cenários específicos.

#Confiança nas Conclusões

Apesar dos resultados promissores, o alto risco de viés impactou a confiança nas conclusões do estudo. Enquanto o autoML não mostrou desempenho consistentemente pior em comparação com métodos tradicionais em nenhum estudo, a evidência de que ele é superior é menos certa. O desempenho pode variar significativamente dependendo da aplicação específica, do conjunto de dados e da plataforma.

#Aplicações e Direções Futuras

Essa revisão indica que o autoML foi testado em uma ampla gama de tarefas clínicas, especialmente em áreas relacionadas à saúde do cérebro e dos pulmões. Os resultados geralmente mostram desempenho comparável aos modelos tradicionais, sugerindo potencial para aplicações no mundo real. No entanto, as evidências não são uniformes, e mais pesquisas são necessárias.

Existem lacunas notáveis na atual base de evidências do autoML. Primeiro, a inconsistência na apresentação de métricas de desempenho levanta preocupações sobre como os resultados são interpretados. Segundo, é preciso dar mais foco à explicabilidade dentro dos modelos. Terceiro, as implicações éticas do uso dessas ferramentas, como a justiça nos algoritmos, requerem atenção.

Práticas de benchmark inconsistentes podem levar a conclusões enganosas sobre a eficácia do autoML. Além disso, a validação externa dos modelos é essencial para confirmar sua confiabilidade. Atualmente, muitos estudos não usam conjuntos de dados separados para validação, o que pode inflar as estimativas de desempenho.

Essa revisão sistemática enfrentou algumas limitações, incluindo a adaptação de ferramentas existentes para avaliar qualidade e viés no contexto de aplicações não diagnósticas. O alto risco de viés continua sendo uma preocupação prevalente na pesquisa em IA.

#Conclusão

As pesquisas sobre autoML sugerem que ele tem aplicações valiosas na saúde, especialmente para clínicos e pesquisadores que podem não ter habilidades avançadas em programação. Com mais validação e práticas de reportagem melhoradas, o autoML pode se tornar uma ferramenta confiável em ambientes clínicos. Estudos futuros devem focar em melhores práticas de benchmark, garantindo que as considerações éticas sejam abordadas e validando modelos em cenários do mundo real para apoiar sua utilidade no cuidado ao paciente. Como resultado, o autoML pode aumentar significativamente a acessibilidade das tecnologias de IA na saúde.