Entendendo a IA na Dermatologia: A Necessidade de Clareza
Um olhar sobre a tomada de decisão da IA em dermatologia e suas implicações para o cuidado do paciente.
― 6 min ler
Nos últimos anos, o uso de ferramentas de IA na saúde, especialmente em dermatologia, cresceu rapidão. Esses sistemas de IA conseguem analisar imagens médicas, muitas vezes com a intenção de detectar problemas de pele como melanoma, uma forma séria de câncer de pele. Mas, tem uma falta de clareza sobre como esses sistemas de IA tomam suas decisões. Isso levanta preocupações sobre a confiabilidade e segurança para o cuidado dos pacientes.
O Desafio da Tomada de Decisão da IA
Dispositivos médicos de IA costumam usar algoritmos complexos chamados redes neurais, que aprendem a partir de grandes quantidades de dados. Embora esses sistemas possam apresentar resultados impressionantes, como eles funcionam internamente geralmente não é bem compreendido. Essa falta de transparência significa que até mesmo profissionais de saúde, reguladores e desenvolvedores desses dispositivos de IA podem não entender completamente como esses sistemas chegam às suas conclusões. Compreender como a IA toma decisões é crucial, pois pode ajudar a evitar erros e melhorar os resultados dos pacientes.
Limitações Atuais
Até agora, houve tentativas de esclarecer como os sistemas de IA na medicina funcionam. No entanto, esses esforços geralmente oferecem apenas percepções limitadas. Muitas técnicas existentes focam apenas em se a IA está analisando as áreas corretas da imagem, mas não dão uma visão completa do raciocínio do sistema. Essa falta de entendimento abrangente pode resultar em falhas críticas na lógica de tomada de decisão dos dispositivos de IA.
Foco na IA em Dermatologia
O campo da dermatologia oferece um estudo de caso único para investigar o raciocínio da IA médica. Dispositivos de IA em dermatologia têm mostrado alta precisão na detecção de diferentes condições de pele. Alguns até receberam aprovação para uso em ambientes médicos. No entanto, também apresentam riscos específicos, especialmente quando usados diretamente por pacientes sem a orientação de profissionais de saúde. Fatores como Viés de tom de pele e a grande variedade de imagens tiradas por consumidores podem afetar a confiabilidade desses sistemas de IA.
Questões Chave com as Técnicas de Análise de IA Atuais
A maioria dos métodos de análise atuais, como mapas de saliência, destaca áreas em uma imagem que influenciam a decisão da IA. Porém, essas técnicas podem não ser suficientes para aplicações em dermatologia, onde conceitos dermatológicos mais sutis são frequentemente necessários. Explicar a Previsão de uma IA envolve um entendimento profundo tanto da tecnologia quanto da dermatologia, o que pode gerar desafios na interpretação dos achados.
Abordagem Proposta
Para lidar com essas questões, foi desenvolvido um novo método para examinar os processos de raciocínio dos modelos de IA em dermatologia. Essa abordagem combina análise da IA com insights de especialistas em dermatologia. Ao gerar imagens contrafactuais-fotos que foram alteradas para analisar como as previsões da IA mudam-os pesquisadores podem identificar quais fatores influenciam as decisões da IA.
Como Funcionam as Imagens Contrafactuais
Imagens contrafactuais servem para ilustrar quais mudanças em uma lesão de pele podem fazer a IA fazer uma previsão diferente. Por exemplo, se uma IA prevê que uma lesão de pele é maligna, os pesquisadores podem alterar características específicas daquela imagem (como pigmentação ou textura) para ver se a IA passa a prever como benigna. Isso ajuda a entender os atributos que a IA considera significativos.
Analisando Contrafactuais com Input de Especialistas
Neste estudo, vários modelos de IA em dermatologia foram analisados para obter melhores insights sobre seus processos de raciocínio. Especialistas em dermatologia analisaram as imagens contrafactuais geradas a partir desses modelos. Ao comparar resultados em várias imagens e envolver múltiplos especialistas, a análise buscou reduzir viés e fornecer uma compreensão mais robusta.
Principais Descobertas da Avaliação da IA em Dermatologia
O desempenho dos dispositivos de IA em dermatologia variou bastante. Alguns modelos se saíram bem em conjuntos de dados específicos, enquanto outros enfrentaram dificuldades, especialmente com imagens que não combinavam com seus dados de treinamento. Essa inconsistência destaca a diversidade nos processos internos de raciocínio entre diferentes dispositivos de IA.
Importância da Pigmentação e Outros Recursos
Uma observação consistente foi a importância da pigmentação nas lesões. Modelos de IA frequentemente interpretavam pigmentação mais escura como um sinal de maior probabilidade de malignidade. Alguns dispositivos também se basearam em outros recursos dermatológicos, como padrões de pigmentação atípicos ou o número de cores presentes em uma lesão. Essas descobertas estão alinhadas com as percepções dos dermatologistas humanos, que também consideram essas características ao avaliar condições de pele.
Fatores Diversos Afetando Previsões da IA
Além das características nas lesões, atributos de fundo como textura e cor da pele influenciaram as previsões da IA. Por exemplo, a presença de cabelo ou diferentes tons de pele podiam levar a previsões variadas dependendo do modelo específico utilizado. Essas percepções sugerem que, enquanto algumas características são relevantes do ponto de vista médico, outras podem não ter uma clara significância clínica.
A Necessidade de Avaliação Rigorosa
O estudo destacou a necessidade de uma avaliação rigorosa dos dispositivos de IA em dermatologia. Ao entender como esses sistemas operam, os desenvolvedores podem melhorar seus modelos e garantir que sejam seguros para uso clínico. É essencial identificar potenciais vieses e limitações, especialmente em relação a como diferentes tons de pele podem afetar as previsões.
Aprendendo com Falhas da IA
A pesquisa também analisou casos em que dispositivos de IA fizeram previsões incorretas. Em muitos casos, os atributos que levaram a erros eram similares aos que dermatologistas humanos considerariam. Isso levanta a questão se as falhas da IA são sempre irracionais ou se refletem as complexidades envolvidas no diagnóstico de condições de pele.
Conclusão: Construindo Confiança na IA Médica
No final, essa exploração sobre os processos de raciocínio dos dispositivos de IA em dermatologia oferece insights valiosos para melhorar sua confiabilidade. Ao conectar a tecnologia de IA com a prática clínica, podemos fomentar um entendimento mais profundo de como esses sistemas funcionam. Esse entendimento será crítico para garantir que as ferramentas de IA sejam usadas de forma segura e eficaz no cuidado dos pacientes, especialmente à medida que se tornam mais integradas nas práticas médicas.
Direções Futuras
À medida que a IA continua a evoluir na área da saúde, mais pesquisas são necessárias para explorar suas implicações de forma abrangente. Ao desenvolver estruturas que combinem análise técnica com conhecimento médico especializado, podemos avaliar e melhorar melhor o desempenho da IA em dermatologia e outras especialidades médicas.
Título: Dissection of medical AI reasoning processes via physician and generative-AI collaboration
Resumo: Despite the proliferation and clinical deployment of artificial intelligence (AI)-based medical software devices, most remain black boxes that are uninterpretable to key stakeholders including patients, physicians, and even the developers of the devices. Here, we present a general model auditing framework that combines insights from medical experts with a highly expressive form of explainable AI that leverages generative models, to understand the reasoning processes of AI devices. We then apply this framework to generate the first thorough, medically interpretable picture of the reasoning processes of machine-learning-based medical image AI. In our synergistic framework, a generative model first renders "counterfactual" medical images, which in essence visually represent the reasoning process of a medical AI device, and then physicians translate these counterfactual images to medically meaningful features. As our use case, we audit five high-profile AI devices in dermatology, an area of particular interest since dermatology AI devices are beginning to achieve deployment globally. We reveal how dermatology AI devices rely both on features used by human dermatologists, such as lesional pigmentation patterns, as well as multiple, previously unreported, potentially undesirable features, such as background skin texture and image color balance. Our study also sets a precedent for the rigorous application of explainable AI to understand AI in any specialized domain and provides a means for practitioners, clinicians, and regulators to uncloak AIs powerful but previously enigmatic reasoning processes in a medically understandable way.
Autores: Su-In Lee, A. J. DeGrave, Z. R. Cai, J. D. Janizek, R. Daneshjou
Última atualização: 2023-05-16 00:00:00
Idioma: English
Fonte URL: https://www.medrxiv.org/content/10.1101/2023.05.12.23289878
Fonte PDF: https://www.medrxiv.org/content/10.1101/2023.05.12.23289878.full.pdf
Licença: https://creativecommons.org/licenses/by-nc/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao medrxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://licensing.edinburgh-innovations.ed.ac.uk/product/dermofit-image-library
- https://challenge.isic-archive.com/data/
- https://github.com/mattgroh/
- https://stanfordaimi.azurewebsites.net/datasets/35866158-8196-48d8-87bf-50dca81df965
- https://zenodo.org/record/6784279#.ZFrDc9LMK-Z
- https://figshare.com/articles/
- https://drive.google.com/drive/folders/1Zn7hNRgiI2jt7vpZO1ohpr-so9YztCCb
- https://github.com/suinleelab/derm_audit