Avaliando o impacto da IA na equidade em saúde

O uso de tecnologia que depende de dados tá ficando mais comum na saúde. Dois dos principais tipos de tecnologia usados são a Inteligência Artificial (IA) e o Aprendizado de Máquina (AM). Esses recursos podem ajudar a melhorar a forma como os profissionais de saúde trabalham, auxiliar na tomada de decisões clínicas e aprimorar as operações gerais dos sistemas de saúde. Por exemplo, a IA e o AM podem ajudar a reconhecer e tratar condições sérias como sepse, prevenir transferências desnecessárias para a UTI e calcular automaticamente métricas importantes da função cardíaca. Essas tecnologias também podem levar a uma detecção mais precoce de doenças, garantir que os dados médicos sejam coletados e analisados de forma mais consistente, e proporcionar um melhor acesso aos serviços de saúde para os pacientes.

Apesar dos potenciais benefícios, o crescimento das ferramentas de IA na saúde tem superado as regras e diretrizes que garantem que elas sejam usadas de forma segura e justa. Pesquisas mostram que houve diversas situações em que essas tecnologias de IA continuam a apoiar preconceitos e disparidades existentes. Para enfrentar esse problema, vários órgãos governamentais já começaram a tomar medidas para garantir que a IA na saúde não piore essas inequidades. Mas ainda falta um método claro para as organizações de saúde implementarem esses princípios de forma eficaz.

Muitos estudos identificaram várias razões pelas quais existem preconceitos em produtos de IA. Isso inclui lacunas na representação dos dados usados para treinar os modelos, falta de dados históricos, eventos fora do padrão, preconceitos na forma como os dados são medidos e problemas na linguagem usada para descrever os resultados. Embora tenham havido algumas análises e sugestões sobre como lidar com esses preconceitos, ainda falta um conjunto abrangente de passos práticos que os líderes da saúde possam usar para reduzir o risco da IA agravar disparidades na saúde.

Em nosso trabalho anterior, descobrimos que os líderes de saúde têm dificuldade em avaliar o impacto de um produto de IA nas disparidades de saúde. Conversamos com pessoas de várias organizações de saúde e especialistas em ética e preconceito na IA, mas não conseguimos chegar a um consenso claro sobre as melhores maneiras de avaliar esses impactos.

#Pesquisa Atual

Para preencher essas lacunas, organizamos um workshop e criamos uma estrutura que ajuda os líderes de saúde a entender como a tecnologia de IA pode afetar a equidade em saúde. Essa estrutura se chama Saúde Equitativa Ao Longo do Ciclo de Vida da IA (HEAAL). Definimos equidade em saúde como todos alcançando saúde ideal, independentemente de seu histórico ou situação.

O objetivo dessa pesquisa é duplo: Primeiro, queremos dar uma descrição detalhada dos procedimentos da estrutura e dos dados e stakeholders relevantes envolvidos. Segundo, buscamos explicar como criamos essa estrutura usando métodos de pesquisa em design participativo, o que vai ajudar em colaborações futuras.

#Engajamento e Alinhamento

A estrutura HEAAL foi criada através de uma colaboração extensa com vários líderes de organizações de saúde e parceiros relacionados nos EUA. Recrutamos equipes que realizaram estudos de caso e compartilharam suas experiências durante o workshop. Muitos representantes de organizações de saúde e parceiros do ecossistema contribuíram com suas percepções sobre como a IA está sendo usada em seus ambientes.

Um conjunto diversificado de profissionais, incluindo clínicos, representantes da comunidade, cientistas da computação, especialistas legais, gerentes de projeto e acadêmicos, fez parte da equipe de desenvolvimento que criou a estrutura e seus procedimentos. Eles participaram de discussões ao longo do processo de design, garantindo que sua expertise variada fosse incorporada. A abordagem de design envolveu duas rodadas principais de geração e refinamento de ideias.

#Declaração de Ética

Essa pesquisa foi estruturada como um projeto de melhoria de qualidade e não envolveu pesquisa com sujeitos humanos, então não precisou de aprovação do conselho de revisão institucional (IRB). Todos os participantes deram consentimento verbal para participar dos processos de design e permitiram que suas contribuições anônimas fossem usadas para análise.

Durante a fase de descoberta inicial, exploramos as percepções dos participantes e documentamos seus pensamentos.

#Estudos de Caso

No total, três estudos de caso foram elaborados como parte do processo de pesquisa. Um foi desenvolvido por uma equipe do Duke Institute for Health Innovation focando em uma ferramenta para prever sepse pediátrica. Os outros dois estudos de caso foram feitos por equipes do NewYork-Presbyterian e do Parkland Center for Clinical Innovation, abordando depressão pós-parto e segmentação de pacientes.

Esses estudos de caso serviram como exemplos práticos de aplicações de IA, facilitando discussões durante o workshop.

#Domínios de Avaliação

Os membros da equipe que desenvolveram a estrutura analisaram os estudos de caso e identificaram áreas-chave que os líderes de saúde devem focar ao implementar uma solução de IA. Cada área foi descrita e métodos de avaliação potenciais foram propostos. Isso levou à identificação de seis domínios de avaliação importantes.

#Insights do Workshop

Durante o workshop, participantes de diferentes áreas compartilharam suas opiniões sobre o tema por meio de várias atividades. Pesquisadores de design coletaram notas das discussões que ocorreram, levando à síntese de insights cruciais. Esses insights foram organizados nas áreas de avaliação previamente identificadas.

Os desenvolvedores da estrutura revisaram as ideias compartilhadas durante o workshop e refinaram as áreas de avaliação em seis domínios claros.

#Prototipagem

A próxima fase envolveu o desenvolvimento e teste de protótipos iniciais da estrutura. Cada domínio tinha perguntas orientadoras específicas que os desenvolvedores da estrutura responderam individualmente. Os pesquisadores de design consolidaram essas informações em um único documento, formando o primeiro protótipo da estrutura.

A equipe então testou o protótipo usando o algoritmo de predição de sepse pediátrica. Isso foi crucial para garantir que a estrutura fosse prática para uso no mundo real. O feedback desse teste inicial sugeriu algumas áreas para melhoria, como reduzir redundâncias nos procedimentos e esclarecer papéis e Responsabilidades específicas.

Depois disso, um segundo protótipo foi gerado, que incluía insights dos usuários. Esta versão atualizada foi testada novamente para verificar sua usabilidade e alinhamento com os objetivos originais estabelecidos para a estrutura.

#Finalizando a Estrutura

Após as revisões baseadas no feedback de usuários e stakeholders, a versão final da estrutura HEAAL foi criada e está destinada a ser compartilhada com outras equipes de estudo de caso para aplicação futura.

#Domínios de Avaliação da Equidade em Saúde

A estrutura HEAAL foca em cinco domínios principais de avaliação:

1. Responsabilidade: Isso envolve garantir que indivíduos e organizações sejam responsáveis pelos efeitos da solução de IA. Inclui supervisão de potenciais impactos negativos e estabelecer planos para monitoramento contínuo.

2. Justiça: Esse princípio gira em torno de tratar todas as pessoas de forma equitativa, sem preconceitos. A avaliação visa garantir que os recursos sejam distribuídos de forma justa entre diferentes grupos, prevenindo resultados discriminatórios.

3. Adequação ao Propósito: Isso avalia se uma solução de IA é adequada para resolver o problema específico para o qual foi projetada. Inclui definir usos pretendidos, restrições e o público-alvo da solução.

4. Confiabilidade e Validade: Essa área foca no desempenho da solução de IA. Uma ferramenta confiável dá resultados consistentes, enquanto a validade garante que o modelo mede com precisão o que deve medir.

5. Transparência: Esse domínio destaca a importância de uma comunicação clara sobre como a solução de IA é desenvolvida e mantida. Busca garantir que os usuários entendam os potenciais riscos e impactos.

#Desafios na Implementação

A estrutura HEAAL também reconhece alguns desafios na aplicação desses domínios de avaliação. É necessário um conhecimento significativo e infraestrutura para coletar conjuntos de dados diversos e robustos. A estrutura é útil, mas implementá-la completamente requer recursos e apoio consideráveis, especialmente para organizações com menos recursos.

Há também a necessidade de incentivos financeiros para motivar as organizações de saúde a adotarem a estrutura HEAAL. Sem esses incentivos, há o risco de que as organizações hesitem em usar a IA, mesmo quando ela pode melhorar a qualidade do atendimento.

É importante estar ciente de que simplesmente adotar a estrutura HEAAL não garante equidade. As organizações devem se comprometer a mudanças reais e não usar a estrutura como uma forma de parecer comprometidas sem fazer melhorias reais.

#Limitações e Direções Futuras

Embora a estrutura HEAAL seja abrangente e fácil de usar, ela tem suas limitações. Foi principalmente desenvolvida dentro do contexto dos EUA, e usuários de outros países podem enfrentar lacunas em seus procedimentos. Além disso, a estrutura é bastante extensa, o que pode ser esmagador para alguns usuários. As instruções foram simplificadas o máximo possível para melhorar a acessibilidade.

Outra limitação é que a estrutura HEAAL foi testada principalmente com produtos de IA desenvolvidos internamente. Há a necessidade de validá-la com produtos desenvolvidos externamente, já que a maioria das soluções de IA usadas na saúde não são construídas internamente.

A estrutura ainda não foi testada com aplicações de IA generativa. Para continuar refinando, esperamos que as organizações usem a estrutura HEAAL na prática e forneçam feedback com base em suas experiências.

#Conclusão

A HEAAL oferece uma forma estruturada para as organizações de saúde avaliarem como as soluções de IA impactam a equidade em saúde. Ela enfatiza a necessidade de uma avaliação minuciosa dos potenciais efeitos das aplicações de IA e incentiva a colaboração entre diferentes stakeholders. A estrutura tem como objetivo mitigar disparidades em saúde enquanto aborda desafios e oportunidades em saúde impulsionada por IA. Através dessa abordagem colaborativa, esperamos avançar na entrega equitativa de serviços de saúde e manter canais de comunicação abertos para melhorias contínuas.