CONFINE: Melhorando a Interpretabilidade da IA na Saúde

Modelos de deep learning têm mostrado muita habilidade em várias tarefas, como diagnóstico médico e compreensão de linguagem. Mas, muitos desses modelos funcionam como caixas-pretas, o que torna difícil saber como eles chegam às decisões. Isso pode ser um grande problema em áreas como saúde, onde as pessoas precisam confiar nas decisões do modelo. Entender claramente como um modelo funciona e sua Confiabilidade é fundamental para ajudar os usuários a fazerem escolhas informadas.

Métodos tradicionais para explicar as decisões da IA muitas vezes mudam o próprio modelo, o que pode levar a resultados menos precisos. Além disso, esses métodos geralmente não conseguem fornecer provas claras de que suas explicações estão corretas. Em outras palavras, enquanto podem explicar por que um modelo fez uma certa escolha, muitas vezes não dizem o quanto podemos confiar nessa escolha.

Para resolver esses problemas, apresentamos um novo método chamado CONFINE. Essa abordagem combina explicações com estimativas de incerteza nas previsões. Assim, CONFINE não só dá uma ideia do processo de tomada de decisão, mas também ajuda os usuários a verem quão confiáveis são essas decisões.

#A Necessidade de Interpretabilidade

Em áreas onde as decisões afetam diretamente vidas, como medicina, é essencial entender por que um modelo faz certas previsões. Por exemplo, se um modelo de saúde sugere um diagnóstico, ele também deve transmitir quão certo está sobre esse diagnóstico. Assim, um médico pode decidir se confia no modelo ou se deve coletar mais informações, como testes adicionais ou o histórico do paciente.

As explicações atuais dos modelos de IA focam em mostrar os motivos por trás das previsões. No entanto, muitas vezes faltam medidas concretas de certeza. Confiar nas pontuações softmax para confiança não é confiável. Isso porque exemplos adversariais podem enganar as pontuações softmax, fazendo o modelo fazer previsões de alta confiança, mas erradas.

O CONFINE pretende mudar isso usando um método chamado Predição Conformal para tornar os modelos mais interpretáveis. Esse método fornece conjuntos de previsões junto com pontuações de confiança e Explicações baseadas em exemplos.

#Como o CONFINE Funciona

O CONFINE adapta a predição conformal para uso em modelos de deep learning. Ele oferece mais do que apenas uma previsão única; fornece um conjunto de resultados possíveis com pontuações de confiança associadas. Isso ajuda os usuários a entenderem quão confiável é cada previsão.

#Principais Características do CONFINE

1. Confiabilidade e Transparência: O CONFINE aplica técnicas de predição conformal ao deep learning. Isso resulta em conjuntos de previsões com pontuações de credibilidade, ajudando os usuários a identificar casos que podem ser incertos. Faz isso através de uma mistura de explicações baseadas em exemplos e medidas de não conformidade, que avaliam quão único ou normal um determinado exemplo é em comparação com dados conhecidos.

2. Acurácia Aprimorada: Ao tornar o modelo mais interpretável, o CONFINE pode aumentar a acurácia original do modelo de maneira mensurável. Ele introduz um conceito chamado eficiência correta, que avalia com que frequência o conjunto de previsões contém a resposta correta. Usando essa métrica, o CONFINE mostra um desempenho melhor do que métodos anteriores.

3. Ampla Aplicabilidade: Esse método pode ser integrado facilmente a qualquer modelo de machine learning pré-treinado. Os usuários não precisam re-treinar seus modelos para aplicar o CONFINE. O código do CONFINE ficará disponível para outros usarem.

#Trabalhos Relacionados

#IA Explicável (XAI)

Existem principalmente dois tipos de explicações em IA – baseadas em exemplos e baseadas em características. Métodos baseados em exemplos fornecem explicações identificando instâncias semelhantes ou contrastantes. Por exemplo, eles podem mostrar imagens que estão próximas à amostra de entrada. Métodos baseados em características, por outro lado, destacam características importantes que influenciaram a decisão. Técnicas como Class Activation Mapping (CAM) e Grad-CAM visualizam essas características.

No entanto, muitos desses métodos vêm com um trade-off entre explicabilidade e acurácia. Mudanças feitas no modelo para melhorar as explicações muitas vezes podem degradar seu desempenho. Além disso, muitos métodos atuais de XAI não fornecem provas claras da correção de suas previsões.

#Estimativa de Incerteza

Além das explicações, é vital transmitir quão confiáveis são as previsões. Existem dois tipos de incerteza: aleatória (variabilidade natural) e epistêmica (incerteza devido à falta de conhecimento). Métodos anteriores voltados para estimar a incerteza geralmente se baseavam em técnicas complexas como modelos bayesianos ou aprendizado em conjunto. Esses métodos geralmente exigem mudanças no modelo, o que pode limitar sua praticidade em cenários do mundo real.

#Predição Conformal

Essa técnica serve como um framework geral para medir a incerteza nas previsões. Ela avalia quão típico um exemplo alvo é comparado a outros no conjunto de dados, fornecendo uma probabilidade para cada classe potencial. A predição conformal pode ser combinada com vários algoritmos preditivos, incluindo redes neurais.

Embora a predição conformal tenha sido aplicada com sucesso em outros contextos de machine learning, enfrentou desafios quando usada com deep learning devido às altas demandas computacionais e à complexidade dos modelos.

#A Abordagem CONFINE

O CONFINE se baseia na predição conformal para melhorar tanto a interpretação quanto a confiabilidade em modelos de deep learning. Veja como isso acontece:

#Preparação de Dados

O processo começa dividindo um conjunto de dados rotulados em um conjunto de treinamento e um conjunto de calibração. O conjunto de calibração ajuda a refinar as previsões do modelo, assim não precisa recalcular pontuações toda vez que uma nova amostra é processada.

#Extração de Características

O CONFINE extrai características de camadas específicas do modelo de deep learning. Isso geralmente envolve capturar as saídas de uma camada logo antes da classificação final, já que essa camada contém as características essenciais necessárias para a previsão.

#Pontuações de Não Conformidade

Usando as características extraídas, são calculadas pontuações de não conformidade para entender como cada amostra se compara a exemplos conhecidos. Amostras que o modelo classifica incorretamente são removidas do conjunto de treinamento para aumentar a precisão.

#Cálculo de valores-p

O CONFINE determina quão confiante o modelo está em cada previsão de classe calculando valores-p – essencialmente uma medida de quão provável o modelo pensa que uma amostra pertence a uma classe.

#Previsões e Explicações

Finalmente, o CONFINE gera conjuntos de previsões que incluem classes com valores-p superiores a um limite especificado. Também fornece insights sobre os vizinhos mais próximos que levaram à previsão. Isso significa que os usuários podem ver exemplos semelhantes nos dados de treinamento, adicionando clareza ao processo de tomada de decisão do modelo.

#Experimentos e Resultados

O CONFINE é avaliado em várias tarefas, incluindo diagnósticos médicos, classificação de imagens e entendimento de linguagem natural. Ele é comparado a métodos anteriores para avaliar o desempenho. Os resultados mostram consistentemente que o CONFINE fornece melhor acurácia, confiabilidade e interpretabilidade.

#Configuração do Experimento

A avaliação emprega três tarefas principais:

1. Diagnóstico de Dados de Sensores Médicos: Usando dados do CovidDeep, o CONFINE avalia quão bem os modelos preveem problemas de saúde relacionados ao COVID.
2. Classificação de Imagens: O CONFINE é testado em conjuntos de dados de imagens como CIFAR-10 e outras imagens médicas para verificar sua acurácia.
3. Compreensão da Linguagem Natural: O método é avaliado usando tarefas de análise de sentimentos e implicação textual.

#Métricas de Avaliação

• Acurácia: A correção da melhor previsão.
• Eficiência Correta: Com que frequência o conjunto de previsões contém o rótulo correto exato.
• Cobertura: A taxa em que os conjuntos de previsões incluem o rótulo verdadeiro.

#Benefícios do CONFINE

#Melhor Interpretabilidade

Ao fornecer conjuntos de explicações com níveis de confiança, o CONFINE permite que os usuários entendam melhor o comportamento do modelo. Por exemplo, pode destacar quais amostras de treinamento influenciaram uma previsão e quão próximas estão da amostra de teste.

#Aumento da Acurácia

O CONFINE consegue aumentar a acurácia do modelo significativamente sem precisar de re-treinamento. Isso é particularmente evidente em conjuntos de dados como o PathMNIST, onde teve um aumento notável em comparação com o modelo original.

#Eficiência Correta Aprimorada

O método não só melhora a acurácia, mas também a porcentagem de conjuntos de previsões que contêm o rótulo correto. O CONFINE supera consistentemente métodos anteriores nesse aspecto.

#Validade em Tarefas

O desempenho do CONFINE em métricas de cobertura apoia fortemente sua validade. Para que um preditor conformal seja considerado confiável, sua cobertura precisa se manter acima de um certo limite de erro.

#Limitações e Trabalho Futuro

Embora o CONFINE melhore a interpretabilidade e a confiabilidade, ele traz seus próprios desafios. Um problema proeminente é o custo computacional adicional devido aos cálculos de vizinhos mais próximos. Isso requer mais tempo e recursos, o que pode limitar seu uso em certos cenários.

No futuro, os esforços podem se concentrar em reduzir essas demandas computacionais, possivelmente através de técnicas que identifiquem pontos representativos no conjunto de treinamento. Além disso, ajustes podem ser feitos para conjuntos de dados conhecidos por serem não intercambiáveis.

#Conclusão

O CONFINE oferece uma solução promissora para combinar interpretabilidade e desempenho em modelos de deep learning. Ao integrar explicações claras com uma quantificação robusta da incerteza, aumenta a transparência, confiabilidade e utilidade dos modelos em áreas críticas como saúde. Essa adaptabilidade a modelos existentes sem necessidade de re-treinamento se destaca como uma vantagem significativa, abrindo caminho para sua aplicação mais ampla em vários campos.