Novo Método para Estimar Incerteza em Modelos Pré-Treinados

Prever Incerteza nos dados pode ser complicado por causa de dados confusos ou bagunçados. Normalmente, esse problema é resolvido criando novos modelos que lidam especificamente com essa incerteza. Esses modelos costumam precisar de configurações e suposições especiais, o que às vezes faz com que eles sejam excessivamente confiantes em situações onde as previsões não são muito precisas.

Neste trabalho, sugerimos uma nova maneira de estimar a incerteza depois do fato, usando amostragem. Esse método leva em conta a ambiguidade nos dados, conhecida como incerteza aleatória. Ele permite gerar diferentes saídas razoáveis a partir da mesma entrada. O mais importante é que não precisa de um tipo específico de modelo e pode funcionar com qualquer rede padrão sem precisar de ajustes ou re-treinamento.

Nossos experimentos, que incluem tarefas relacionadas a imagens e dados não-imagem, mostram que esse método é eficaz em criar previsões variadas. Ele também se adapta bem a mudanças nos dados e tende a ser mais cauteloso em comparação com métodos tradicionais.

#Importância de Estimar Incerteza

Estimar a incerteza em modelos de aprendizado profundo é muito importante em várias áreas, desde diagnóstico médico até carros autônomos. A incerteza pode vir de algumas fontes. Primeiro, pode haver ambiguidade inerente nos dados que não pode ser reduzida só com mais dados. Isso chamamos de incerteza aleatória. Segundo, pode haver incerteza devido ao próprio modelo, como a incerteza sobre seus parâmetros ou vieses, que às vezes podem ser resolvidos treinando com mais dados ou ajustando o modelo.

Embora muitos modelos tenham sido criados para medir incerteza com métodos totalmente supervisionados, houve muito menos foco em como fazer isso depois que os modelos já estão treinados. Isso é crucial porque muitos dos modelos que melhor se saem atualmente são determinísticos, ou seja, não têm medidas de incerteza embutidas.

Quando avaliamos a incerteza preditiva com um modelo pré-treinado, nos concentramos em como a saída varia devido à ambiguidade na entrada. Isso pode acontecer em cenários onde a entrada não é clara o suficiente para apontar uma única saída, como em casos com ruído nas medições ou baixa qualidade de imagem em análises médicas.

Determinar como as saídas variam devido à incerteza aleatória é bem desafiador. As razões para isso incluem que as distribuições resultantes podem ser complicadas e muitas vezes difíceis de trabalhar. Além disso, cenários do mundo real muitas vezes exigem gerar amostras plausíveis ao invés de apenas estatísticas básicas sobre os dados. Métodos convencionais, como a abordagem de integração de Monte Carlo, fornecem uma maneira forte de lidar com esses problemas.

#Técnicas de Amostragem

Métodos de amostragem tradicionais, conhecidos como Cadeia de Markov Monte Carlo (MCMC), criam cadeias de propostas de amostra. Cada proposta é avaliada para aceitação com base em certas Probabilidades. Esses métodos têm um bom suporte teórico para convergir a uma distribuição desejada. Especificamente, na abordagem de Metropolis-Hastings (MH), as probabilidades são checadas para determinar se novas amostras devem ser aceitas ou não com base no conhecimento prévio e na probabilidade atual.

No entanto, em muitas aplicações de aprendizado profundo, apenas um conjunto limitado de amostras está disponível. Essas amostras são usadas para treinar uma rede que prevê saídas para as entradas fornecidas. Mesmo com uma Rede pré-treinada, ainda é viável amostrar da probabilidade da rede usando uma abordagem definida de forma apropriada.

Trabalhos anteriores nesse espaço utilizaram designs de rede especializados e funções de probabilidade. Nossa abordagem, no entanto, simplifica isso definindo uma função de probabilidade para uso geral com qualquer rede pré-treinada.

#Método Proposto

Introduzimos um novo método de amostragem usando o esquema de Metropolis-Hastings para avaliar a incerteza depois que o modelo foi treinado. Nosso novo método oferece uma maneira de estimar a probabilidade usando retropropagação simples de entrada e medidas de distância inspiradas na estimativa de densidade de kernel (KDE). É importante notar que nosso método não requer configurações de treinamento especiais ou acesso a dados verdadeiros e funciona com qualquer rede pré-treinada.

A base teórica para nossa abordagem garante características de amostragem robustas e permite previsões diversas e multimodais. Isso é particularmente benéfico em várias tarefas, especialmente regressão, onde a estimativa de incerteza muitas vezes foi negligenciada.

#Avaliação das Estimativas de Incerteza

Nossos experimentos aplicaram esse novo método a diversas tarefas em domínios de imagem e não-imagem. Vimos que nossas estimativas de incerteza eram geralmente mais cautelosas do que as de métodos concorrentes, fazendo menos previsões com alta confiança quando a confiança real deveria ter sido baixa.

Também avaliamos quão bem nossa abordagem poderia se adaptar a mudanças nos dados, testando em exemplos que eram estruturalmente diferentes dos dados de treinamento. Isso nos ajudou a garantir que nosso método era robusto e poderia lidar com exemplos fora da distribuição.

#Trabalhos Anteriores na Área

Outros já olharam para a estimativa de incerteza em modelos pré-treinados, mas muitos métodos existentes têm limitações. Por exemplo, alguns exigem que as saídas do modelo estejam em uma forma específica ou dependem muito do acesso aos dados de treinamento. Nossa abordagem supera essas limitações e oferece uma solução versátil que pode ser facilmente aplicada a vários modelos.

#Aplicações Futuras do Método

Embora nosso trabalho tenha se concentrado em problemas de regressão, há potencial para que este método seja aplicado também a tarefas de classificação. Essa versatilidade aumenta sua utilidade prática em diferentes aplicações. Por exemplo, em problemas onde as saídas podem ser probabilidades de classe com base nos números de ocorrência de um conjunto de dados, nosso método pode desempenhar um papel crucial.

#Amostragem Sem Probabilidade

A Computação Bayesiana Aproximada (ABC) serve como uma abordagem de amostragem bayesiana que evita calcular a probabilidade diretamente. Em vez disso, propostas são aceitas apenas como amostras com base em quão bem os dados simulados correspondem aos dados observados. Embora este método tenha seus méritos, também enfrenta desafios em contextos de aprendizado profundo devido à complexidade inerente de definir probabilidades adequadas.

#Configuração Experimental

Para nossos experimentos, avaliamos a incerteza em tarefas do mundo real, particularmente em imagens médicas e tomografias computadorizadas. Usamos conjuntos de dados que representam várias estruturas anatômicas e condições, garantindo que nossos cenários de teste fossem tanto realistas quanto relevantes.

#Conclusão sobre Estimativa de Incerteza

Em resumo, o Deep MH apresenta um método valioso para obter estimativas de incerteza em modelos determinísticos sem precisar de re-treinamento ou arquiteturas de rede especializadas. Nossos testes mostram que ele supera os métodos existentes em termos de qualidade preditiva.

O principal desafio da nossa abordagem continua sendo suas demandas computacionais, já que métodos de amostragem costumam exigir recursos significativos. No entanto, a troca entre carga computacional e a qualidade das estimativas de incerteza justifica a abordagem que adotamos.

Olhando para o futuro, vemos oportunidades para aprimorar este método, especialmente em relação à eficiência computacional do processo de avaliação da probabilidade. Além disso, a relação entre a adaptabilidade do modelo e a medição da incerteza representa uma área rica para futuras pesquisas. No geral, nosso trabalho promove um melhor uso da estimativa de incerteza em tarefas de aprendizado profundo, o que é crucial para a segurança e confiabilidade em aplicações do mundo real.