Abordando a Detecção de Fora da Distribuição na Aprendizagem de Múltiplas Instâncias

No mundo do aprendizado de máquina, a gente costuma construir sistemas que precisam tomar decisões com base em dados, tipo classificar imagens ou diagnosticar condições médicas. Um grande desafio aparece quando os dados que o sistema vê na aplicação real são diferentes dos dados em que ele foi treinado. Essa situação se chama detecção de out-of-distribution (OOD). Quando um modelo encontra dados OOD, ele pode não gerar resultados precisos, já que não foi treinado pra entender esses dados desconhecidos.

Tradicionalmente, muito esforço foi feito pra lidar com dados OOD em configurações de aprendizado supervisionado padrão. Mas, lidar com a detecção OOD em um cenário mais complexo conhecido como Aprendizado de Múltiplas Instâncias (MIL) ainda é menos explorado. No MIL, o modelo recebe grupos de imagens ou pontos de dados chamados de "sacos", onde as etiquetas individuais dos pontos de dados não são conhecidas, mas há uma única etiqueta para todo o saco.

#O Desafio da Detecção de Out-Of-Distribution

Sistemas de aprendizado de máquina normalmente esperam que os dados que processam venham do mesmo padrão que os dados de treinamento, conhecidos como dados in-distribution (ID). Quando um modelo encontra dados OOD, ele tem que fazer suposições com base nas informações que tem, o que pode levar a erros. Existem duas maneiras principais pelas quais a distribuição pode mudar de ID para OOD:

1. Mudança Semântica: Isso acontece quando as classes dos dados ID e OOD são completamente diferentes. Por exemplo, se um modelo é treinado pra reconhecer gatos e cachorros, mas depois vê imagens de carros e aviões, isso seria uma mudança semântica.

2. Mudança de Covariável: Aqui, as classes podem se sobrepor, mas a natureza da entrada muda. Por exemplo, se um modelo treinado em imagens brilhantes e bem iluminadas receber imagens escuras ou desfocadas, pode ter dificuldade em performar com precisão, mesmo que as classes sejam as mesmas.

Pra trabalhar efetivamente com esses modelos, precisamos ser capazes de identificar quando os dados não estão na faixa esperada, o que torna a detecção OOD crucial.

#Como Funciona a Detecção OOD

Muitos métodos foram propostos pra melhorar a detecção OOD em diferentes cenários. Esses métodos podem ser divididos em três categorias principais:

1. Métodos de Inferência Pós-Hoc: Esses métodos usam modelos que já foram treinados sem nenhum treinamento adicional pra detecção OOD.

2. Métodos de Retreinamento: Esses requerem o retreinamento do modelo em novos dados sem incluir amostras de dados OOD.

3. Novos Métodos de Treinamento: Esses criam processos de treinamento totalmente novos, que incluem exemplos OOD no conjunto de treinamento.

A maioria dos métodos se concentra em calcular uma "Pontuação de Confiança" com base nas saídas do modelo. Essa pontuação ajuda a indicar se uma amostra é da distribuição esperada ou não. Alguns métodos analisam as saídas softmax ou logits do modelo pra fazer essas avaliações de confiança.

#Adaptando a Detecção OOD para o Aprendizado de Múltiplas Instâncias

O Aprendizado de Múltiplas Instâncias (MIL) é uma abordagem única frequentemente usada pra tarefas onde os pontos de dados individuais não estão rotulados. O MIL é útil em muitas áreas, incluindo a saúde, onde um grupo de imagens pode precisar ser classificado com base na presença de um recurso específico, mas as imagens individuais podem não ter rótulos.

No MIL, um fluxo de trabalho típico envolve três componentes principais:

1. Embedder de Instância: Essa parte do sistema cria representações de baixa dimensão de cada imagem individual.

2. Operador de Pooling: Esse combina as representações de todas as instâncias em um saco em uma única representação.

3. Classificador: Esse gera uma pontuação final pra determinar a qual classe o saco pertence, com base na representação agrupada.

Com a detecção OOD, é importante ajustar como produzimos pontuações de confiança pra fazer sentido da estrutura única do MIL. Métodos tradicionais podem não funcionar tão bem por causa da forma como os dados são agrupados em sacos.

#Criando um Novo Benchmark OOD para MIL

Pra avaliar efetivamente os métodos de detecção OOD no contexto do MIL, os pesquisadores propuseram um novo benchmark. Isso envolve usar conjuntos de dados comuns, mas organizá-los em uma forma adequada para tarefas de MIL. O objetivo é entender quão bem diferentes métodos performam quando encounter dados OOD sob as condições específicas do MIL.

O benchmark inclui o uso de vários conjuntos de dados bem conhecidos, onde os sacos são formados amostrando diferentes instâncias. Se um saco contém pelo menos uma instância de uma classe-alvo, ele é rotulado como positivo; caso contrário, é negativo.

Durante os testes, os pesquisadores analisaram diferentes conjuntos de dados, incluindo conjuntos simples de dígitos e imagens mais complexas de tecidos médicos. O setup permitiu uma avaliação aprofundada de múltiplos métodos de detecção OOD e seu desempenho em detectar se um saco de imagens foi rotulado corretamente.

#Setup Experimental e Resultados

Os experimentos foram projetados pra testar como vários métodos se saíram na detecção de amostras OOD dentro do contexto do MIL. Várias técnicas foram avaliadas, incluindo aquelas que se baseiam nas saídas do classificador comparadas àquelas que dependem das representações agrupadas dos sacos. Diferentes conjuntos de dados forneceram resultados variados com base no método aplicado.

Os achados revelaram que nenhum método OOD único tem uma vantagem clara em todos os conjuntos de dados. Para alguns conjuntos, métodos baseados nas saídas do classificador mostraram melhor desempenho, enquanto outros se beneficiaram do uso das representações agrupadas. Essa variabilidade enfatiza que não existe uma solução única quando se trata de detecção OOD no MIL.

A importância do design dos embeddings e do setup de treinamento inicial ficou evidente nos resultados. Os experimentos indicaram que usar um embedder fixo, em vez de um que foi treinado, teve um impacto direto em como o modelo lidou com a detecção OOD.

#Conclusão

Esse estudo ilumina os desafios e complexidades envolvidos na detecção OOD dentro do âmbito do Aprendizado de Múltiplas Instâncias. O desenvolvimento de um benchmark permite uma melhor avaliação de vários métodos, mas também destaca a necessidade de abordagens mais direcionadas que considerem os aspectos únicos do MIL. Os resultados sublinham a importância de selecionar o método certo com base nas características específicas dos conjuntos de dados e modelos sendo usados.

Seguindo adiante, há uma necessidade clara de técnicas inovadoras de detecção OOD que se concentrem na estrutura única do MIL. Melhorar a confiabilidade da detecção OOD em ambientes de MIL é essencial não só pra melhorar o desempenho dos modelos de aprendizado de máquina, mas também pra expandir suas aplicações no mundo real, especialmente em áreas críticas como a saúde. A exploração contínua desses métodos marca um passo importante na abordagem dos desafios que surgem no aprendizado de máquina quando confrontados com diferentes distribuições de dados.