Avaliação da Confiabilidade dos Métodos de Seleção de Testes em Aprendizado Profundo

Testar sistemas que usam aprendizado profundo é super importante, mas dá um trampo danado e consome tempo. Um grande desafio é rotular os dados que a gente coleta. Pra facilitar essa parte de rotulagem, o pessoal inventou várias maneiras de escolher os testes. Esses métodos só precisam rotular uma parte pequena dos dados de teste e ainda assim conseguem atender às necessidades de teste. Mas, muitos desses métodos foram testados só em situações simples, tipo usando os mesmos dados que foram treinados. Isso levanta a pergunta: será que dá pra confiar sempre nesses métodos?

Neste artigo, a gente analisa quando e como os métodos de seleção de teste podem não funcionar como esperado. Começamos apontando algumas fraquezas em 11 métodos de seleção de teste diferentes que vêm de fontes respeitáveis. Depois, estudamos cinco conjuntos de dados com dois tipos de modelos para cada conjunto pra ver se essas fraquezas realmente existem na prática. Nosso objetivo é mostrar como essas fraquezas podem deixar os métodos de seleção de teste pouco confiáveis. Por exemplo, métodos que buscam falhas podem ter dificuldades com dois tipos de dados de teste: 1) Dados que estão classificados corretamente, mas são incertos, e 2) Dados que estão classificados errado, mas são certos. Na verdade, a cobertura relativa dos dados de teste pode cair até 86,85%. Por outro lado, os métodos usados pra estimar desempenho são sensíveis a qual parte da saída do modelo é escolhida.

O aprendizado profundo se tornou uma parte chave de muitos sistemas do dia a dia, tipo reconhecimento facial, chatbots e carros autônomos. Assim como sistemas de software tradicionais, esses sistemas de aprendizado profundo também precisam de testes rigorosos pra garantir que atendem às expectativas dos usuários. A parte central desses sistemas é geralmente uma rede neural profunda (DNN). Um jeito comum de testá-las é avaliando seus modelos pré-treinados.

As DNNs funcionam aprendendo com os dados com os quais foram treinadas e, em seguida, tomando decisões com base em novos dados. É crucial ter dados de treinamento de alta qualidade e uma variedade ampla de dados de teste com rótulos corretos. Mas, conseguir esses dados de teste rotulados é complicado devido ao esforço intenso de rotulagem, trabalho humano e conhecimento específico necessário. Descobrir como testar as DNNs de forma eficaz com menos dados de teste rotulados virou um assunto quente pra pesquisadores.

Uma abordagem promissora pra essa questão de rotulagem é usar técnicas de seleção de teste para aprendizado profundo. Isso significa que só uma parte do conjunto de dados é rotulada. Vários métodos de seleção de teste foram sugeridos, principalmente na área de engenharia de software. Esses métodos geralmente podem ser divididos em dois tipos: 1) seleção de teste para detecção rápida de falhas e 2) seleção de teste para estimar o desempenho do modelo. Pra simplificar, chamamos esses de métodos de Detecção de Falhas e métodos de estimativa de desempenho. Os métodos de detecção de falhas têm como objetivo encontrar dados que provavelmente serão classificados errado. Esses dados podem então ser usados pra melhorar o desempenho do modelo com retrain. Já os métodos de estimativa de desempenho selecionam um pequeno conjunto de dados que representam todo o conjunto de teste, permitindo uma aproximação do desempenho do modelo.

Entretanto, precisamos saber o quão robustos esses métodos são, especialmente ao lidar com dados incomuns ou alterados. A confiabilidade dos métodos de seleção de teste necessita de uma exploração cuidadosa pra determinar quando eles podem falhar e, mais importante, que danos isso pode causar aos usuários. Se esses métodos não atendem às necessidades de teste, isso pode levar a desperdício de recursos em rotulagem e orçamentos de teste. Por exemplo, muitos métodos de detecção de falhas se baseiam na suposição de que Dados Incertos são mais propensos a serem classificados errado. Eles acreditam que dados que seu modelo está incerto (ou seja, não tem certeza sobre sua previsão) têm maior chance de serem classificados errado. Porém, essa suposição pode fazer o processo de seleção ignorar falhas que parecem certas. Como resultado, ao enfrentar muitos dados incertos, os métodos de detecção de falhas podem não funcionar bem.

A gente acredita que muitos métodos atuais de seleção de teste não são robustos. É essencial conhecer suas limitações pra que possam ser usados de forma confiável. Neste artigo, a gente estuda esses problemas, focando em quando e como os métodos de seleção de teste falham. Começamos fazendo uma pesquisa sobre os métodos existentes de detecção de falhas e estimativa de desempenho. No total, identificamos oito métodos de detecção de falhas e três métodos de estimativa de desempenho, incluindo seleção aleatória. Em seguida, olhamos para possíveis armadilhas nesses métodos com base no design deles. Então, realizamos um estudo empírico pra ver se essas armadilhas importam. Projetamos métodos pra provocar essas questões. Finalmente, com base no que encontramos, oferecemos diretrizes sobre como avaliar métodos de seleção de teste de forma robusta ao desenvolver novos. Nosso estudo abrange cinco conjuntos de dados bem conhecidos, como Traffic-sign e CIFAR100, com duas arquiteturas de modelo populares para cada conjunto.

#Principais Descobertas

• Todos os métodos de detecção de falhas enfrentam dificuldades com dois tipos de dados de teste: 1) dados corretamente classificados, mas incertos, e 2) dados classificados errado, mas certos. Em média, a efetividade dos métodos de seleção de teste diminui em 52,49% e 39,80% quando se deparam com esses dois tipos de dados.
• Os dois tipos de dados de teste prejudicam seriamente os esforços de reparo do modelo. Ao lidar com eles, até a seleção aleatória se sai melhor do que métodos mais avançados como PRIMA, TestRank e DSA. Especificamente, 55 dos 80 modelos reparados mostram redução de precisão quando enfrentam dados corretamente classificados, mas incertos.
• A efetividade dos métodos de estimativa de desempenho existentes é altamente influenciada por qual camada de saída do modelo é escolhida. Esses métodos podem ter um desempenho pior que a seleção aleatória se uma camada inadequada for selecionada.

#Contexto e Trabalhos Relacionados

Teste de Aprendizado Profundo

Testar DNNs tem como objetivo garantir seu desempenho sob diferentes distribuições de dados, incluindo aquelas semelhantes aos dados de treinamento. Existem dois principais objetivos para o teste: 1) garantir robustez natural (desempenho contra distribuições de dados variadas) e 2) verificar robustez adversarial (resistência a ameaças de segurança). Para robustez natural, muitos dados de teste são necessários pra cobrir várias distribuições, enquanto o teste de robustez adversarial pode envolver a criação de exemplos adversariais pra avaliar a resiliência do modelo.

Seleção de Teste para DNNs

Os métodos de seleção de teste ajudam a testar DNNs sem exigir uma rotulagem extensa. O primeiro tipo busca dados propensos a erros de classificação, e o segundo seleciona dados representativos pra estimar o desempenho do modelo. Em vez de sugerir novos métodos, este artigo destaca quando os métodos existentes podem falhar.

Estudos Empíricos sobre Testes de Aprendizado Profundo

Muitos estudos investigaram técnicas existentes de teste de aprendizado profundo. Esses estudos examinam as conexões entre vários critérios de teste e o desempenho do modelo, a utilidade do teste de mutação em DNNs e como a seleção de teste afeta o desempenho do retrain do modelo ao enfrentar mudanças na distribuição de dados. Ao contrário de estudos anteriores, focamos em dois tipos de seleção de teste e consideramos cenários de teste mais complexos pra expor fraquezas nos métodos.

#Análise dos Métodos de Seleção de Teste

Esta seção resume os principais métodos de seleção de teste.

Métodos de Detecção de Falhas

Os métodos de detecção de falhas focam em identificar dados de teste que o modelo pode classificar errado. Esses métodos ajudam a diagnosticar fraquezas no modelo DNN. Aqui estão alguns exemplos:

• Adequação de Surpresa Baseada em Distância (DSA): Esse método mede diferenças entre traços de ativação em amostras de teste e no conjunto de treinamento.
• DeepGini: Esse método avalia a incerteza nas previsões.
• Clustering e Priorização de Múltiplas Fronteiras (MCP): Agrupa os dados em áreas de confusão para uma melhor seleção.
• Incerteza de Dropout de Monte Carlo (MC): Usa técnicas de dropout pra obter múltiplas previsões e avaliar a incerteza.
• Máxima Probabilidade (MaxP): Considera a confiança do modelo em suas previsões.
• TestRank: Um método baseado em aprendizado que usa informações gráficas pra melhorar a seleção.
• PRIMA: Gera mutantes a partir de dados de entrada e avalia falhas com base em características desses mutantes.
• Seleção Adaptativa de Teste (ATS): Baseia-se somente na probabilidade de saída final dos dados.

Métodos de Estimativa de Desempenho

Esses visam selecionar um subconjunto de dados de teste que representa bem todo o conjunto. Exemplos incluem:

• Amostragem Baseada em Entropia Cruzada (CES): Escolhe dados com mínima entropia cruzada.
• Estimativa Prática de Precisão (PACE): Agrupa dados e seleciona amostras pra representar uniformemente o grupo.

#Armadilhas dos Métodos de Seleção de Teste

Acreditamos que existem três principais armadilhas que atrapalham o sucesso dos métodos de seleção de teste:

1. Cegueira para Dados Altamente Incertos, mas Corretamente Classificados: Métodos de detecção de falhas geralmente assumem que alta incerteza indica uma chance de classificação errada. No entanto, isso só é verdade para modelos bem treinados.
2. Cegueira para Dados com Baixa Incerteza, mas Classificados Errado: Métodos de detecção de falhas ignoram dados com baixa incerteza, mas classificados errado.
3. Vulnerabilidade à Seleção de Camadas: Métodos de estimativa de desempenho dependem muito de qual camada de saída é escolhida, dificultando a determinação da melhor escolha em diferentes conjuntos de dados.

#Desenho do Estudo

Esta seção delineia o design do nosso estudo empírico pra avaliar métodos de seleção de teste. Vamos tentar responder cinco questões de pesquisa sobre a efetividade desses métodos e sua capacidade de lidar com vários tipos de dados.

#Configuração Experimental

Para nosso estudo, usamos vários conjuntos de dados, incluindo MNIST, SVHN, CIFAR10, CIFAR100 e Traffic-Sign. Cada conjunto usa duas arquiteturas de DNN populares derivadas de modelos bem conhecidos.

#Resultados e Discussões

RQ1: Desempenho nos Dados de Teste Originais

Nossa análise mostra que nenhum método de seleção de teste consistentemente supera os outros em todos os conjuntos de dados. No entanto, DeepGini e MaxP se destacam em várias situações.

RQ2: Impacto dos Dados de Teste Tipo1

Métodos de seleção de teste geralmente têm um desempenho pior quando enfrentam dados de teste Tipo1, com reduções médias de efetividade que superam 52%.

RQ3: Impacto dos Dados de Teste Tipo2

Métodos de seleção de teste têm dificuldades em identificar falhas do Tipo2, resultando numa média de queda de 39,80% no desempenho.

RQ4: Reparo de Modelos

Constatamos que os dados de teste Tipo1 e Tipo2 afetam negativamente os esforços de reparo do modelo, muitas vezes levando a uma degradação na precisão dos modelos retrainados.

RQ5: Estimativa de Desempenho

Nossas descobertas indicam que métodos de estimativa de desempenho são sensíveis à escolha das saídas intermediárias, com alguns apresentando desempenho pior que a seleção aleatória.

#Diretrizes para Desenvolvimento de Métodos de Seleção de Teste

Dada as dificuldades observadas em nosso estudo, propomos várias diretrizes para desenvolver métodos de seleção de teste mais confiáveis.

1. Evitar confiar somente em probabilidades de saída: Use características adicionais dos dados junto com as probabilidades de saída.
2. Avaliar Modelos de Aprendizado: Assegure-se de que os modelos de aprendizado podem identificar vários tipos de falhas.
3. Verificar Distribuição dos Dados de Teste: Antes do reparo do modelo, confirme que os dados de teste seguem a distribuição esperada.
4. Desenvolver Soluções de Seleção de Camadas: Crie métodos para selecionar camadas intermediárias apropriadas ao usar técnicas de estimativa de desempenho.

#Ameaças à Validade

Existem algumas ameaças externas com base nos métodos de seleção de teste, conjuntos de dados e modelos usados. A ameaça interna diz respeito a como esses métodos e o algoritmo de geração de teste são implementados. Por fim, a ameaça de construção aborda as configurações aplicadas nesses métodos e processos de geração de teste.

#Conclusão

Ao identificar e avaliar sistematicamente as limitações de vários métodos de seleção de teste, buscamos melhorar a confiabilidade dos testes de aprendizado profundo. Descobrimos que os métodos de detecção de falhas perdem muitas falhas quando os modelos estão confiantes em suas classificações erradas e podem erroneamente identificar dados de baixa confiança como falhas. Além disso, os dados selecionados podem degradar o desempenho do modelo durante o reparo. Métodos para estimar desempenho também sofrem quando saídas inadequadas são escolhidas.

Em resumo, estar ciente dessas armadilhas pode ajudar a refinar os métodos de seleção existentes e guiar o desenvolvimento de novos, levando a melhores práticas de teste para sistemas de aprendizado profundo.