Avançando a Detecção de Defeitos com Sugestões Visuais

No mundo da detecção de defeitos industriais, a maioria dos sistemas depende de aprendizado supervisionado. Isso significa que eles são treinados para reconhecer tipos específicos de defeitos usando um conjunto de imagens rotuladas. Esses modelos funcionam bem quando sabem o que esperar, mas têm dificuldade quando encontram defeitos novos ou diferentes. Isso gera a necessidade de atualizações constantes e retraining, o que pode ser demorado e caro.

Desenvolvimentos recentes em aprendizado de máquina introduziram um método chamado visual prompting. Essa técnica permite que os modelos entendam e classifiquem defeitos com base em pistas visuais ao invés de estarem estritamente ligados a categorias pré-definidas. Usando imagens como prompts durante o processo de tomada de decisão, os modelos conseguem se adaptar a novos defeitos de forma mais flexível.

#O Desafio da Superconfiança

Um grande desafio com visual prompting é que os modelos costumam ficar superconfiantes em suas previsões. Isso significa que eles podem rotular objetos desconhecidos como defeitos conhecidos com alta certeza. Essa superconfiança pode levar a erros e classificações erradas, o que é um problema sério em ambientes industriais onde a precisão é crucial.

Para resolver esse problema, é importante avaliar quão confiante um modelo realmente está em suas previsões. Fazer isso nos permite identificar situações em que o modelo pode estar cometendo erros ou onde é menos confiável.

#Nossa Solução Proposta

Para lidar com o problema da superconfiança, propomos um método que estima a incerteza no processo de visual prompting. A ideia chave é verificar se o modelo consegue restaurar corretamente os prompts originais a partir de suas previsões. Basicamente, se o modelo é confiante e preciso em suas decisões, ele deve ser capaz de voltar e recriar os prompts iniciais corretamente.

A gente mede o quão bem o modelo faz isso usando uma métrica chamada mean Intersection over Union (mIoU). Essa métrica ajuda a comparar os resultados previstos com os prompts originais para ver quão próximo eles estão.

Focando nesse ciclo de checagem e restauração de prompts, podemos avaliar efetivamente a confiabilidade das previsões do modelo. Essa estimativa de confiança pode ajudar a reduzir erros e melhorar o desempenho do modelo, especialmente em ambientes industriais onde novos defeitos costumam surgir.

#O Papel dos Métodos Baseline

Para avaliar nossa abordagem, usamos um método baseline conhecido como Dinov, que é baseado em uma estrutura de codificador-decodificador. Esse método ajuda a processar imagens e fazer previsões. O baseline envolve codificar os prompts visuais a partir de imagens de referência e depois usar um decodificador compartilhado para interpretar esses prompts no contexto de novas imagens.

No entanto, uma limitação do Dinov é que ele pode se tornar tendencioso em relação a defeitos que já viu antes. Isso pode prejudicar sua capacidade de lidar com novos defeitos de forma eficaz. Ao empregar nosso método proposto de ciclo-consistência, conseguimos ajudar o modelo a ser mais confiável, reduzindo viés e melhorando sua adaptabilidade em cenários do mundo real.

#Como Nosso Método Funciona

Nosso método consiste em duas fases principais: a fase para frente e a fase reversa.

#Fase Para Frente

Na fase para frente, começamos com uma imagem de suporte e sua máscara de prompt correspondente. Também temos uma imagem de consulta que queremos analisar. O objetivo aqui é identificar quais partes da imagem de consulta correspondem ao prompt da imagem de suporte. Esse processo resulta em um mapa de máscara, que indica as regiões detectadas na imagem de consulta.

#Fase Reversa

Na fase reversa, pegamos a saída da fase para frente-especificamente, a imagem de consulta e sua máscara gerada-e as tratamos como a nova imagem de suporte e máscara. A imagem de suporte original se torna a nova imagem de consulta. Esse passo nos permite verificar se conseguimos regenerar a máscara original com precisão.

Ao comparar a máscara original com a máscara gerada na fase reversa, conseguimos avaliar a confiabilidade do modelo. Se a máscara restaurada for semelhante à original, indica que o modelo está fazendo previsões sem viés.

#Técnicas de Processamento de Imagem

Para melhorar a precisão das previsões do nosso modelo, utilizamos um poderoso extrator de características de imagem chamado Swin-L. Essa arquitetura tem pesos pré-treinados de grandes conjuntos de dados, permitindo que ela analise imagens de forma eficaz.

Além disso, aplicamos várias técnicas de aumento de dados. Esses métodos são cruciais em contextos de inspeção industrial, pois ajudam a lidar com variações na iluminação enquanto mantêm as mudanças de cor mínimas. Ajustamos o brilho, contraste e saturação das imagens e fazemos flips horizontais durante o treinamento para aumentar a robustez do modelo.

#Abordagem de Modelo Único

Muitos concorrentes na área dependem do uso de múltiplos modelos para aumentar o desempenho. No entanto, devido a limitações de recursos, optamos por focar em refinar um único modelo de visual prompting. Nossa estratégia enfatiza a estimativa de pontuações de confiança para determinar quão confiáveis são as previsões, ao invés de construir múltiplos modelos.

#Avaliação do Método

Para validar nossa abordagem, testamos em um conjunto de dados de inspeção industrial VISION24, que consiste em milhares de imagens. Esse conjunto inclui várias categorias de produtos, cada uma com tipos de defeitos conhecidos e desconhecidos. Nossa avaliação considerou dois aspectos críticos: a taxa de captura de pares positivos e a taxa de rendimento de pares negativos.

Um par positivo é considerado um sucesso se a máscara prevista corresponder bem à verdade de base. Para pares negativos, consideramos que é um rendimento correto se a taxa de resposta do modelo estiver abaixo de um certo limite.

#Insights de Implementação

Nosso conjunto de treinamento abrange cinco categorias, incluindo Cabo, Cilindro e PCB, cada uma com defeitos diferentes. Por exemplo, a categoria Cabo contém defeitos como raio e rasgado. Embora pertençam à mesma categoria principal, tratamos cada tipo de defeito como uma classe independente, resultando em um total de 12 classes.

O treinamento envolveu redimensionar as imagens e usar as mesmas técnicas de aumento de dados mencionadas anteriormente. A rede Dinov foi treinada por 20.000 iterações em 8 GPUs com um tamanho de lote específico, usando o otimizador AdamW.

Quando a Pontuação de Confiança do modelo estava acima de um certo valor, aceitamos a máscara prevista; se era mais baixa, marcamos como não confiável.

#Resultados e Descobertas

Nosso método alcançou uma taxa de rendimento admirável, indicando sua eficácia sem precisar de designs de rede especializados ou técnicas complexas de conjunto. Observamos uma redução significativa em falsos positivos devido à nossa abordagem de ciclo-consistência.

Além disso, avaliações qualitativas revelaram casos em que nosso modelo restaurou com precisão a máscara de suporte através de ambas as fases. Em instâncias onde as previsões eram precisas, nosso modelo demonstrou altas pontuações de mIoU, confirmando sua capacidade de se adaptar com sucesso a novos tipos de defeitos.

Por outro lado, em casos com pontuações de mIoU mais baixas, o modelo identificou corretamente fraquezas e evitou aceitar previsões tendenciosas. Essa habilidade de discernir entre previsões precisas e não confiáveis é vital em ambientes industriais, onde manter alta precisão é essencial.

#Conclusão

O método que propomos representa um avanço significativo na detecção de defeitos industriais. Ao integrar visual prompting com estimativa de incerteza de ciclo-consistência, nossa abordagem reduz efetivamente os riscos associados à superconfiança. Garantindo que os modelos possam restaurar de forma confiável os prompts originais, aumentamos sua adaptabilidade a novos tipos de defeitos enquanto minimizamos erros.

À medida que continuamos a refinar nossas técnicas e explorar como melhorar ainda mais o desempenho, é claro que essa abordagem inovadora pode beneficiar significativamente indústrias que enfrentam regularmente novos e imprevistos desafios. Com o avanço da tecnologia, podemos esperar soluções ainda mais eficazes para gerenciar defeitos em várias áreas industriais.