CTRL-F: Unindo ConvNets e Transformers para Classificação de Imagens

Nos últimos anos, a tecnologia fez um progresso enorme na área de visão computacional, que envolve como as máquinas veem e entendem imagens. Dois tipos principais de modelos surgiram: Redes Neurais Convolucionais (ConvNets) e Transformers. ConvNets são ótimas em processar imagens, enquanto os Transformers se saem bem em entender sequências, como a linguagem. O objetivo deste trabalho é criar um novo modelo que combine efetivamente as forças de ambos os tipos para uma classificação de imagem melhor.

Os Transformers se tornaram populares na análise de imagens porque conseguem processar todas as partes de uma imagem de uma vez, em vez de apenas pequenas seções. No entanto, eles costumam precisar de muitos dados para funcionar bem, o que pode ser um problema. Por outro lado, os ConvNets se saem melhor com menos dados devido à sua habilidade embutida de reconhecer padrões com base em informações espaciais nas imagens. Este trabalho propõe uma nova abordagem chamada CTRL-F que mistura ConvNets e Transformers de um jeito que maximiza seus benefícios para classificar imagens.

#O Desafio

Tanto os ConvNets quanto os Transformers têm suas vantagens e desvantagens. ConvNets são ótimos para reconhecer padrões, mas têm dificuldade em entender a imagem inteira de uma vez. Já os Transformers conseguem considerar a imagem toda, mas precisam de muitos dados de treinamento para aprender efetivamente. Quando os dados são limitados, os Transformers podem ter dificuldades, enquanto os ConvNets costumam se dar bem.

O objetivo deste trabalho é otimizar a classificação de imagens aproveitando as fortalezas de ambos os modelos. O CTRL-F é projetado para fazer uso eficiente tanto dos ConvNets quanto dos Transformers, proporcionando melhores resultados independentemente da quantidade de dados disponíveis.

#Design do CTRL-F

O CTRL-F consiste em duas partes principais: um ramo ConvNet e um ramo Transformer. O ramo ConvNet processa imagens para extrair características importantes. O ramo Transformer então pega essas características e as analisa de forma mais aprofundada.

#Ramo ConvNet

O ramo ConvNet usa uma técnica chamada MBConv, que é conhecida por ser eficiente e leve. Esse ramo coleta informações de várias etapas de extração de características. Ele captura informações locais sobre a imagem, reconhecendo diferentes detalhes de forma eficaz.

#Ramo Transformer

O ramo Transformer é conhecido como o módulo Multi-level Feature Cross-Attention (MFCA). Essa parte da rede processa as características obtidas do ConvNet em diferentes estágios. O módulo MFCA trabalha com dois conjuntos de características, permitindo que ele tenha uma visão mais ampla da imagem. Ele usa dois ramos de transformer separados que se comunicam e compartilham informações entre si.

O módulo MFCA aprimora a capacidade do modelo de entender as relações entre diferentes partes da imagem. Ao utilizar mecanismos de atenção, ele foca em características importantes enquanto combina perspectivas locais e globais.

#Técnicas de Fusão de Conhecimento

Um aspecto essencial do CTRL-F é como ele combina informações dos ramos ConvNet e Transformer. Duas técnicas foram desenvolvidas para isso: Fusão de Conhecimento Adaptativa (AKF) e Fusão de Conhecimento Colaborativa (CKF).

#Fusão de Conhecimento Adaptativa (AKF)

Essa técnica funciona permitindo que ambos os ramos produzem previsões. As previsões são então combinadas de uma forma que destaca as forças de cada ramo. Nos estágios iniciais do treinamento, as previsões do ConvNet são priorizadas. À medida que o treinamento avança, o modelo começa a dar mais importância às previsões do ramo Transformer. Ao equilibrar os dois, o modelo garante que se beneficie tanto de detalhes locais quanto de uma compreensão global.

#Fusão de Conhecimento Colaborativa (CKF)

Essa técnica pega as saídas de ambos os ramos e as mescla em uma única previsão. Esse método emprega uma camada de dropout, que efetivamente evita que o modelo dependa demais de qualquer informação específica de algum dos ramos. Ao ignorar aleatoriamente certas partes da entrada durante o treinamento, essa abordagem força o modelo a aprender a usar as informações de ambos os ramos de forma equilibrada.

#Configuração Experimental

Para avaliar a eficácia do CTRL-F, experimentos foram realizados usando dois conjuntos de dados conhecidos: PlantVillage e Oxford-102 Flowers. O conjunto de dados PlantVillage consiste em várias imagens categorizadas em folhas de plantas saudáveis e doentes, enquanto o conjunto Oxford-102 inclui imagens de várias espécies de flores.

Os modelos CTRL-F foram treinados do zero, sem conhecimento pré-existente. Os resultados foram comparados com outros modelos líderes, garantindo que todos os modelos fossem avaliados em um mesmo nível.

#Resultados

O desempenho do CTRL-F foi impressionante quando comparado aos ConvNets e Transformers tradicionais. O modelo alcançou taxas de precisão mais altas, mostrando sua capacidade de aprender efetivamente tanto a partir de características locais quanto globais nas imagens.

#Comparação com ConvNets

O CTRL-F superou vários modelos ConvNet leves em precisão. Por exemplo, no conjunto de dados Oxford-102, o CTRL-F superou o MobileNetV3-L e o EfficientNet-B3 por margens significativas. No conjunto de dados PlantVillage, ele também conseguiu um desempenho de destaque em comparação com outros modelos leves.

#Comparação com Transformers

O modelo CTRL-F demonstrou melhor desempenho do que modelos puros de Transformer recentes quando treinado em conjuntos de dados limitados. Ele conseguiu utilizar os dados disponíveis de forma mais eficaz, alcançando uma precisão mais alta do que muitos Transformers, que frequentemente têm dificuldades sem dados extensivos.

#Comparação com Modelos Híbridos

O CTRL-F também mostrou superioridade em comparação com modelos híbridos existentes que combinam ConvNets e Transformers. Seu design permite um uso mais equilibrado de informações locais e globais, levando a uma precisão maior em diferentes conjuntos de dados.

#Conclusão

Resumindo, o CTRL-F apresenta uma abordagem nova para a classificação de imagens ao mesclar efetivamente as forças das Redes Neurais Convolucionais e dos Transformers. O modelo é projetado para operar de forma eficiente em vários conjuntos de dados, enquanto é leve e fácil de treinar. Ao empregar técnicas avançadas de fusão de conhecimento, o CTRL-F captura tanto detalhes locais quanto contextos globais, garantindo um desempenho robusto mesmo com dados de treinamento limitados. Os resultados indicam que o CTRL-F é um grande avanço na área de classificação de imagens, demonstrando seu potencial para aplicações do mundo real.