Classificação de Imagens Eficiente com ResNet Modificado

Redes Residuals, ou ResNets, são modelos super usados na área de classificação de imagens. Esses modelos ajudam os computadores a entenderem imagens, tornando-se valiosos pra várias aplicações. O objetivo desse projeto foi criar e treinar um modelo ResNet modificado pra uma tarefa específica de classificação de imagens usando o conjunto de dados CIFAR-10, que tem 60.000 imagens pequenas em 10 classes diferentes.

#Objetivos do Projeto

A meta principal era conseguir a maior precisão possível no teste, mantendo o tamanho do modelo abaixo de 5 milhões de parâmetros. O tamanho do modelo, medido pela quantidade de parâmetros que ele tem, é crucial quando se trata de usar modelos em dispositivos com armazenamento limitado, como gadgets e robôs. Criando um modelo dentro desse limite de tamanho, a gente garante que ele funcione bem mesmo em sistemas menos potentes.

#Conquistas

Nosso modelo ResNet modificado alcançou uma precisão de 96,04% no conjunto de dados CIFAR-10. Essa precisão é bem maior em comparação com o modelo ResNet18 padrão, que tem mais de 11 milhões de parâmetros e não chega perto da nossa versão modificada em termos de precisão após aplicarmos estratégias de treinamento similares.

#Importância de Modelos Eficientes

Nos últimos anos, tem rolado uma tendência de construir redes mais profundas e complexas pra conseguir melhores precisões em tarefas como classificação de imagem. Mas isso nem sempre significa que os modelos são eficientes em termos de tamanho e velocidade. Muitas aplicações reais, como carros autônomos e robótica, precisam de reações rápidas em dispositivos que não conseguem lidar com modelos grandes. Por isso, tá aumentando a demanda por modelos que consigam ter bom desempenho ocupando menos memória.

#Visão Geral da Metodologia

#Design da Rede Residual

Pra nosso projeto, precisávamos configurar o modelo ResNet pra ter menos parâmetros, mas sem perder performance. A ideia era usar até quatro camadas residuais, incorporando várias configurações de blocos residuais. Os blocos residuais permitem que o modelo aprenda funções mais complexas criando atalhos pra informação fluir pela rede, facilitando o treinamento de modelos mais profundos.

#Camadas e Canais

Ajustamos o número de canais em cada camada residual. Ao alterar esses canais, o tamanho de entrada muda, permitindo que a gente veja como o modelo se sai com configurações diferentes. Testamos variações na quantidade de canais, incluindo 16, 32, 48 e 64 canais, observando como isso influenciava a precisão do modelo.

#Kernels Convolucionais

Os kernels convolucionais são essenciais no processo de identificar características nas imagens. Testamos vários tamanhos de kernel, já que kernels maiores aumentam bastante o número de parâmetros. Descobrimos que usar tamanhos de kernel de 3 ou menos permite manter nosso limite de tamanho enquanto ainda performa bem.

#Técnicas de Preparação de Dados

Ao preparar os dados pra treinamento, usamos o conjunto de teste pra validação pra maximizar os dados de treinamento. Também normalizamos os dados das imagens pra garantir que todos os canais contribuíssem de forma justa durante o treinamento. Isso significa ajustar os valores dos pixels pra que tenham uma média de zero e um desvio padrão de um.

#Aumento de Dados

Pra ajudar o modelo a aprender melhor, aplicamos transformações aleatórias nas imagens de treinamento, como recortes e inversões. Essa abordagem permitiu que o modelo visse uma variedade de imagens levemente diferentes em cada ciclo de treinamento, melhorando sua capacidade de generalizar dados que não viu antes.

#Estratégias de Otimização

Escolher o algoritmo de otimização certo é crucial pra melhorar o desempenho do modelo. Testamos diferentes otimizadores, incluindo Gradiente Descendente Estocástico (SGD) e Adam. Nossos achados mostraram que o SGD foi mais eficaz pro nosso projeto. Além disso, ajustamos a taxa de aprendizado e tamanhos de lote pra aprimorar os resultados do treinamento.

#Corte de Gradiente

Pra evitar problemas com gradientes grandes, aplicamos o corte de gradiente. Isso significa que se um valor de gradiente ficar muito alto, a gente ajusta pra que ele continue gerenciável. Essa técnica ajuda a estabilizar o treinamento e melhora a convergência.

#Inicialização de Pesos na Rede

Escolher como inicializar os pesos na rede pode impactar bastante o treinamento. Testamos várias abordagens pra ver como elas afetavam o desempenho.

#Técnicas de Normalização e Regularização

Pra melhorar o processo de treinamento, adicionamos Normalização em Lote, que ajuda a estabilizar o aprendizado normalizando as entradas de cada camada. Também usamos dropout, uma técnica onde algumas conexões são desligadas aleatoriamente durante o treinamento, o que ajuda a evitar overfitting.

#Blocos de Squeeze-and-Excitation

Incluímos uma nova arquitetura chamada blocos de squeeze-and-excitation. Esses blocos ajudam o modelo a focar nas características mais importantes ajustando os pesos de diferentes canais com base na relevância deles.

#Resultados e Discussão

Nosso modelo ResNet modificado mostrou desempenho superior em comparação com o modelo ResNet18 padrão. Uma das principais conclusões é que nosso modelo alcançou quase 96% de precisão usando apenas cerca da metade dos parâmetros do ResNet18. Essa descoberta demonstra que é possível criar modelos eficientes que não só mantêm alta precisão, mas fazem isso de uma maneira adequada pra serem usados em dispositivos com recursos limitados.

#Conclusão

Resumindo, o projeto mostrou que, ao projetar cuidadosamente um modelo ResNet com menos parâmetros e utilizar estratégias eficazes de treinamento e processamento de dados, conseguimos alcançar uma alta precisão em testes. Modelos eficientes como o que criamos são essenciais pra aplicações práticas, especialmente em áreas onde os recursos são limitados. Nosso trabalho contribui pra crescente demanda por soluções de IA mais eficientes sem sacrificar a performance.