Novo Conjunto de Dados de Referência para Modelos de Imagens Hiperespectrais

A Imagem Hiperspectral (HSI) é uma técnica que captura imagens em várias comprimentos de onda diferentes. Ela é útil em várias áreas porque fornece informações detalhadas sobre materiais sem causar danos. Apesar das vantagens, um grande problema que os pesquisadores enfrentam é a quantidade limitada de dados disponíveis para aplicações específicas. Essa falta de dados dificulta a busca pelos melhores modelos para novos usos de HSI. Muitas vezes, os pesquisadores têm que se apegar a métodos já estabelecidos, na esperança de que ainda funcionem bem em novos cenários. Infelizmente, nem sempre é assim, já que esses métodos normalmente são ajustados de forma muito específica para usos determinados.

Para ajudar a resolver esse problema, este estudo apresenta um novo conjunto de dados de referência que inclui três aplicações diferentes de HSI: inspeção de alimentos, sensoriamento remoto e reciclagem. Esse conjunto de dados permite uma melhor avaliação dos modelos de HSI e ajuda a analisar técnicas existentes, incentivando o desenvolvimento de métodos melhores.

A diversidade do novo conjunto de dados também ajuda a criar um processo de pré-treinamento para modelos de HSI, que pode melhorar a estabilidade do treinamento de modelos maiores. Além disso, essa pesquisa fornece um framework para lidar com aplicações que sofrem com tamanhos pequenos de conjuntos de dados.

#Contexto sobre Imagem Hiperspectral

A imagem hiperspectral é um método de medição que coleta dados em muitos comprimentos de onda que vão além do que o olho humano pode ver. Um sensor de HSI pode capturar esses dados, criando um cubo hiperspectral. Cada pixel desse cubo contém muita informação sobre a intensidade da luz em diferentes comprimentos de onda.

A HSI é amplamente usada em várias áreas, como sensoriamento remoto, diagnósticos médicos, agricultura, reciclagem e avaliação da qualidade de alimentos. No entanto, a forma como os dados são interpretados pode ser bastante complexa, e muitos métodos existentes são projetados especificamente para tarefas específicas, tornando difícil adaptá-los para novos usos.

#Desafios na Imagem Hiperspectral

Os especialistas humanos acham desafiador interpretar cubos hiperspectrais, levando ao desenvolvimento de vários métodos de processamento. No entanto, muitos desses métodos são muito especializados e mudam apenas um pouco para se adequar a novas aplicações. O ideal seria um método que funcione bem em diferentes conjuntos de dados e tarefas sem precisar de muitos ajustes.

#A Necessidade de um Conjunto de Dados de Referência

Para testar modelos existentes e novos de forma eficaz, é necessário um benchmark abrangente. Esse benchmark deve incluir vários cenários de aplicação para validar o desempenho de diferentes métodos usados na imagem hiperspectral.

#Tarefas de Classificação e Segmentação

Neste estudo, focamos principalmente nas tarefas de classificação e segmentação. A classificação envolve determinar a categoria de uma amostra em uma imagem hiperspectral, enquanto a segmentação gera uma máscara que atribui uma classe a cada pixel.

No passado, métodos clássicos de aprendizado de máquina, como Máquinas de Vetores de Suporte (SVM), eram usados para a classificação de HSI. Esses métodos costumavam se concentrar na extração de características e na redução de dimensões, dependendo principalmente de dados espectrais. Foi mostrado que o desempenho da classificação de HSI depende tanto de informações espectrais quanto espaciais.

Agora, Modelos de Aprendizado Profundo são comumente usados para avaliar dados de imagens hiperspectrais. Modelos como autoencoders, redes neurais recorrentes (RNNs) e redes neurais convolucionais (CNNs) foram aplicados nos últimos anos para melhorar as tarefas de classificação.

Embora as CNNs convencionais lidem principalmente com dados espaciais, as CNNs 3D podem processar tanto informações espaciais quanto espectrais ao mesmo tempo, embora exijam mais recursos computacionais. Recentemente, houve esforços para combinar CNNs 2D e 3D para aproveitar os benefícios dos dois tipos de aprendizado de características.

Outra abordagem utiliza transformações de dados para aplicar convoluções 2D. Isso permite uma melhor combinação de informações espaciais e espectrais.

Apesar dos avanços, as CNNs muitas vezes não conseguem capturar dependências de longo alcance em dados espectrais. Transformers de visão (ViTs) foram projetados especificamente para lidar com esse tipo de dado sequencial e também têm sido aplicados com sucesso na classificação de HSI.

#O Benchmark de Imagem Hiperspectral

O benchmark apresentado neste estudo coleta três conjuntos de dados diferentes de áreas distintas da imagem hiperspectral:

1. Cenas de Sensoriamento Remoto Hiperspectral (HRSS): Este conjunto de dados foca em tarefas de segmentação e inclui gravações de satélites.

2. DeepHS Fruit Dataset: Este conjunto de dados visa avaliar a maturidade de várias frutas usando HSI.

3. DeepHS Debris Dataset: Este conjunto de dados consiste em gravações que ajudam a distinguir diferentes tipos de entulho de construção.

Esses conjuntos de dados foram escolhidos por seu tamanho e relevância na área. O conjunto de dados HRSS, embora amplamente utilizado, tem algumas limitações, como não ter um divisão definida entre treinamento-validação-teste. Isso complica a comparação de modelos. Para resolver isso, vamos estabelecer divisões fixas com classes balanceadas para uma avaliação adequada e reprodutibilidade.

#Desempenho de Modelos em Imagem Hiperspectral

Uma variedade de modelos será avaliada usando o benchmark proposto. Esses modelos podem ser agrupados com base em suas técnicas para lidar com dados hiperspectrais. Métodos tradicionais, como SVM, tendem a ter um desempenho ruim nos vários conjuntos de dados, enquanto as CNNs alcançam melhores resultados ao aprimorar suas estruturas para dados de imagem.

A CNN 3D se destaca como uma das que mais se saem bem, particularmente no conjunto de dados de entulho. Mesmo as CNNs 2D oferecem resultados decentes, e ao alimentar dados espaciais ou espectrais nesses modelos, podemos ver como cada recurso impacta o processo de tomada de decisão.

Modelos que incorporam filtros texturais, como Gabor CNN ou EMP CNN, tendem a superar as CNNs tradicionais ao processar o conjunto de dados HRSS. No entanto, suas limitações na extração de características espectrais os impedem de serem os melhores em geral.

Modelos de aprendizado profundo, particularmente aqueles baseados na arquitetura ResNet, mostraram resultados mistos ao lidar com pequenos conjuntos de dados hiperspectrais. Esses modelos incluem conexões skip para melhorar o aprendizado, mas podem ter dificuldades sem dados de treinamento suficientes.

#Avaliação de Modelos de Última Geração

Os modelos mais recentes, incluindo métodos baseados em atenção e transformers de visão, foram testados em nossos experimentos. No entanto, eles não mostraram vantagens significativas em relação às CNNs tradicionais para classificação de HSI. Isso sugere que, enquanto os transformers podem processar informações globais, o contexto local fornecido pelas CNNs pode ser mais essencial para essas tarefas.

#Análise do Desempenho dos Modelos

Ao comparar o desempenho dos modelos em diferentes conjuntos de dados, notamos que modelos que dependem apenas de dados espectrais tiveram um desempenho ruim, enquanto aqueles que integraram informações espaciais alcançaram melhores resultados. Os modelos de maior sucesso consideraram tanto as dimensões espaciais quanto espectrais.

Os achados preliminares sugerem que a precisão da classificação difere significativamente entre abordagens objetivas e em fatias. Modelos maiores tendem a ter dificuldades em tarefas objetivas devido ao número baixo de amostras de treinamento disponíveis. A família DeepHS-Net se destaca nessas tarefas, uma vez que foram especificamente projetados para conjuntos de dados menores.

Para avaliar o impacto do número de amostras de treinamento no desempenho do modelo, examinamos diferentes proporções de dados de treinamento rotulados. Geralmente, modelos com mais dados apresentaram um desempenho melhor. No entanto, alguns modelos, especialmente as versões DeepHS-Net, mostraram um bom desempenho mesmo com um número pequeno de amostras de treinamento.

#Estratégia de Pré-Treinamento

Uma forma de abordar as limitações de pequenos conjuntos de dados é por meio de uma estratégia de pré-treinamento. Este processo utiliza conjuntos de dados maiores e diversos para treinar modelos inicialmente, antes de refiná-los em conjuntos de dados menores e específicos.

A abordagem de pré-treinamento proposta utiliza modelos compartilhados que podem ser adaptados para várias tarefas de classificação. Um modelo é pré-treinado usando múltiplos conjuntos de dados, permitindo a extração de características gerais que podem ser refinadas para uma tarefa específica.

#Benefícios do Pré-Treinamento

Os resultados do pré-treinamento indicam uma melhoria clara na precisão da classificação. Modelos que passam por pré-treinamento mostram um aumento significativo de desempenho em comparação com aqueles treinados apenas em conjuntos de dados menores. Os modelos maiores e mais complexos se beneficiam mais dessa abordagem.

O processo de pré-treinamento funciona inicializando uma estrutura compartilhada que pode extrair características de várias aplicações. O modelo pode então ser ajustado para se adaptar a um conjunto de dados ou tarefa específica, o que reduz o potencial de overfitting e melhora a estabilidade no treinamento.

#Insights dos Resultados de Pré-Treinamento

O pré-treinamento em conjuntos de dados com características semelhantes produz os melhores resultados, já que os modelos podem construir sobre o conhecimento adquirido de tarefas relacionadas. Por exemplo, o pré-treinamento em dados de maturidade de frutas pode melhorar o desempenho ao ajustar para avaliações de qualidade de alimentos.

Nossas constatações também indicam que o pré-treinamento em dados hiperspectrais é mais eficaz do que usar conjuntos de dados de imagens coloridas tradicionais, já que as características únicas dos dados hiperspectrais exigem técnicas especializadas para aprendizado ideal.

#Trabalho Futuro e Limitações

Embora este benchmark tenha avançado significativamente na avaliação de modelos em imagem hiperspectral, ele é limitado a apenas três áreas de aplicação. Iterações futuras desse benchmark devem integrar uma gama mais ampla de conjuntos de dados para aumentar sua versatilidade e aplicabilidade.

Além disso, há potencial para uma análise mais aprofundada, que poderia fornecer insights valiosos para desenvolver melhores modelos hiperspectrais. Essa pesquisa pretende criar um framework unificado para avaliar modelos e promover a generalização em tarefas de classificação HSI.

#Conclusão

Este estudo destaca a importância de um framework abrangente para avaliar modelos de imagem hiperspectral em diferentes aplicações. Ao reunir vários conjuntos de dados e estabelecer práticas de avaliação fixas, facilitamos comparações justas e progresso na área.

A introdução de uma estratégia de pré-treinamento mostrou resultados promissores, permitindo que os modelos aprendessem com diversas tarefas e transferissem conhecimento de forma eficaz. À medida que expandimos o benchmark e continuamos refinando a abordagem de pré-treinamento, esperamos impulsionar avanços nas capacidades das tecnologias de imagem hiperspectral e suas aplicações em várias áreas.

#Agradecimentos

Esta pesquisa foi apoiada por várias instituições e indivíduos, que contribuíram com recursos e conjuntos de dados essenciais para este estudo. Os esforços coletivos dessas entidades tornaram possível explorar as capacidades e direções futuras da imagem hiperspectral.