Avaliando Pré-treinamento em Tarefas de Observação da Terra

Aprendizado Auto-Supervisionado é uma técnica usada em visão computacional que ajuda as máquinas a aprenderem com grandes quantidades de dados sem precisar de rótulos detalhados. Esse método tem mostrado ótimos resultados em várias tarefas, especialmente quando os dados rotulados não são abundantes. Quando falamos de Observação da Terra (EO), onde imagens da Terra são capturadas de satélites, essa técnica pode ajudar em várias aplicações, como Reconstrução, Segmentação e Classificação.

Na nossa pesquisa, a gente focou em entender quão bem o pré-treinamento de grandes modelos chamados Autoencoders Masked (MAE) ajuda nas tarefas posteriores relacionadas à Observação da Terra. Analisamos dois modelos específicos: Prithvi e SatMAE. Esses modelos foram pré-treinados usando diferentes conjuntos de dados e depois ajustados para executar tarefas específicas.

O principal objetivo do nosso estudo foi descobrir se usar esses modelos pré-treinados é sempre melhor do que treinar um modelo do zero para tarefas específicas. Fizemos experimentos com os dois modelos em diferentes cenários para ver qual abordagem funcionava melhor.

#Aprendizado Auto-Supervisionado na Observação da Terra

O aprendizado auto-supervisionado teve um impacto significativo na visão computacional. O conceito é simples: um modelo é primeiro treinado com uma grande quantidade de dados não rotulados para aprender padrões gerais. Após essa fase de pré-treinamento, o modelo é ajustado com dados rotulados para lidar com tarefas específicas.

Na Observação da Terra, esse método aproveita os grandes volumes de dados não estruturados disponíveis. Modelos como o Vision Transformer (ViT) e MAE se tornaram populares por conseguirem lidar bem com esses grandes conjuntos de dados. A fase de pré-treinamento geralmente envolve tarefas que se assemelham às tarefas subsequentes para garantir que o modelo aprenda recursos relevantes.

No entanto, aplicar esses modelos pode exigir recursos computacionais substanciais. Por isso, é crucial avaliar se os benefícios do pré-treinamento justificam o esforço e o tempo investidos. Muitos estudos comparam o desempenho de modelos pré-treinados com modelos padrão como ResNet e U-Net. Mesmo assim, essas comparações geralmente não são suficientes para determinar se o pré-treinamento realmente melhora o desempenho.

#Foco da Pesquisa

Neste estudo, analisamos quão eficaz é o pré-treinamento de MAEs baseados em ViT para tarefas de Observação da Terra. Examinamos duas abordagens principais: uma onde inicializamos o modelo com pesos pré-treinados e outra onde treinamos do zero. Nossos dois modelos, Prithvi e SatMAE, foram usados para diferentes tipos de tarefas, incluindo reconstrução, segmentação e classificação.

#Configurações do Experimento

Montamos dois cenários principais para avaliar nossos modelos:

1. Configuração 1: Aqui, inicializamos o modelo com pesos pré-treinados de uma fase de aprendizado auto-supervisionado. Depois, ajustamos esse modelo usando dados rotulados para a nossa tarefa específica.

2. Configuração 2: Neste cenário, treinamos o modelo do zero, pulando completamente a fase de pré-treinamento. Também ajustamos os Hiperparâmetros para otimizar o desempenho para a tarefa específica.

Comparando os resultados de ambas as configurações, nosso objetivo foi determinar o impacto do pré-treinamento na eficácia dos nossos modelos.

#Dados e Metodologia

Nossos experimentos focaram em três tarefas principais: reconstrução, segmentação e classificação. Para cada tarefa, usamos diferentes conjuntos de dados.

1. Reconstrução: Para imputação de lacunas de nuvens, treinamos um modelo para reconstruir partes das imagens cobertas por nuvens.
2. Segmentação: Usamos conjuntos de dados para focar em segmentação de culturas, mapeamento de inundações e mapeamento de cicatrizes de incêndios florestais.
3. Classificação: Para classificação de uso do solo, utilizamos um conjunto de dados que categorizava imagens com base no uso do solo.

Em cada caso, ajustamos vários hiperparâmetros com base em pesquisas anteriores para otimizar nossos modelos. Isso incluiu fatores como a taxa de aprendizado e a própria arquitetura do modelo, garantindo que pudéssemos comparar os resultados de forma justa em diferentes configurações.

#Imputação de Lacunas de Nuvens

A primeira tarefa que enfrentamos foi a imputação de lacunas de nuvens, onde o objetivo era preencher as partes faltantes de uma imagem devido à cobertura de nuvens. Usamos o mesmo método de mascaramento tanto para as fases de pré-treinamento quanto de ajuste fino.

Quando treinamos do zero, percebemos que o desempenho do modelo dependia bastante dos hiperparâmetros escolhidos. Depois de vários experimentos, descobrimos que, embora reduzir os parâmetros do modelo acelerasse o treinamento, isso não melhorava necessariamente o desempenho. Nesse caso, o pré-treinamento com o modelo Prithvi trouxe uma vantagem significativa.

#Segmentação de Culturas

Em seguida, focamos na segmentação de culturas, analisando quão bem o modelo conseguia identificar diferentes tipos de culturas em uma imagem. Novamente, treinamos do zero e também usamos os pesos pré-treinados do Prithvi.

Os resultados iniciais mostraram que havia pouca diferença entre os modelos que foram ajustados com pesos pré-treinados e aqueles treinados do zero. No entanto, depois de ajustar alguns hiperparâmetros, o desempenho do modelo treinado do zero melhorou significativamente.

Também exploramos como os modelos se saíram com entradas nubladas. Condições nubladas simuladas foram aplicadas para observar como cada modelo reagiria. Curiosamente, o modelo treinado do zero ainda teve um desempenho melhor, sugerindo que para essa tarefa específica, o pré-treinamento não foi a abordagem mais eficaz.

#Mapeamento de Inundações

Após a segmentação de culturas, mudamos nosso foco para o mapeamento de inundações. Essa tarefa também centrou em desenvolver um modelo de segmentação que funcionasse com imagens únicas.

Treinamos o modelo do zero, enquanto também observamos como os ajustes nos hiperparâmetros afetaram o desempenho. Assim como na segmentação de culturas, encontramos que modificações em alguns hiperparâmetros levaram a resultados melhores do que começar com os pesos pré-treinados do Prithvi.

A vantagem aqui foi que o treinamento do zero exigiu menos tempo total do que o pré-treinamento, confirmando a relação custo-benefício dessa abordagem.

#Mapeamento de Cicatrizes de Incêndios Florestais

Para a tarefa de segmentação de incêndios florestais, usamos a mesma estrutura do mapeamento de inundações. Novamente, treinamos o modelo do zero com ajustes específicos nos hiperparâmetros. Depois de analisar os resultados, descobrimos que treinar do zero proporcionou um desempenho melhor em comparação com começar com pesos pré-treinados.

#Classificação de Uso do Solo

Finalmente, examinamos a classificação de uso do solo usando o modelo SatMAE. Seguimos a mesma estratégia de treinamento que nas tarefas anteriores, usando diferentes tipos de dados (RGB e multiespectrais).

Nossas descobertas mostraram que treinar o modelo do zero resultou em um desempenho mais forte com dados RGB em comparação a usar pesos pré-treinados. Porém, no caso dos dados multiespectrais, o modelo pré-treinado mostrou resultados ligeiramente melhores.

#Conclusão

Resumindo, nossa pesquisa indicou que usar grandes modelos MAE baseados em ViT pré-treinados não leva sempre a um desempenho melhor em comparação ao treinamento de modelos do zero. O pré-treinamento trouxe benefícios claros para tarefas que estavam mais alinhadas com a tarefa original de treinamento, como imputação de lacunas de nuvens. No entanto, para a maioria das tarefas de segmentação, iniciar do zero junto com o ajuste de hiperparâmetros obteve resultados comparáveis ou até superiores.

Os resultados sugerem que como os modelos são projetados pode afetar significativamente a eficácia do pré-treinamento. Estudos futuros devem expandir essas descobertas, analisando conjuntos de dados e modelos adicionais para entender melhor a relação entre pré-treinamento e desempenho de modelos em tarefas de Observação da Terra.