Novo Conjunto de Dados e Desafio para Segmentação em Poucos Exemplos em Sensoriamento Remoto

Aprender a partir de um número pequeno de dados rotulados é complicado em várias áreas, especialmente em sensoriamento remoto. A segmentação semântica few-shot é uma maneira dos modelos de deep learning aprenderem com apenas alguns exemplos rotulados de novas classes que não foram vistas antes durante o treino. O cenário de segmentação few-shot generalizada adiciona mais uma camada de dificuldade, já que os modelos têm que aprender a lidar com novas classes, mas também continuar sendo eficazes com as classes antigas que foram ensinadas.

Embora tenha havido discussões sobre segmentação few-shot em sensoriamento remoto, um benchmark para segmentação few-shot generalizada especificamente nessa área não estava disponível até agora. Isso torna a tarefa mais realista e desafiadora, e é essencial examinar essa questão dentro do sensoriamento remoto. Um dataset foi criado adicionando mais classes a um recurso existente chamado OpenEarthMap para apoiar a avaliação nesse contexto generalized few-shot.

Esse novo dataset lançado vem junto com um desafio que visa melhorar o Mapeamento de Cobertura do Solo, que vai acontecer durante um workshop vinculado a uma grande conferência de visão computacional em 2024. Este artigo dá uma visão geral do dataset e do desafio, apresentando resultados de duas fases do desafio em conjuntos de validação e teste.

#Contexto sobre Sensoriamento Remoto e Deep Learning

Deep learning tem tido sucesso em várias aplicações de sensoriamento remoto, como mapeamento de cobertura do solo e previsão de colheitas. Recentemente, modelos fundacionais para sensoriamento remoto surgiram. Esses modelos são treinados em grandes datasets e mostraram fortes habilidades de generalização do conhecimento.

Ainda existe uma lacuna na pesquisa sobre aprendizado few-shot dentro do sensoriamento remoto, especialmente com a chegada dos modelos fundacionais e a possibilidade de aplicar técnicas few-shot a eles. O aprendizado few-shot depende de um pequeno conjunto de exemplos rotulados para ajudar esses modelos a se adaptarem a novas classes presentes nas imagens alvo. Tradicionalmente, o processo de treino amostra conjuntos de suporte e consulta, e esse processo é conhecido como meta-aprendizado.

Com o crescimento dos modelos fundacionais, novas abordagens para o aprendizado few-shot começaram a aparecer. A maioria dos trabalhos existentes focou em imagens naturais, mas os pesquisadores começaram a explorar o aprendizado few-shot em sensoriamento remoto, incluindo tarefas como classificação de cenas e mapeamento de cobertura do solo.

#O Dataset OEM-GFSS

Apresentando o dataset OpenEarthMap Generalized Few-Shot Semantic Segmentation (OEM-GFSS), que tem como objetivo melhorar o mapeamento de cobertura do solo com foco em sensoriamento remoto. Esse dataset é uma extensão do dataset existente OpenEarthMap, adicionando novas classes de cobertura do solo bem definidas para torná-lo mais útil.

Originalmente, o dataset OpenEarthMap tinha oito rótulos de cobertura do solo grosseiramente definidos. O dataset OEM-GFSS amplia isso para 15 classes mais detalhadas. Um total de 408 imagens de 73 regiões geográficas diferentes ao redor do mundo foram coletadas para representar essas classes, apresentando uma resolução espacial que permite um mapeamento detalhado da cobertura do solo.

Para criar esse dataset, novas classes foram definidas ao examinar imagens no conjunto de teste original do OpenEarthMap. As imagens foram então rotuladas por anotadores humanos, com verificações de qualidade para garantir precisão. Esse processo levou a anotações detalhadas das novas classes, que refletem objetos comumente identificáveis encontrados em imagens de cobertura do solo.

#Visão Geral do Desafio

Para incentivar o aprendizado com dados rotulados limitados para sensoriamento remoto, um desafio foi lançado com base no dataset OEM-GFSS. Esse desafio teve como objetivo expandir os limites das técnicas de segmentação few-shot e permitiu que pesquisadores competissem em duas fases principais.

Durante a primeira fase, os participantes receberam conjuntos de treino e validação. Eles submeteram seus resultados com base no conjunto de validação e foram obrigados a enviar um artigo explicando sua abordagem para competir na segunda fase. A segunda fase envolveu a avaliação de seus resultados finais no conjunto de teste.

Uma linha de base para o desafio foi estabelecida usando um método conhecido de segmentação few-shot. Essa linha de base incorporou uma técnica focada em preservar o desempenho do modelo nas classes base enquanto ele se ajustava nas novas classes.

#Resultados do Desafio

O desafio produziu uma variedade de resultados, mostrando os métodos e desempenhos de vários participantes. O foco estava em quão bem os modelos conseguiram identificar tanto novas quanto antigas classes em várias imagens.

Para os resultados qualitativos, o modelo de linha de base teve dificuldade com algumas classes novas, mas se saiu bem com as classes base no geral. Isso indicou as potenciais dificuldades das tarefas de segmentação few-shot que envolvem identificar novas classes em um fundo de classes familiares.

Os resultados quantitativos forneceram insights chave sobre como vários métodos se compararam entre si.

Durante a primeira fase, um participante, que desenvolveu um método para manter protótipos distintos aprendidos de novas classes, obteve os melhores resultados. Outro participante focou em encontrar semelhanças entre classes antigas e novas para ajudar no aprendizado, ficando logo atrás. Uma terceira entrada usou um framework que ajudou no processo através de várias estratégias.

Na segunda fase, o modelo que superou todos os outros dependia significativamente de um conjunto de diferentes estratégias de aprendizado, mostrando sua eficácia nesse ambiente mais desafiador.

#Conclusão

A introdução do dataset OEM-GFSS e do desafio relacionado marca um avanço significativo no campo da segmentação semântica few-shot para sensoriamento remoto. Ao se concentrar na dificuldade de aprender com dados rotulados limitados, ele abre novas oportunidades para pesquisa e desenvolvimento.

À medida que a comunidade se envolve com esse novo benchmark, espera-se que métodos mais avançados surjam, permitindo que modelos se adaptem melhor a novas classes enquanto ainda se saem bem nas classes previamente aprendidas. O lançamento público desse dataset visa fomentar a pesquisa e a inovação para enfrentar os desafios do sensoriamento remoto em várias aplicações.