Simple Science

La science de pointe expliquée simplement

# Informatique# Vision par ordinateur et reconnaissance des formes

Nouveau jeu de données et défi pour la segmentation few-shot en télédétection

Un référentiel pour la segmentation à faible échantillonnage généralisée en télédétection est introduit.

― 6 min lire


Lancement du datasetLancement du datasetOEM-GFSSquelques exemples en télédétection.Faire avancer la segmentation à
Table des matières

Apprendre à partir d'un petit nombre de données étiquetées, c'est galère dans plein de domaines, surtout en télédétection. La segmentation sémantique à quelques exemples, c'est une méthode pour les modèles de deep learning pour apprendre avec juste quelques exemples étiquetés de nouvelles classes qu'ils n'ont pas vues pendant l'entraînement. Le cadre de segmentation généralisé à quelques exemples rajoute une difficulté supplémentaire car les modèles doivent non seulement apprendre à gérer de nouvelles classes mais aussi rester efficaces avec les anciennes classes qu'ils ont déjà apprises.

Bien qu'il y ait eu des débats sur la segmentation à quelques exemples en télédétection, un benchmark pour la segmentation généralisée à quelques exemples spécifiquement dans ce domaine n'a pas été dispo jusqu'à maintenant. Ça rend la tâche plus réaliste et difficile, et c'est important d'examiner cette question en télédétection. Un dataset a été créé en ajoutant plus de classes à une ressource existante appelée OpenEarthMap pour soutenir l'évaluation dans ce contexte généralisé à quelques exemples.

Ce nouveau dataset est accompagné d'un défi pour améliorer la cartographie de l'occupation des sols, qui se déroulera pendant un atelier lié à une grande conférence sur la vision par ordinateur en 2024. Cet article donne un aperçu du dataset et du défi, fournissant les résultats de deux phases du défi sur des ensembles de validation et de test.

Contexte sur la Télédétection et le Deep Learning

Le deep learning a montré des résultats probants dans divers applis de télédétection, comme la cartographie de l'occupation des sols et la prévision des rendements agricoles. Dernièrement, des modèles de base pour la télédétection ont émergé. Ces modèles sont entraînés sur de grands datasets et ont montré de fortes capacités à généraliser leurs connaissances.

Il reste un manque dans la recherche sur l'apprentissage à quelques exemples en télédétection, surtout avec l'arrivée des modèles de base et la capacité d'appliquer des techniques à quelques exemples à eux. L'apprentissage à quelques exemples repose sur un petit ensemble d'exemples étiquetés pour aider ces modèles à s'adapter à de nouvelles classes présentes dans les images cibles. Traditionnellement, le processus d'entraînement échantillonne des ensembles de support et de requête, et ce processus est connu sous le nom de méta-apprentissage.

Avec l'essor des modèles de base, de nouvelles approches d'apprentissage à quelques exemples commencent à émerger. La plupart des travaux existants se concentraient sur des images naturelles, mais les chercheurs ont commencé à s'intéresser à l'apprentissage à quelques exemples en télédétection, y compris des tâches comme la classification de scènes et la cartographie de l'occupation des sols.

Le Dataset OEM-GFSS

Voici l'OpenEarthMap Generalized Few-Shot Semantic Segmentation (OEM-GFSS), qui vise à améliorer la cartographie de l'occupation des sols avec un focus sur la télédétection. Ce dataset est une extension de l'existant OpenEarthMap, ajoutant de nouvelles classes d'occupation des sols bien définies pour le rendre plus utile.

À l'origine, le dataset OpenEarthMap présentait huit étiquettes d'occupation des sols en gros grains. Le dataset OEM-GFSS l'augmente à 15 classes en grains fins. Au total, 408 images provenant de 73 régions géographiques différentes à travers le monde ont été collectées pour représenter ces classes, avec une résolution spatiale qui permet une cartographie détaillée de l'occupation des sols.

Pour créer ce dataset, de nouvelles classes ont été définies en examinant les images dans l'ensemble de test original d'OpenEarthMap. Les images ont ensuite été étiquetées par des annotateurs humains, avec des contrôles de qualité en place pour garantir l'exactitude. Ce processus a conduit à des annotations détaillées des nouvelles classes, qui reflètent des objets facilement identifiables dans les images d'occupation des sols.

Aperçu du Défi

Pour encourager l'apprentissage avec des données étiquetées limitées en télédétection, un défi a été lancé basé sur le dataset OEM-GFSS. Ce défi visait à repousser les limites des techniques de segmentation à quelques exemples et a permis aux chercheurs de concourir en deux phases principales.

Lors de la première phase, les participants ont reçu des ensembles d'entraînement et de validation. Ils ont soumis leurs résultats basés sur l'ensemble de validation et devaient soumettre un article expliquant leur approche pour participer à la deuxième phase. La deuxième phase impliquait l'évaluation de leurs résultats finaux sur l'ensemble de test.

Un baseline pour le défi a été établi en utilisant une méthode bien connue de segmentation à quelques exemples. Ce baseline incorporait une technique se concentrant sur la préservation de la performance du modèle sur les classes de base tout en affinant sur de nouvelles classes.

Résultats du Défi

Le défi a produit une gamme de résultats, montrant les méthodes et performances de plusieurs participants. L'accent était mis sur la capacité des modèles à identifier à la fois de nouvelles et anciennes classes dans diverses images.

Pour les résultats qualitatifs, le modèle de base avait du mal avec certaines nouvelles classes mais performait bien avec les classes de base dans l'ensemble. Ça a indiqué les difficultés potentielles des tâches de segmentation à quelques exemples qui impliquent d'identifier de nouvelles classes dans un contexte d'anciennes familiarités.

Les résultats quantitatifs ont fourni des insights clés sur comment différentes méthodes se classaient les unes par rapport aux autres.

Durant la première phase, un participant, qui avait développé une méthode pour maintenir des prototypes appris distincts de nouvelles classes, a obtenu les meilleurs résultats. Un autre participant s'est concentré sur la recherche de similitudes entre anciennes et nouvelles classes pour aider l'apprentissage, se classant juste derrière. Une troisième entrée a utilisé un cadre qui assistait le processus grâce à plusieurs stratégies.

Dans la deuxième phase, le modèle qui a surpassé tous les autres s'appuyait significativement sur un ensemble de différentes stratégies d'apprentissage, montrant son efficacité dans cet environnement plus difficile.

Conclusion

L'introduction du dataset OEM-GFSS et du défi associé représente un pas en avant important dans le domaine de la segmentation sémantique à quelques exemples pour la télédétection. En se concentrant sur la difficulté d'apprendre avec des données étiquetées limitées, ça ouvre de nouvelles opportunités pour la recherche et le développement.

Alors que la communauté s'engage avec ce nouveau benchmark, on s'attend à ce que des méthodes plus avancées émergent, permettant aux modèles de mieux s'adapter aux nouvelles classes tout en continuant de bien performer sur celles déjà apprises. La publication publique de ce dataset vise à favoriser la recherche et l'innovation pour relever les défis de la télédétection dans divers domaines.

Source originale

Titre: Generalized Few-Shot Semantic Segmentation in Remote Sensing: Challenge and Benchmark

Résumé: Learning with limited labelled data is a challenging problem in various applications, including remote sensing. Few-shot semantic segmentation is one approach that can encourage deep learning models to learn from few labelled examples for novel classes not seen during the training. The generalized few-shot segmentation setting has an additional challenge which encourages models not only to adapt to the novel classes but also to maintain strong performance on the training base classes. While previous datasets and benchmarks discussed the few-shot segmentation setting in remote sensing, we are the first to propose a generalized few-shot segmentation benchmark for remote sensing. The generalized setting is more realistic and challenging, which necessitates exploring it within the remote sensing context. We release the dataset augmenting OpenEarthMap with additional classes labelled for the generalized few-shot evaluation setting. The dataset is released during the OpenEarthMap land cover mapping generalized few-shot challenge in the L3D-IVU workshop in conjunction with CVPR 2024. In this work, we summarize the dataset and challenge details in addition to providing the benchmark results on the two phases of the challenge for the validation and test sets.

Auteurs: Clifford Broni-Bediako, Junshi Xia, Jian Song, Hongruixuan Chen, Mennatullah Siam, Naoto Yokoya

Dernière mise à jour: Sep 17, 2024

Langue: English

Source URL: https://arxiv.org/abs/2409.11227

Source PDF: https://arxiv.org/pdf/2409.11227

Licence: https://creativecommons.org/licenses/by-nc-sa/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires