Nuovo dataset e sfida per la segmentazione few-shot nel telerilevamento

Imparare da un piccolo numero di dati etichettati è tosto in molti settori, soprattutto nel telerilevamento. La Segmentazione Semantica Few-shot è un metodo che consente ai modelli di deep learning di apprendere solo da pochi esempi etichettati di nuove classi che non sono state viste prima durante l'addestramento. Il setting di segmentazione few-shot generalizzato aggiunge un ulteriore livello di difficoltà, poiché i modelli devono non solo imparare a lavorare con nuove classi, ma anche rimanere efficaci con le vecchie classi che sono state insegnate.

Anche se si è parlato di segmentazione few-shot nel telerilevamento, fino ad ora non c'è stata una benchmark specifica per la segmentazione few-shot generalizzata in questo campo. Questo rende il compito più realistico e impegnativo, ed è fondamentale esaminare questo problema all'interno del telerilevamento. È stato creato un dataset aggiungendo più classi a una risorsa esistente chiamata OpenEarthMap per supportare la valutazione in questo contesto di few-shot generalizzato.

Questo nuovo dataset è stato lanciato insieme a una sfida mirata a migliorare la mappatura della copertura del suolo, che avrà luogo durante un workshop collegato a una grande conferenza di visione artificiale nel 2024. Questo articolo fornisce una panoramica del dataset e della sfida, presentando i risultati di due fasi della sfida su set di validazione e test.

#Contesto sul Telerilevamento e Deep Learning

Il deep learning ha dimostrato di avere successo in varie applicazioni di telerilevamento, come la mappatura della copertura del suolo e la previsione dei raccolti. Recentemente, sono emersi modelli di base per il telerilevamento. Questi modelli sono addestrati su grandi dataset e hanno mostrato forti capacità di generalizzare la loro conoscenza.

C'è ancora un divario nella ricerca sull'apprendimento few-shot nel telerilevamento, specialmente con l'arrivo dei modelli di base e la possibilità di applicare tecniche few-shot a loro. L'apprendimento few-shot si basa su un piccolo insieme di esempi etichettati per aiutare questi modelli ad adattarsi a nuove classi presenti nelle immagini target. Tradizionalmente, il processo di addestramento campiona set di supporto e query, e questo processo è noto come Meta-apprendimento.

Con l'ascesa dei modelli di base, nuove modalità di apprendimento few-shot hanno cominciato a emergere. La maggior parte dei lavori esistenti si è concentrata su immagini naturali, ma i ricercatori hanno cominciato a esplorare l'apprendimento few-shot nel telerilevamento, includendo compiti come la classificazione delle scene e la mappatura della copertura del suolo.

#Il Dataset OEM-GFSS

Presentiamo il dataset OpenEarthMap Generalized Few-Shot Semantic Segmentation (OEM-GFSS), che mira a migliorare la mappatura della copertura del suolo con un focus sul telerilevamento. Questo dataset è un'estensione dell'esistente dataset OpenEarthMap, aggiungendo nuove classi di copertura del suolo ben definite per renderlo più utile.

Originariamente, il dataset OpenEarthMap presentava otto etichette di copertura del suolo a grana grossa. Il dataset OEM-GFSS amplia questo numero a 15 classi a grana fine. Sono state raccolte un totale di 408 immagini da 73 diverse regioni geografiche del mondo per rappresentare queste classi, con una risoluzione spaziale che consente una mappatura dettagliata della copertura del suolo.

Per creare questo dataset, sono state definite nuove classi esaminando le immagini nel set di test originale di OpenEarthMap. Le immagini sono state quindi etichettate da annotatori umani, con controlli di qualità in atto per garantire l'accuratezza. Questo processo ha portato ad annotazioni dettagliate delle nuove classi, che riflettono oggetti comunemente identificabili nelle immagini di copertura del suolo.

#Panoramica della Sfida

Per incoraggiare l'apprendimento con dati etichettati limitati nel telerilevamento, è stata lanciata una sfida basata sul dataset OEM-GFSS. Questa sfida mirava a spingere i limiti delle tecniche di segmentazione few-shot e ha permesso ai ricercatori di competere in due fasi principali.

Durante la prima fase, i partecipanti hanno ricevuto set di addestramento e validazione. Hanno inviato i loro risultati basati sul set di validazione e dovevano presentare un documento che spiegasse il loro approccio per competere nella seconda fase. La seconda fase ha coinvolto la valutazione dei risultati finali sul set di test.

È stata stabilita una baseline per la sfida utilizzando un metodo di segmentazione few-shot ben conosciuto. Questa baseline ha incorporato una tecnica focalizzata sul mantenimento delle prestazioni del modello sulle classi di base mentre si affinava su nuove classi.

#Risultati della Sfida

La sfida ha prodotto una serie di risultati, mostrando i metodi e le prestazioni di diversi partecipanti. L'attenzione era su quanto bene i modelli potessero identificare sia nuove che vecchie classi in varie immagini.

Per i risultati qualitativi, il modello di baseline ha faticato con alcune classi nuove, ma ha ottenuto buone prestazioni con le classi di base nel complesso. Questo indicava le potenziali difficoltà dei compiti di segmentazione few-shot che coinvolgono l'identificazione di nuove classi contro uno sfondo di classi familiari.

I risultati quantitativi hanno fornito importanti intuizioni su come vari metodi si sono confrontati tra loro.

Durante la prima fase, un partecipante, che aveva sviluppato un metodo per mantenere prototipi distinti appresi di nuove classi, ha ottenuto i migliori risultati. Un altro partecipante si è concentrato nel trovare somiglianze tra classi vecchie e nuove per aiutare l'apprendimento, classificandosi subito dietro. Una terza voce ha utilizzato un framework che ha assistito nel processo attraverso più strategie.

Nella seconda fase, il modello che ha superato tutti gli altri si è affidato significativamente a un insieme di diverse strategie di apprendimento, dimostrando la sua efficacia in questo ambiente più impegnativo.

#Conclusione

L'introduzione del dataset OEM-GFSS e della sfida correlata segna un passo significativo avanti nel campo della segmentazione semantica few-shot per il telerilevamento. Concentrandosi sulla difficoltà di apprendere con dati etichettati limitati, apre nuove opportunità per la ricerca e lo sviluppo.

Con la comunità che si impegna con questo nuovo benchmark, ci si aspetta che emergano metodi più avanzati, consentendo ai modelli di adattarsi meglio a nuove classi pur continuando a performare bene su quelle già apprese. Il rilascio pubblico di questo dataset mira a promuovere la ricerca e l'innovazione nel affrontare le sfide del telerilevamento in varie applicazioni.