Avanzando l'Apprendimento Automatico sui Satelliti

Allenare modelli di machine learning nello spazio può essere una sfida. Questo principalmente perché i satelliti hanno hardware limitato e possono inviare solo piccole quantità di dati alla volta. In questo contesto, ci concentriamo su due obiettivi principali: prima, permettere ai satelliti di allenare continuamente piccoli modelli mentre catturano immagini, e secondo, consentire loro di ricevere nuove etichette mentre orbitano per migliorare o aggiornare ciò che stanno apprendendo.

Il nostro obiettivo è prevedere la percentuale di vegetazione in aree specifiche di 20 chilometri utilizzando dati più grezzi, come le statistiche sulla vegetazione a livello di città. Questo è utile perché tali dati sono più facili da ottenere e spesso disponibili in molte parti del mondo. Inquadriamo questa sfida come un problema di Learning from Label Proportions (LLP). Nel campo dell'Osservazione della Terra (EO) usando dati satellitari, questo approccio è ancora nuovo ed è difficile confrontare i risultati a causa della mancanza di set di dati standard.

Prima di tutto, abbiamo scoperto che metodi di deep learning semplici spesso funzionano meglio di modelli più complessi. Questi modelli più semplici possono fornire informazioni spaziali dettagliate anche quando sono addestrati con dati più grezzi. In secondo luogo, stiamo condividendo un insieme di set di dati che aiutano a confrontare diverse applicazioni di LLP in EO. Questo include sia etichette dettagliate che dati più ampi basati su aree amministrative esistenti. Infine, mostriamo come il nostro approccio possa adattarsi all'allenamento in orbita riducendo significativamente la potenza di calcolo e la dimensione dei set di dati delle etichette necessari.

#Osservazione della Terra e Immagini Satellitari

L'Osservazione della Terra ha visto notevoli progressi grazie all'aumento recente delle tecniche di deep learning e all'abbondanza di immagini satellitari. A maggio 2022, c'erano centinaia di satelliti ottici e radar attivamente fornendo dati di imaging preziosi. Ad esempio, solo le missioni Sentinel dell'Agenzia Spaziale Europea (ESA) hanno prodotto enormi quantità di dati scaricati nel 2021.

I satelliti catturano dati e li inviano sulla Terra nella loro forma grezza o leggermente elaborata. Le esigenze di tempo, come rispondere a emergenze o monitorare cambiamenti rapidamente, potrebbero subire ritardi a causa della lenta elaborazione di questi dati. Per contrastare questo, parte dell'elaborazione può essere spostata sui satelliti stessi, soprattutto con il lancio di un numero sempre maggiore di satelliti e le sfide legate all'uso delle radiofrequenze.

Questo lavoro sottolinea l'importanza di potenziare il machine learning sui satelliti, dall'allenamento dei modelli alle previsioni. Tuttavia, questo processo è spesso limitato dall'hardware a bordo e dalla larghezza di banda disponibile per trasmettere nuovi dati. Utilizzando immagini direttamente dai satelliti, dobbiamo assicurarci di addestrare modelli molto piccoli e di lavorare solo con dati che occupano poco spazio.

Affrontiamo queste sfide come un problema di LLP, addestrando modelli per fare previsioni precise anche quando durante l'addestramento sono disponibili solo dati grezzi. La natura geografica dei dati EO crea circostanze in cui i metodi LLP possono funzionare bene per il machine learning basato nello spazio. Ci capitalizziamo sul fatto che le informazioni aggregate-come demografia e uso del suolo-di solito esistono a un livello amministrativo più ampio.

Le immagini sono organizzate in gruppi, in cui ogni gruppo è composto da immagini della stessa area amministrativa, come un comune. Crediamo che le immagini della stessa area con ogni probabilità condivideranno somiglianze dovute a fattori geografici e demografici. Questo ci permette di utilizzare meno spazio dati per le nostre etichette di addestramento, rendendo più facile gestire l'addestramento del modello.

I nostri modelli puntano a dare previsioni per ogni immagine quando sono disponibili solo dati più ampi dalle aree amministrative. Riferiamo a sezioni più piccole delle immagini satellitari come "chips". Per ogni chip di input, vogliamo che i modelli restituiscano previsioni sulle classi presenti e sviluppino funzioni di perdita che utilizzano solo le etichette amministrative più ampie.

#Contributi e Risultati Chiave

Questo lavoro presenta tre contributi principali. Prima di tutto, dimostriamo che tecniche di deep learning semplici e probabilistiche tendono a fornire migliori prestazioni rispetto a modelli più complessi. Questo ci sorprende, visto che abbiamo usato dati etichettati più grezzi. In secondo luogo, poiché LLP in EO è un'area nuova, forniamo set di dati di benchmarking chiave per aiutare nei confronti. Questi set di dati includono sia etichette dettagliate che dati più ampi basati su aree amministrative esistenti. Terzo, mostriamo come questi aspetti aiutano a facilitare il machine learning mentre si orbita.

Le sezioni seguenti riassumono lavori precedenti nel campo, dettagliano i set di dati che abbiamo creato, descrivono i nostri modelli e approcci, presentano i risultati e discutono considerazioni per l'allenamento e le previsioni in corso dallo spazio. Concludiamo con le nostre conclusioni.

#Lavori Precedenti

I metodi di deep learning richiedono risorse computazionali significative e dati etichettati laboriosi. Anche a terra, la disponibilità limitata di dati etichettati rende difficile sfruttare appieno il deep learning nell'Osservazione della Terra. Sono state sviluppate varie strategie per affrontare questo problema, come l'apprendimento auto-supervisionato e metodi debolmente supervisionati.

Le tecniche debolmente supervisionate mirano a sfruttare etichette di qualità inferiore che sono più facili da raccogliere rispetto a dati completamente etichettati. Questi potrebbero essere etichette incomplete, rumorose o più grossolane. Learning from Label Proportions (LLP) è una tecnica in cui sono disponibili solo le proporzioni delle diverse classi, piuttosto che le etichette complete. Nello scenario abituale, le immagini sono raggruppate insieme e conosciamo solo la distribuzione delle classi all'interno di quei gruppi.

Alcuni lavori iniziali sono stati fatti con LLP e deep learning, specialmente nell'Osservazione della Terra. Utilizziamo immagini RGB di Sentinel-2 come nostro input, insieme a proporzioni di etichette da vari set di dati, comprese stime sull'uso del suolo e sulla densità di popolazione. Questi set di dati sono accessibili attraverso varie piattaforme di dati.

Ci concentriamo su due diverse regioni con caratteristiche e demografie del suolo distinte: la regione Benelux (Belgio, Paesi Bassi e Lussemburgo) e una sezione del nord-ovest della Colombia. Abbiamo creato quattro set di dati basati su queste aree, che contengono immagini e proporzioni di etichette corrispondenti. Ogni chip di immagine è collegato all'area amministrativa in cui rientra.

#Set di Dati e Metodologia

Per sviluppare i nostri set di dati, utilizziamo immagini RGB catturate da Sentinel-2. Le immagini vengono regolate per luminosità e chiarezza prima dell'elaborazione. Per le previsioni su uso e copertura del suolo, estraiamo informazioni dal set di dati ESA WorldCover, che fornisce una mappa globale di copertura del suolo. Per stimare la densità di popolazione, traiamo dati dal set di dati Global Human Settlement Layers.

Da entrambe le fonti, calcoliamo le proporzioni delle diverse classi sia a livello di chip che a livello amministrativo più ampio. Le proporzioni più ampie sono più comuni e spesso più facili da ottenere.

Questi set di dati sono suddivisi in segmenti di addestramento, validazione e test. Ci assicuriamo che le immagini della stessa area amministrativa non finiscano in segmenti diversi, il che potrebbe ridurre l'affidabilità della nostra valutazione. Ogni set di dati di addestramento include un numero significativo di chip di immagine, ognuno contenente informazioni sulle classi e sulle proporzioni presenti.

Puntiamo ad addestrare modelli che prendano un'immagine RGB come input e producano un vettore di componenti che rappresentano le proporzioni delle classi all'interno dell'immagine. Teniamo traccia delle prestazioni basate su questi output a un livello più fine di quello che abbiamo usato per l'addestramento. In un'applicazione del mondo reale, probabilmente non avremmo a disposizione i dati dettagliati per la valutazione delle prestazioni.

Vogliamo anche che i nostri modelli generino mappe di segmentazione che indicano dove si trovano specifiche classi. Tuttavia, poiché abbiamo solo le proporzioni di etichette più ampie per l'addestramento, le funzioni di perdita saranno costruite utilizzando questi output più ampi.

#Modelli Utilizzati

Utilizziamo vari modelli per gestire le previsioni basate sui nostri dati in input. Un approccio è un semplice modello di downsampling convoluzionale che utilizza due strati convoluzionali. Un altro è un modello probabilistico basato su miscele di kernel quantistici. Implementiamo anche un'architettura Unet standard adattata per compiti di segmentazione.

Per ogni modello, conduciamo ricerche di iperparametri per ottimizzare le prestazioni. I modelli sono addestrati su più epoche, con dati di validazione utilizzati per la selezione e il test delle metriche di prestazione. Valutiamo l'efficacia di ciascun modello in base alla loro capacità di prevedere accuratamente le proporzioni delle etichette e generare mappe di segmentazione.

I modelli semplici, nonostante abbiano meno parametri, spesso performano altrettanto bene dei modelli più complessi. Questo è significativo perché suggerisce che potremmo non aver bisogno di modelli eccessivamente complicati per ottenere risultati soddisfacenti nelle applicazioni di LLP.

#Metriche di Prestazione

Per misurare l'efficacia dei nostri modelli, utilizziamo due metriche principali: l'Errore Assoluto Medio (MAE) e il punteggio F1. Il MAE fornisce un modo semplice per interpretare l'errore medio quando si prevedono le proporzioni. Il punteggio F1 aiuta a confrontare l'accuratezza delle mappe di segmentazione previste rispetto alle etichette effettive.

Ci concentriamo sulla valutazione dei risultati ottenuti per ciascun modello utilizzando i set di dati di test. I modelli più semplici tendono a performare meglio sia in termini di MAE che di punteggio F1 attraverso diverse regioni e set di dati.

#Panoramica dei Risultati

I nostri risultati mostrano che i modelli più semplici superano costantemente quelli più complessi, anche quando valutati su compiti come la previsione della copertura del suolo e la stima della densità di popolazione. I risultati indicano che questi modelli possono fornire previsioni di alta qualità mantenendo una ridotta impronta computazionale.

Mentre valutiamo le previsioni, visualizziamo gli output su ampie aree geografiche. Queste visualizzazioni aiutano a sintetizzare la comprensione di quanto bene i nostri modelli stiano funzionando in varie regioni. Mettono in evidenza che i nostri modelli più semplici sono opzioni valide per applicazioni che richiedono machine learning nello spazio.

#Considerazioni Futuri per l'Addestramento in Orbita

La nostra ricerca suggerisce possibilità promettenti per il machine learning sui satelliti. Dato il rendimento dei modelli più piccoli, la loro implementazione su satelliti in orbita è fattibile. La capacità di allenarsi su dati più grezzi può ridurre il carico di potenza di elaborazione necessaria a bordo.

Gli scenari di addestramento nello spazio necessitano ancora di ulteriori esplorazioni. Con modelli più piccoli, i requisiti per la potenza di calcolo e lo stoccaggio dei dati diminuiscono significativamente. Questo apre la possibilità a un apprendimento in orbita più efficace.

La grande superficie di terra coperta dai satelliti ogni volta che orbitano suggerisce che l'applicazione pratica del machine learning potrebbe essere realizzabile in tempo reale. Infatti, la velocità con cui i modelli possono essere addestrati e inferiti dimostra che l'elaborazione dei dati satellitari può migliorare con le tecniche giuste.

#Conclusione

In sintesi, i modelli di deep learning più piccoli possono fornire previsioni sorprendentemente dettagliate quando sono addestrati con input di dati più grezzi. Questo rappresenta un passo importante verso lo sviluppo di pipeline di machine learning per i satelliti in orbita. Riducendo il potere di calcolo e le esigenze di archiviazione per l'addestramento dei modelli, possiamo migliorare le capacità dei sistemi in orbita.

Il successo di questi metodi in diverse regioni geografiche rafforza l'idea che apprendere da etichette più grezze può compensare le sfide presentate dalla scarsità di dati etichettati di alta qualità. I set di dati che forniamo serviranno da base per ulteriori esplorazioni in questo campo emergente, promuovendo migliori standard e protocolli per la ricerca futura nell'Osservazione della Terra e nel machine learning.

In futuro, mentre continuiamo a costruire su questi metodi e set di dati, anticipiamo una crescente capacità per applicazioni di machine learning in orbita, potenzialmente trasformando il modo in cui percepiamo e interagiamo con il nostro pianeta dallo spazio.