NOMAD: Un Dataset per il Riconoscimento di Persone in Aereo

Con l'aumento della popolarità dei droni per situazioni di emergenza come la ricerca e il salvataggio, è fondamentale che possano vedere e riconoscere le persone dall'alto. Tuttavia, notare le persone diventa più difficile quando si guarda dall'alto. Sono stati creati vari set di dati per affrontare questo problema. Eppure, nessuno si concentra specificamente su cosa succede quando le persone sono nascoste alla vista, il che è cruciale nelle emergenze. NOMAD, o Natural Occluded Multi-scale Aerial Dataset, è progettato per fornire una soluzione. Include diverse altezze e vari tipi di immagini per aiutare a rilevare persone che potrebbero essere parzialmente nascoste.

NOMAD è composto da 100 attori diversi che eseguono azioni come camminare, sdraiarsi e nascondersi. Ha un totale di 42.825 fotogrammi estratti da video di alta qualità. Ogni fotogramma è segnato con cura per mostrare quanto dell'attore è visibile, aiutando i ricercatori a capire quanto bene funzionano i loro modelli di visione artificiale nel rilevare persone in diverse condizioni di Visibilità.

#L'importanza della visione artificiale nella risposta alle emergenze

I droni dotati di visione artificiale possono raccogliere informazioni vitali rapidamente nelle emergenze. Possono sorvegliare ampie aree e aiutare a localizzare persone che hanno bisogno di aiuto. Questo è particolarmente importante in scenari dove il tempo è essenziale. Ad esempio, durante un disastro naturale, trovare rapidamente i sopravvissuti può fare la differenza tra vita e morte. I droni possono essere usati per individuare persone perse tra le macerie, sott'acqua o oscurate dal fumo.

Tuttavia, utilizzare la visione artificiale per rilevare persone dall'aria presenta delle sfide, soprattutto quando una persona non è completamente visibile. Questo può succedere per vari motivi, come ostacoli nell'ambiente o l'angolo della camera. Ad esempio, una persona che sta affogando potrebbe essere solo parzialmente sopra l'acqua, o qualcuno potrebbe essere nascosto dietro a degli alberi o delle macerie dopo un disastro.

I droni devono anche affrontare sfide legate all'ambiente stesso, come vento, pioggia e scarsa visibilità. Questi fattori possono rendere difficile per la camera del drone avere una visione chiara di ciò che c'è sotto. Pertanto, avere un dataset che si concentra su questi problemi di occlusione è essenziale per lo sviluppo di sistemi di visione artificiale migliori per i droni.

#Cos'è NOMAD?

Il dataset NOMAD mira a fornire una risorsa completa per i ricercatori che lavorano sul rilevamento di persone aeree. Presenta video e immagini che coprono diverse località, stagioni e le demografie degli attori coinvolti. Questo aiuta a garantire che i modelli addestrati su NOMAD possano funzionare bene in varie situazioni reali.

Il dataset è composto da:

1. Impostazioni naturali: Le location di ripresa variano, incluse scuole, parchi, laghi, cave e fattorie, offrendo una vasta gamma di sfondi con cui i droni devono confrontarsi.

2. Livelli di occlusione: Ogni attore mostra livelli di visibilità variabili, con un sistema che categorizza quanto di loro è visibile in ogni momento. Questo consente di testare i modelli sotto diverse condizioni di occlusione.

3. Multi-scala: Il dataset presenta cinque diverse altezze di ripresa, che vanno da 10 a 90 metri, fornendo una visione completa per addestrare e testare i sistemi di visione artificiale.

I ricercatori possono valutare quanto bene i loro modelli rilevano le persone in base a quanto dell'individuo è visibile e da quale distanza.

#Il processo di creazione di NOMAD

NOMAD è stato costruito attraverso un processo attento per garantire che i dati raccolti fossero utili e pertinenti. Questo processo ha incluso la pianificazione e la raccolta dei giusti partecipanti, la selezione delle location di ripresa e la registrazione delle routine di ciascun attore.

#Selezione dei partecipanti

Per costruire un dataset diversificato, i partecipanti di NOMAD sono stati selezionati per rappresentare un ampio range di età, razze e generi. Tutti i partecipanti avevano più di 18 anni e si è cercato di mantenere un equilibrio di demografie. Questo garantisce che il dataset rispecchi scenari reali e aiuti a migliorare le prestazioni dei modelli tra diversi gruppi di persone.

#Location di ripresa

Le riprese si sono svolte in diverse location per fornire sfondi ricchi e diversificati. Ogni location presentava le proprie sfide e ostacoli che potevano ostruire le visuali. Questa varietà aiuta a simulare le condizioni che potrebbero presentarsi in situazioni di emergenza reale.

#Sessioni di ripresa

Durante le riprese, a ciascun attore sono state date istruzioni specifiche per simulare comportamenti naturali. Le routine includevano azioni come nascondersi dietro a ostacoli, sdraiarsi e camminare. Ogni attore ha ripetuto le proprie routine più volte mentre i droni filmavano da varie altezze. Questa ripetizione ha permesso di raccogliere più fotogrammi, coprendo diversi angoli e livelli di visibilità.

#Annotazione dei Dati

Una volta raccolti i video, ogni fotogramma è stato annotato per mostrare quanto della persona fosse visibile. Questo è stato fatto manualmente, assicurando che le informazioni sui livelli di visibilità fossero accurate. In totale, sono stati elaborati 42.825 fotogrammi, ognuno etichettato con un riquadro di delimitazione per evidenziare la persona e un livello di visibilità per indicare quanto di essa poteva essere visto.

#Importanza del comportamento naturale

La chiave per un rilevamento efficace delle persone è assicurarsi che i dati riflettano scenari reali. Permettendo ai partecipanti di comportarsi naturalmente anziché forzare azioni specifiche, il dataset cattura movimenti più genuini. Questo realismo può migliorare le prestazioni dei modelli di visione artificiale quando applicati in situazioni di risposta alle emergenze, poiché dovranno riconoscere persone che non sono sempre in vista.

#Sfide nella visione artificiale

I sistemi di visione artificiale affrontano molte sfide nel cercare di identificare persone dalla vista aerea. L'occlusione è uno dei problemi più significativi. Il dataset mira a affrontare questo problema fornendo dieci livelli di visibilità. Man mano che il livello di visibilità diminuisce, la sfida per gli algoritmi di rilevamento aumenta.

Addestrarsi su dati diversificati può aiutare i modelli a imparare a superare queste sfide e migliorare la loro accuratezza e affidabilità in situazioni di emergenza.

#Usi dei dati NOMAD

Il dataset NOMAD ha diverse potenziali applicazioni:

1. Benchmarking per l'occlusione: Offrendo dieci livelli di visibilità, NOMAD funge da standard per valutare i miglioramenti nel rilevamento di persone parzialmente nascoste.

2. Rilevamento di persone: Il dataset può essere utilizzato in vari scenari, come cercare qualsiasi persona in una vasta area dove l’obiettivo è localizzare chi ha bisogno di aiuto.

3. Re-identificazione delle persone: Se una persona viene avvistata inizialmente ma esce dalla vista, avere descrizioni dettagliate e immagini può aiutare a identificarla in seguito. I ricchi metadati di NOMAD supportano questo compito.

4. Tracciamento delle persone: Una volta che una persona è stata rilevata, è essenziale tenere traccia dei suoi movimenti. Il dataset è progettato per aiutare a valutare tecniche destinate a seguire gli individui attraverso diverse azioni.

#Esempi di valutazione delle prestazioni

Per valutare quanto bene i modelli funzionino con NOMAD, sono stati testati tre modelli di visione artificiale all'avanguardia. Questi includono YOLOv8, FasterRCNN e RetinaNet. Ogni modello è stato valutato per quanto bene potesse rilevare persone in diverse condizioni di visibilità e distanza.

Attraverso diversi test, è stato chiaro che, mentre questi modelli si comportavano bene in condizioni perfette, la loro accuratezza diminuiva drasticamente man mano che aumentava l'occlusione o cresceva la distanza dalla camera. Questo evidenzia la necessità di continuare la ricerca e lo sviluppo per migliorare le loro capacità in situazioni reali.

#Direzioni future

Lo sviluppo del dataset NOMAD apre molte strade per future ricerche. Alcuni ambiti chiave includono:

1. Migliorare il rilevamento sotto occlusione: Si può lavorare di più per perfezionare come i modelli riconoscono persone che non sono completamente visibili.

2. Migliorare la re-identificazione delle persone: Ulteriori ricerche potrebbero sviluppare sistemi che collegano le informazioni per migliorare come gli individui vengono riconosciuti in diversi scenari.

3. Test nel mondo reale: Implementare modelli addestrati su NOMAD in situazioni di emergenza reali aiuterà a perfezionare le loro prestazioni e adattabilità.

In conclusione, le sfide poste dall'occlusione e dalla distanza nelle visuali aeree sono significative, ma possono essere affrontate attraverso una ricerca mirata e dataset migliorati come NOMAD. Continuando a sviluppare e testare questi modelli in ambienti reali, possiamo migliorare il modo in cui i droni supportano i soccorritori nelle operazioni di localizzazione e assistenza alle persone in difficoltà.