Nuovo Dataset MiliPoint Avanza la Ricerca Radar mmWave

Il radar a onde millimetriche (MmWave) sta diventando una scelta popolare per rilevare le attività umane perché è conveniente e rispetta meglio la privacy degli utenti rispetto ai sistemi di telecamere tradizionali. Invece di catturare immagini, il radar mmWave rileva segnali riflessi dagli oggetti. Tuttavia, questa tecnologia è sensibile al rumore, il che rappresenta una sfida per l'uso di metodi di deep learning in questo ambito.

Per supportare la ricerca e lo sviluppo in questo campo, abbiamo creato un dataset chiamato MiliPoint. Questo dataset è ampio e aperto all'uso da parte di ricercatori e sviluppatori. MiliPoint permette di esplorare come il radar mmWave possa essere efficace nel riconoscere le attività umane. Include una vasta gamma di azioni umane e comprende tre compiti importanti: identificare le persone, classificare le azioni e stimare i punti chiave sul corpo umano.

#Importanza del radar mmWave nella rilevazione

I sensori sono cruciali per i sistemi moderni che aiutano a prendere decisioni. Il radar mmWave viene spesso usato in vari settori come automobilistico, industriale e civile. Offre un buon equilibrio tra risoluzione, precisione e costo.

Rispetto ai sensori tradizionali come WiFi e Bluetooth, il radar mmWave opera a frequenze più elevate, consentendo una migliore risoluzione e cattura di dettagli più fini. Può anche essere realizzato più piccolo e più economico mantenendo la qualità. Tuttavia, ha anche degli svantaggi; può soffrire di rumore a causa della dipendenza dai segnali riflessi.

La qualità del radar mmWave rispetto ad altri sensori mostra i suoi punti di forza. È una soluzione economica e non intrusiva che può essere impiegata efficacemente in molti scenari.

I ricercatori hanno trovato utile il radar mmWave per molti compiti legati alla rilevazione delle attività umane, ma le condizioni variabili e i requisiti dei compiti rendono difficile confrontare i diversi metodi. Ci sono molti studi che si concentrano su aspetti specifici, come il monitoraggio di una sola persona o la differenziazione tra due o tre persone, accumulando vari campioni e tipi di azione.

#Creazione del dataset MiliPoint

MiliPoint è stato sviluppato come un dataset standardizzato per assistere la futura ricerca nella rilevazione delle attività umane. I suoi principali contributi sono i seguenti:

• MiliPoint contiene tre compiti chiave per il riconoscimento delle attività umane: Identificazione, Classificazione delle azioni e Stima dei punti chiave.
• Il dataset comprende una vasta gamma di azioni con oltre 545.000 frame, che è molto più grande rispetto ai dataset esistenti.
• Abbiamo anche testato reti neurali profonde (DNN) basate sui punti esistenti su MiliPoint, stabilendo una baseline per futuri miglioramenti.

#Comprendere i segnali mmWave

Un segnale mmWave è un segnale elettromagnetico che di solito cade tra 30 e 300 GHz, con una lunghezza d'onda inferiore a 1 cm. Questa frequenza più alta consente una larghezza di banda più ampia, rendendo il mmWave ideale per applicazioni radar a corto raggio poiché una migliore risoluzione si ottiene con una larghezza di banda maggiore.

Inoltre, la breve lunghezza d'onda consente l'integrazione di molte antenne in un dispositivo compatto, fornendo dati preziosi sull'angolo di incidenza e sulle caratteristiche spaziali 3D dettagliate. Sebbene il radar mmWave sia meno preciso rispetto a telecamere e sistemi lidar, ha vantaggi come l'economicità, la non intrusività e l'indipendenza dalle condizioni di illuminazione, il che lo rende sempre più popolare per la rilevazione delle attività umane.

Di solito, i radar mmWave utilizzano un metodo chiamato onda continua modulata in frequenza (FMCW) per trovare oggetti. Il radar emette segnali a onde millimetriche che rimbalzano dagli oggetti e il radar raccoglie il segnale riflesso. La distanza e l'angolo di un oggetto sono codificati nella frequenza e nella fase di questo segnale restituito. L'unità di elaborazione del radar analizza poi i segnali per produrre dati sulle coordinate 3D dell'oggetto.

#Dataset mmWave esistenti

Sebbene siano stati sviluppati molti framework radar mmWave per il riconoscimento delle attività umane, pochi dataset sono disponibili per il pubblico. La maggior parte di questi dataset si concentra su un compito specifico, spesso la stima dei punti chiave. Ci sono alcuni dataset specificamente creati per la classificazione delle azioni, ma sono limitati sia in dimensione che nella varietà delle azioni catturate.

MiliPoint è unico perché comprende tutti e tre i compiti principali nel riconoscimento delle attività umane, fornendo dati più completi rispetto a quanto disponibile in precedenza. Include un totale di 11 partecipanti che eseguono 49 diverse azioni, mostrando una varietà di movimenti umani e ampliando notevolmente l'ambito per la ricerca.

#Reti neurali basate sui punti

Le nuvole di punti consistono in numerosi punti 3D che rappresentano la forma di un oggetto e sono comunemente utilizzate nella grafica computerizzata e nella rilevazione 3D. Le reti neurali basate sui punti, come PointNet e PointNet++, gestiscono direttamente questi set di punti non ordinati invece di cercare di convertirli in altri formati come immagini o griglie.

DGCNN, una variazione delle reti neurali grafiche, eccelle utilizzando EdgeConv per raccogliere informazioni locali, mentre PointTransformer impiega metodi di auto-attenzione inizialmente sviluppati per l'elaborazione del linguaggio. Ci sono anche reti più semplici, come PointMLP, che richiedono un'architettura meno complessa ma ottengono comunque risultati competitivi.

Nel nostro lavoro, abbiamo stabilito benchmark utilizzando varie reti rappresentative, come PointNet++, PointMLP, DGCNN e PointTransformer, per valutare le loro prestazioni sul dataset MiliPoint.

#Processo di raccolta dati

La raccolta dati è avvenuta di persona, con i partecipanti che eseguivano una serie di esercizi cardio a bassa intensità. Ogni esercizio è stato scelto con attenzione per la sua intensità e varietà. Un video che mostrava questi esercizi è stato utilizzato per guidare i partecipanti nei loro movimenti.

Per mantenere la privacy dei partecipanti, abbiamo garantito che rimanessero anonimi e il dataset include solo dati delle nuvole di punti e punti chiave derivati dal radar. Tutti i contenuti video sono stati scartati. Il radar mmWave e la telecamera stereo utilizzati per la raccolta dei dati sono stati impostati per garantire flussi di dati di alta qualità.

Il radar mmWave che abbiamo usato è noto per la sua capacità di imaging 3D. Opera nella gamma di frequenze 77-81 GHz ed è progettato con più trasmettitori e ricevitori. Questa configurazione fornisce dati significativi sui movimenti degli individui.

Abbiamo anche impiegato una telecamera stereo per fornire dati di verità a terra sulla stima dei punti chiave, catturando informazioni di profondità e coordinate 3D dei partecipanti.

#Reclutamento dei partecipanti e approvazione dello studio

Undici partecipanti hanno volontariamente partecipato allo studio, reclutati tramite email e passaparola. Il gruppo era composto da quattro donne e sette uomini, tutti senza problemi di mobilità. I partecipanti sono stati informati sullo scopo dello studio e hanno accettato di partecipare firmando moduli di consenso. Hanno ricevuto un piccolo incentivo per la loro partecipazione.

Lo studio è stato approvato dal Comitato Etico della Ricerca della Facoltà di Ingegneria dell'Università.

#Progettazione dei compiti

Per valutare le prestazioni, abbiamo stabilito tre compiti principali: identificazione, stima dei punti chiave e classificazione delle azioni.

1. Identificazione: Questo compito implica analizzare i dati per distinguere tra individui basandosi su caratteristiche uniche. A ciascun partecipante viene assegnata un'etichetta numerica.

2. Classificazione delle azioni: Questo richiede di riconoscere schemi comportamentali dai dati radar disposti in set di frame, ciascuno legato a un'azione specificata.

3. Stima dei punti chiave: Questo implica localizzare punti importanti sul corpo umano. Abbiamo sviluppato due compiti sui punti chiave: uno focalizzato su un insieme centrale di caratteristiche come spalle e ginocchia, e un altro che richiede un insieme di punti più dettagliato, includendo naso e polsi.

#Pipeline di elaborazione dei dati

Il radar mmWave genera pacchetti di dati sotto forma di nuvole di punti. Il numero di punti varia in base alla riflessione del soggetto. Per mantenere la coerenza tra i frame, abbiamo impostato un limite massimo sul numero di punti e utilizzato campionamento casuale o zero-padding come necessario.

Per creare punti dati per l'analisi, abbiamo impilato diversi frame di dati dai partecipanti. Abbiamo anche etichettato i dati per l'identificazione, derivato i punti chiave dai risultati della telecamera stereo e sincronizzato le etichette delle azioni con i timestamp dei contenuti video.

#Setup dell'esperimento

Abbiamo testato diverse reti neurali basate sui punti con diverse suddivisioni di addestramento, validazione e testing. I modelli sono stati implementati utilizzando framework popolari come PyTorch. Abbiamo monitorato le prestazioni su più esecuzioni per affidabilità e accuratezza.

Sono state impiegate diverse strategie di impilamento per i punti dati, con risultati variabili che indicano che un corretto allineamento dei dati ha migliorato le prestazioni.

#Risultati chiave

I risultati della valutazione del dataset MiliPoint hanno mostrato che i metodi basati sui punti hanno performato bene nell'identificare gli individui. Tuttavia, la classificazione delle azioni si è rivelata più difficile, principalmente a causa delle sfide nel derivare sequenze significative da dati sporchi e rumorosi.

Le prestazioni sono variate tra le diverse reti, con PointNet++ e PointMLP che si sono distinti come i migliori performer in questo benchmark.

#Limitazioni e lavoro futuro

Il nostro dataset ha delle limitazioni. I dati sono stati raccolti con un solo radar mmWave in un ambiente controllato, il che potrebbe non rappresentare completamente le complessità del mondo reale. Inoltre, ci siamo concentrati su un intervallo limitato di azioni, trascurando posture più complesse.

La ricerca futura potrebbe esplorare l'utilizzo di più radar per dati più completi, ma questo implica anche la gestione del potenziale interferenza tra dispositivi. Abbiamo anche in programma di indagare il segnale IF raw per vedere se offre vantaggi aggiuntivi rispetto alle nuvole di punti elaborate.

#Conclusione

MiliPoint è un dataset sostanziale progettato per promuovere ulteriori ricerche nel radar mmWave per la rilevazione delle attività umane. Fornisce una vasta raccolta di dati attraverso più compiti e presenta opportunità per migliorare i metodi di deep learning basati sui punti. I ricercatori possono ora sfruttare questo dataset per avanzare il loro lavoro in questo campo in crescita.