Simple Science

Scienza all'avanguardia spiegata semplicemente

# Informatica# Visione artificiale e riconoscimento di modelli# Intelligenza artificiale

Calibrazione di nuova generazione per i sensori dei veicoli

Un nuovo sistema migliora la calibrazione dei sensori usando il deep learning mentre si guida.

― 6 leggere min


Rivoluzionare laRivoluzionare lacalibrazione dei sensoriefficiente.i sensori dei veicoli in modoNuovo sistema di deep learning calibra
Indice

Le auto moderne usano un sacco di Sensori per capire quello che hanno intorno e guidare in sicurezza. Questi sensori includono telecamere, LiDAR e Radar. Ognuno ha i suoi punti forti, e usarli insieme dà una visione più chiara dell'ambiente attorno al veicolo. Però, è fondamentale che questi sensori siano calibrati correttamente per funzionare bene insieme.

La Calibrazione significa regolare i sensori per far sì che le loro misurazioni siano accurate. Di solito, si fa in un ambiente controllato, come in fabbrica, ma col passare del tempo possono sorgere problemi quando l'auto è in strada. Ad esempio, i sensori possono spostarsi a causa di cambiamenti meccanici, influenzando la loro precisione. Perciò, è importante trovare un modo per mantenere la calibrazione di questi sensori mentre il veicolo è in uso.

Le Sfide della Calibrazione

Il processo di calibrazione dei sensori è complesso. Prima, ogni sensore deve essere calibrato singolarmente, cosa che si chiama calibrazione intrinseca. Questo assicura che ogni sensore funzioni correttamente da solo. Poi, devono essere calibrati l'uno rispetto all'altro, che è conosciuto come calibrazione estrinseca. Questo fa sì che tutti i sensori lavorino insieme nello stesso sistema di coordinate.

Un problema comune è che anche piccoli errori nella calibrazione intrinseca possono portare a problemi più grandi nella calibrazione estrinseca. I metodi tradizionali spesso richiedono un obiettivo specifico contro cui calibrare, come un pattern a scacchiera. Ma quando un veicolo si muove, impostare questi obiettivi è spesso poco pratico. Quindi, c'è bisogno di un metodo che possa calibrare i sensori senza affidarsi a questi obiettivi fissi.

Deep Learning per la Calibrazione

Il deep learning è diventato un approccio popolare per molti compiti, compresa la calibrazione. Invece di avere bisogno di modelli dettagliati e obiettivi fissi, il deep learning può imparare a calibrare i sensori in base ai dati raccolti durante la guida normale. Questo significa che un veicolo potrebbe raccogliere informazioni mentre guida e usare quei dati per migliorare automaticamente la calibrazione dei suoi sensori.

In questo approccio, un modello di deep learning speciale può analizzare i dati sia dalla telecamera che dal Lidar. Cerca somiglianze tra i due tipi di dati per capire come regolare la calibrazione. L'obiettivo è creare un sistema che possa aggiornarsi continuamente e mantenere la precisione dei suoi sensori nel tempo.

La Soluzione Proposta

Per affrontare i problemi di calibrazione, è stato sviluppato un nuovo sistema chiamato calica. Questo sistema utilizza il deep learning per effettuare una calibrazione automatica sia per i sensori della telecamera che per quelli del Lidar contemporaneamente. Elaborando i dati di entrambi i sensori insieme, calica riesce a comprendere la relazione tra le immagini della telecamera e le nuvole di punti del Lidar.

Calica funziona prevedendo i parametri intrinseci della telecamera, che comprendono cose come lunghezza focale e distorsione, oltre ai parametri estrinseci, che definiscono come la telecamera e il Lidar sono posizionati l’uno rispetto all’altro. Utilizzando un modello di deep learning, il sistema può migliorare le sue previsioni in base ai dati raccolti durante la guida.

Raccolta Dati e Addestramento

Per assicurarsi che la calibrazione funzioni bene, il sistema deve essere addestrato con dati di buona qualità. Durante la fase iniziale, i sensori vengono pre-calibrati in un ambiente controllato usando un pattern a scacchiera. Questo dà al sistema un punto di partenza. Poi, mentre guida, l'auto raccoglie dati dai sensori, catturando immagini e nuvole di punti nel tempo.

Questi dati raccolti vengono utilizzati per creare un grande dataset di addestramento. La chiave qui è che i valori di calibrazione possono essere aggiustati per tenere conto di eventuali cambiamenti che avvengono durante la guida. Il sistema impara a riconoscere quando ci potrebbero essere problemi con i dati dei sensori, e genera etichette che aiutano ad addestrare il modello in modo efficace.

Architettura del Sistema

Calica utilizza una struttura di rete speciale per migliorare il processo di apprendimento. È composta da due parti principali: una per i dati della telecamera e un'altra per i dati del Lidar. Queste due parti della rete condividono informazioni in un modo che migliora l’apprendimento da entrambe le fonti di dati. Questa struttura è chiamata Siamese, e assicura che la rete possa apprendere dalle relazioni tra telecamera e Lidar.

L'architettura è progettata per gestire varie dimensioni e tipi di input provenienti da diversi veicoli, permettendole di adattarsi alla configurazione specifica di ogni auto. La flessibilità nella risoluzione degli input è fondamentale, poiché i veicoli possono avere diverse configurazioni di sensori.

Processo di Addestramento

Durante l'addestramento, il sistema cerca di minimizzare la differenza tra i valori di calibrazione previsti e quelli reali. Si concentra sulla riduzione degli errori nelle aree chiave più importanti per la percezione del veicolo, in particolare la rotazione dei sensori.

Il processo di addestramento prevede l'uso di tecniche di ottimizzazione standard per aggiustare i pesi della rete. Iterando sui dati, il sistema impara nel tempo come sintonizzare la calibrazione sia della telecamera che del Lidar per una migliore accuratezza.

Valutazione e Risultati

Per verificare quanto bene funzioni calica, il sistema è stato testato con un dataset conosciuto chiamato KITTI Dataset. Questo dataset include vari scenari di guida con diverse condizioni meteorologiche e ambienti. La valutazione ha esaminato l'accuratezza della calibrazione confrontando i risultati del sistema end-to-end con i metodi di calibrazione tradizionali.

I risultati hanno mostrato che calica ha ottenuto prestazioni simili ai metodi classici, raggiungendo bassi tassi di errore. Una delle caratteristiche migliori di calica è che può eseguire tutti i suoi calcoli in un'unica passata, il che lo rende efficiente e veloce. Questo è particolarmente vantaggioso per applicazioni nel mondo reale, dove la velocità è cruciale.

Vantaggi del Nuovo Sistema

  1. Nessun Bisogno di Obiettivi Fissi: Il sistema può effettuare calibrazioni senza aver bisogno di obiettivi fisici specifici come le scacchiere. Questo lo rende pratico per l'uso mentre si guida.

  2. Calibrazione Continua: Elaborando i dati in tempo reale, il sistema può continuamente regolare i sensori per mantenere l'accuratezza, affrontando i problemi man mano che si presentano.

  3. Maggiore Precisione: L'uso del deep learning consente al sistema di trovare relazioni tra diversi tipi di dati sensoriali, portando a risultati di calibrazione migliori.

  4. Efficienza: L'approccio end-to-end consente una rapida elaborazione e un processo di calibrazione semplificato, rendendolo ideale per l'uso nei veicoli autonomi.

Conclusione

Calica rappresenta un passo avanti significativo nella calibrazione dei sensori dei veicoli. Sfruttando il deep learning e i dati da scenari di guida reali, può mantenere l'accuratezza dei sensori della telecamera e del Lidar senza bisogno di obiettivi di calibrazione tradizionali. Questa innovazione non solo migliora le capacità di percezione del veicolo, ma semplifica anche il processo di calibrazione, rendendolo più adatto per le moderne applicazioni di guida autonoma. Di conseguenza, calica rappresenta una base promettente per futuri progressi nella tecnologia di calibrazione dei sensori.

Fonte originale

Titolo: End-to-End Lidar-Camera Self-Calibration for Autonomous Vehicles

Estratto: Autonomous vehicles are equipped with a multi-modal sensor setup to enable the car to drive safely. The initial calibration of such perception sensors is a highly matured topic and is routinely done in an automated factory environment. However, an intriguing question arises on how to maintain the calibration quality throughout the vehicle's operating duration. Another challenge is to calibrate multiple sensors jointly to ensure no propagation of systemic errors. In this paper, we propose CaLiCa, an end-to-end deep self-calibration network which addresses the automatic calibration problem for pinhole camera and Lidar. We jointly predict the camera intrinsic parameters (focal length and distortion) as well as Lidar-Camera extrinsic parameters (rotation and translation), by regressing feature correlation between the camera image and the Lidar point cloud. The network is arranged in a Siamese-twin structure to constrain the network features learning to a mutually shared feature in both point cloud and camera (Lidar-camera constraint). Evaluation using KITTI datasets shows that we achieve 0.154 {\deg} and 0.059 m accuracy with a reprojection error of 0.028 pixel with a single-pass inference. We also provide an ablative study of how our end-to-end learning architecture offers lower terminal loss (21% decrease in rotation loss) compared to isolated calibration

Autori: Arya Rachman, Jürgen Seiler, André Kaup

Ultimo aggiornamento: 2023-04-27 00:00:00

Lingua: English

URL di origine: https://arxiv.org/abs/2304.12412

Fonte PDF: https://arxiv.org/pdf/2304.12412

Licenza: https://creativecommons.org/licenses/by-sa/4.0/

Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.

Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.

Altro dagli autori

Articoli simili