Présentation du dataset PIV3CAMS pour la vision par ordinateur

La vision par ordinateur, c'est un domaine qui permet aux ordis de comprendre et d'interpréter les Images et les Vidéos comme le ferait un humain. Ce secteur est en pleine expansion, surtout grâce à l'apprentissage automatique, qui a besoin d'un max d'images de qualité. Même s'il existe plein de datasets avec des images prises dans des conditions similaires, y en a pas beaucoup qui rassemblent des images capturées en même temps par plusieurs caméras. Dans ce travail, on vous présente le dataset PIV3CAMS.

#Qu'est-ce que PIV3CAMS ?

PIV3CAMS ça veut dire Paired Image and Video data from three CAMeraS. Ça propose une collection d'images et de vidéos prises par trois caméras différentes : un Canon DSLR, un smartphone Huawei, et une caméra stéréo ZED. Ce dataset comprend plus de 8 000 paires d'images et 82 paires de vidéos, en montrant une variété de scènes d'intérieur et d'extérieur collectées dans deux villes : Zurich en Suisse et Cheonan en Corée du Sud.

#Pourquoi PIV3CAMS est important ?

Plein de tâches en vision par ordinateur, comme améliorer la qualité des images, faire correspondre des images, ou créer de nouvelles vues à partir d'images existantes, peuvent tirer profit d'un accès à des données variées. En fournissant un dataset qui capture des images de différents modèles de caméras, on vise à soutenir de nouveaux développements des algorithmes de vision par ordinateur.

#Le processus de collecte de données

Pour créer ce dataset, on a bien planifié comment et où collecter les données. On a pris en compte plusieurs facteurs :

• Sélection de caméra : On voulait choisir une caméra de smartphone, un DSLR et une caméra 3D pour couvrir diverses applications. Le Huawei P20 représente le smartphone, le Canon 5D Mark IV pour le DSLR, et la caméra stéréo ZED pour l'imagerie 3D.

• Conception de rig : On a monté un setup stable pour tenir les trois caméras ensemble. Ce setup était conçu pour minimiser les secousses ou mouvements pendant la capture.

• Synchronisation : On a veillé à ce que toutes les caméras capturent les images en même temps pour créer des paires. C'était important pour l'analyse après.

• Calibration : On a calibré les caméras pour qu'elles puissent travailler ensemble efficacement, en utilisant un logiciel spécialisé.

• Lieu et timing : On a choisi différents lieux intéressants dans les deux villes, en s'assurant de capturer des données à différents moments de la journée pour inclure diverses conditions d'éclairage.

En abordant ces facteurs, on a pu rassembler des données de haute qualité qui seraient utiles pour diverses applications en vision par ordinateur.

#Aperçu du dataset

Le dataset PIV3CAMS inclut plein de types d'images et de vidéos :

• Images : Il y a 8 385 paires d'images, y compris des images RGB et RAW avec des Données de profondeur.
• Vidéos : Le dataset a aussi 82 paires de vidéos, enregistrées à 30 images par seconde. Les vidéos montrent des scènes dynamiques.

La taille totale du dataset dépasse les 900 Go, ce qui en fait une ressource riche pour les chercheurs.

#Analyse des données

On voulait s'assurer que notre dataset ait un bon mélange de différents types de scènes. Donc, on a regardé :

• Temps de collecte : Les images ont été prises tout au long de la journée, et les vidéos ont surtout été capturées pendant la lumière du jour. On a aussi essayé de collecter des données la nuit mais on a dû jeter beaucoup de scènes de nuit à cause de la mauvaise qualité.

• Distribution des couleurs : Les images varient en termes de couleur, représentant différents environnements et conditions météorologiques.

• Instances d'objets : En utilisant un outil de détection d'objets, on a analysé quels objets apparaissaient dans nos images pour comprendre la diversité des scènes capturées.

#Synthèse de nouvelles vues

Un des principaux objectifs de notre recherche est de synthétiser de nouvelles vues d'une scène. Ça veut dire créer des images montrant une scène sous différents angles en se basant sur des images existantes. Ces techniques sont utiles dans des domaines comme la réalité virtuelle et augmentée.

#L'importance des informations de profondeur

Les infos de profondeur sont cruciales dans la synthèse de vues, car elles aident à recréer les aspects 3D d'une scène à partir d'images 2D. Avoir des données de profondeur précises permet d'améliorer la qualité des images lors de la création de nouvelles vues.

#Notre approche

On a développé un modèle pour tester l'efficacité de l'utilisation des informations de profondeur dans la génération de nouvelles vues. On visait à reproduire les méthodes existantes tout en essayant plusieurs variations qui intègrent les données de profondeur différemment.

#Expérimentation et résultats

Pour valider notre approche, on a expérimenté avec des datasets synthétiques et du monde réel.

#Utilisation de données synthétiques

On a entraîné nos modèles avec un grand nombre d'images de voitures d'un dataset simulé. En ajustant le modèle et en comparant les résultats, on a constaté que l'utilisation d'informations de profondeur améliorait la qualité des images synthétisées.

#Utilisation de données du monde réel

Ensuite, on a testé nos modèles avec des images de scènes de conduite réelles. Les résultats ont montré que l'utilisation d'informations de profondeur aide à générer des vues cibles, bien qu'il y avait des défis avec des cartes de profondeur moins précises.

#Test sur PIV3CAMS

Après avoir réussi à entraîner notre modèle, on l'a appliqué à notre dataset PIV3CAMS. Bien que certaines des vues prédites aient montré des améliorations, on a remarqué des zones où les données de profondeur n'étaient pas assez denses, ce qui a conduit à des informations manquantes dans les vues générées.

#Défis et orientations futures

Les expériences ont révélé plusieurs défis :

• Performance de la branche pixel : L'exactitude de nos modèles dépend fortement de leur capacité à prédire les images cibles. Améliorer cet aspect pourrait donner de meilleurs résultats.

• Qualité des cartes de profondeur : Beaucoup de cartes de profondeur étaient rares, rendant difficile la création de vues complètes. Des travaux futurs devront aborder ce problème, peut-être en utilisant des techniques de remplissage ou de débruitage pour combler les lacunes.

#Conclusion

Avec ce travail, on a introduit le dataset PIV3CAMS, qui a le potentiel d'avancer diverses applications de vision par ordinateur. Notre étude souligne l'importance d'utiliser des informations de profondeur pour générer de nouvelles vues et le besoin de datasets de haute qualité pour l'apprentissage automatique. Les recherches futures pourraient explorer des annotations plus étendues et des scènes supplémentaires pour améliorer la portée et l'applicabilité du dataset.

#Résumé

En résumé, le dataset PIV3CAMS est une ressource précieuse pour la vision par ordinateur qui ouvre de nouvelles voies pour la recherche et les applications. En fournissant des données récoltées à partir de différents types de caméras dans divers environnements, on vise à soutenir le développement d'algorithmes et de techniques efficaces dans ce domaine en pleine croissance.