Simple Science

La science de pointe expliquée simplement

# Informatique# Vision par ordinateur et reconnaissance des formes

StreetSurfaceVis : Un nouveau regard sur la qualité des routes

Nouveau dataset donne des infos sur les types de surfaces routières et leur état.

― 7 min lire


Nouveau jeu de donnéesNouveau jeu de donnéespour les surfaces deroutecompréhension des conditions de route.StreetSurfaceVis améliore la
Table des matières

StreetSurfaceVis est une nouvelle collection d'Images montrant différents types de surfaces de route. Elle contient plus de 9 000 photos prises par des gens du coin via une plateforme de crowdsourcing. Ces images sont étiquetées avec des infos sur le type de surface et sa qualité, ce qui aide à évaluer comment les routes sont entretenues.

Importance de la Qualité des Surfaces de Route

La qualité des surfaces de route est super importante pour la sécurité et le confort de tous sur la route. Des routes en mauvais état peuvent mener à des accidents, surtout pour les plus vulnérables, comme les cyclistes, les utilisateurs de fauteuils roulants et ceux qui utilisent d'autres aides à la mobilité. Des surfaces pourries peuvent rendre la conduite inconfortable et même dangereuse.

Ensembles de Données Précédents et Leurs Limites

Beaucoup d'ensembles de données existants pour analyser les conditions des routes ont souvent des limites sérieuses. Ils peuvent ne pas couvrir une grande zone ou ignorer tous les types de routes, comme les pistes cyclables ou les chemins piétonniers. À cause de ça, ces ensembles de données ne donnent pas toujours une vue complète des conditions des routes. StreetSurfaceVis vise à combler ces lacunes en fournissant un ensemble d'images plus diversifié.

Résoudre le Déséquilibre de Classe dans les Types de Surfaces

Un des défis avec le dataset StreetSurfaceVis, c'est qu'il y a beaucoup plus d'images de types de route courants, comme l'asphalte, par rapport à des surfaces moins communes, comme les pavés. Cette répartition inégale peut rendre difficile l'entraînement de modèles capables d'identifier tous les types de surfaces. Pour régler ce problème, les chercheurs ont développé des moyens de rassembler plus d'images des classes moins communes sans trop de travail manuel.

Stratégies pour Améliorer la Collecte d'Images

L'équipe de recherche a exploré quelques méthodes pour améliorer l'étiquetage de ce dataset :

  1. Utilisation des Tags OpenStreetMap : Ils ont enrichi le dataset en intégrant des infos d'OpenStreetMap, une base de données de cartes gratuite. Ça leur a permis de savoir quels types de surfaces étaient susceptibles d'être trouvés dans certaines zones.

  2. Entraînement de Modèles pour la Prédiction : Ils ont formé des modèles pour classer les types de surfaces. Une fois que le modèle devient meilleur pour identifier les types, ils peuvent utiliser ses prédictions pour étiqueter plus d'images automatiquement.

  3. Utilisation d’Outils d’IA Modernes : Ils ont appliqué des outils de pointe pour prédire les types et qualités de surfaces. Par exemple, ils ont expérimenté des modèles qui génèrent du texte à partir d'images pour aider à étiqueter les photos.

Processus de Construction du Dataset

Les images pour le dataset StreetSurfaceVis ont été prises sur une plateforme appelée Mapillary. Cette plateforme permet aux gens de capturer et de télécharger des images pendant leurs trajets. Le dataset se concentre sur des images d'Allemagne et essaie de couvrir différentes régions pour garantir la diversité des types de surfaces capturées.

Sélection d'Images pour la Diversité

Pour créer un ensemble d'images diversifié, les chercheurs ont limité le nombre d'images pouvant venir du même endroit ou du même trajet. Ce choix aide à s'assurer que le dataset a différentes perspectives, conditions d'éclairage et situations météorologiques, le rendant plus riche et plus utile pour entraîner des modèles.

Étiquetage des Images

Pour le processus d'étiquetage, les chercheurs ont suivi un guide détaillé décrivant comment catégoriser les types de surfaces et les niveaux de qualité. Ils ont utilisé des termes spécifiques pour décrire la surface (comme l'asphalte ou les pavés) et combien la surface est utilisable (comme "bon" pour les vélos de course ou "mauvais" pour les voitures normales).

Des sessions de formation ont aidé des experts humains à étiqueter les images de manière cohérente, et ils ont utilisé un outil spécial appelé Labelstudio pour faciliter le processus.

Évaluation de la Qualité du Dataset

Les chercheurs ont évalué comment l'étiquetage a été fait en comparant les Étiquettes attribuées par les experts humains avec celles générées par les modèles. Ils ont constaté que l'accord était élevé pour les types de surfaces mais un peu plus faible pour les niveaux de qualité, ce qui indique que l'étiquetage de la qualité des routes peut être plus subjectif.

Défis de l'Étiquetage Manuel

Étiqueter les images à la main peut prendre beaucoup de temps, surtout quand le dataset a plein d'images et que certaines classes sont sous-représentées. Pour éviter cette inefficacité, ils ont essayé différentes stratégies de pré-sélection qui leur permettraient de se concentrer sur les images à étiqueter sans devoir passer en revue des milliers de photos.

Stratégies Détaillées pour un Étiquetage Efficace

Les chercheurs ont exploré plusieurs stratégies pour améliorer le processus d'étiquetage :

  1. Enrichissement avec des Tags OSM : En intégrant des données d'OpenStreetMap, les chercheurs ont pu lier les images avec des caractéristiques de route connues de manière plus efficace.

  2. Prédiction de Modèle Itératif : Ils ont entraîné des modèles pour classer les types de surfaces et utilisé ces prédictions pour décider quelles images devraient être étiquetées ensuite. Ce processus permet au modèle de s'améliorer avec le temps.

  3. Utilisation de l'IA pour les Classes Sous-Représentées : Ils ont testé des modèles d'IA, y compris des modèles GPT, pour étiqueter les images plus efficacement. En utilisant un petit nombre d'exemples, ils pouvaient générer des étiquettes pour d'autres images.

Résultats des Différentes Stratégies

En combinant ces approches, les chercheurs ont réussi à améliorer la rapidité et la précision du processus d'étiquetage.

L'utilisation des tags OpenStreetMap a permis d'obtenir des étiquettes plus précises en général, mais il y avait encore des défis, surtout avec les types de surfaces moins courants où les erreurs étaient plus fréquentes. L'équipe a aussi découvert que l'utilisation de modèles d'IA pouvait aider à étiqueter de nombreuses images à la fois, ce qui a réduit énormément le travail manuel nécessaire.

Directions Futures

Les chercheurs espèrent que StreetSurfaceVis servira de ressource précieuse pour d'autres chercheurs, les aidant à créer des collections similaires pour d'autres régions. Ils pensent aussi qu'avec l'amélioration de la technologie IA, cela les aidera, eux et d'autres dans le domaine, à étiqueter les images plus efficacement à l'avenir.

En avançant, ils prévoient d'élargir leur dataset pour inclure plus de types d'infos, comme les images de mauvaise qualité ou non pertinentes. Ces changements aideront à améliorer les outils et les modèles utilisés pour les évaluations des surfaces de route.

Conclusion

StreetSurfaceVis est un pas important vers la création d'un dataset complet pour évaluer les types de surfaces de route et leur état. Les différentes stratégies employées par l'équipe de recherche montrent non seulement comment construire un dataset plus inclusif mais aussi comment la technologie peut aider dans ces efforts. L'espoir est que ce travail mènera à des conditions de route plus sûres et mieux informées pour tout le monde utilisant la route.

Source originale

Titre: StreetSurfaceVis: a dataset of crowdsourced street-level imagery annotated by road surface type and quality

Résumé: Road unevenness significantly impacts the safety and comfort of traffic participants, especially vulnerable groups such as cyclists and wheelchair users. To train models for comprehensive road surface assessments, we introduce StreetSurfaceVis, a novel dataset comprising 9,122 street-level images mostly from Germany collected from a crowdsourcing platform and manually annotated by road surface type and quality. By crafting a heterogeneous dataset, we aim to enable robust models that maintain high accuracy across diverse image sources. As the frequency distribution of road surface types and qualities is highly imbalanced, we propose a sampling strategy incorporating various external label prediction resources to ensure sufficient images per class while reducing manual annotation. More precisely, we estimate the impact of (1) enriching the image data with OpenStreetMap tags, (2) iterative training and application of a custom surface type classification model, (3) amplifying underrepresented classes through prompt-based classification with GPT-4o and (4) similarity search using image embeddings. Combining these strategies effectively reduces manual annotation workload while ensuring sufficient class representation.

Auteurs: Alexandra Kapp, Edith Hoffmann, Esther Weigmann, Helena Mihaljević

Dernière mise à jour: 2024-09-25 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2407.21454

Source PDF: https://arxiv.org/pdf/2407.21454

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires