Optimiser l'annotation vidéo pour la détection d'objets

Dans cet article, on va parler d'une méthode efficace pour ajouter des étiquettes aux vidéos, en se concentrant sur l'identification rapide d'objets spécifiques avec des boîtes de délimitation. Ce processus est important pour entraîner des modèles capables de reconnaître des objets nouveaux.

#Le Flux de Travail pour Entraîner des Détecteurs d'Objets

Pour entraîner un détecteur pour un nouvel objet, on suit un workflow simple :

1. Enregistrer une Vidéo : Capturer une vidéo de l'objet cible sous différents angles.
2. Annoter les Images de la Vidéo : Marquer les images pour indiquer où se trouve l'objet cible.
3. Ajuster le Modèle : En utilisant les annotations, on ajuste le modèle de détection pour améliorer sa précision.

Parmi ces étapes, annoter les images prend le plus de temps et d'efforts. Enregistrer une vidéo est facile avec un smartphone, et ajuster un modèle sur de nouvelles données est une tâche courante en apprentissage automatique. Uniformiser les formats de données peut aussi faire gagner du temps.

#Rendre l'Annotation Rapide et Facile

L'objectif principal est de simplifier le processus d'annotation pour la vidéo enregistrée. On conçoit une interface utilisateur (UI) et un workflow qui aident les opérateurs à annoter rapidement.

Notre outil d'annotation soutient les annotateurs humains en utilisant un modèle pré-entraîné pour identifier des objets et propager automatiquement les étiquettes à travers les images. On évalue l'outil en mesurant combien de boîtes de délimitation de haute qualité peuvent être créées en une seconde de temps d'annotation humaine.

#Aperçu de l'Outil d'Annotation

L'UI se compose de trois parties principales :

1. Zone d'Affichage : Affiche une seule image de la vidéo avec toutes les annotations et prédictions.
2. Timeline : Montre la position de l'image actuelle et marque les images qui ont été annotées.
3. Sparklines : Fournissent un guide visuel rapide sur les changements à travers les images, aidant les opérateurs à repérer quand l'identité ou la position de l'objet peut être perdue.

#Exemple de l'Interface Utilisateur

L'UI d'annotation aide les utilisateurs à voir à la fois l'image et les endroits qu'ils doivent annoter. Chaque image peut avoir un point annoté ou aucun, et ces points sont affichés dans une couleur différente pour les distinguer facilement des prédictions.

Par exemple, les utilisateurs peuvent voir qu'un point marqué sur l'objet peut ne pas correspondre à ce que la boîte de délimitation indique. Ce retour visuel est crucial pour faire des annotations précises.

#Navigation dans la Timeline

La timeline permet aux utilisateurs de naviguer à travers la vidéo et de voir où ils ont ajouté des annotations. Cliquer sur la timeline amène instantanément l'utilisateur à cette image spécifique.

#Fonction de Suivi Automatique

La fonction de suivi automatique prolonge une étiquette des images peu annotées à chaque image de la vidéo. Cette capacité élimine le besoin d'annoter chaque image et fait gagner beaucoup de temps.

#Fonction Smartjump

Smartjump aide les utilisateurs à sauter automatiquement aux images où il y a des changements significatifs dans le suivi. Un saut notable suggère souvent une perte de suivi, ce qui en fait une image idéale à annoter.

#Méthode de Clic Extrême

Le clic extrême est une méthode où les utilisateurs cliquent quatre fois sur l'écran pour créer une boîte de délimitation autour de l'objet cible. Cette méthode collecte des annotations précises, qui servent de point de comparaison pour évaluer notre nouvel outil d'annotation.

#Objets Cibles pour les Expériences

On sélectionne trois objets uniques pour tester notre outil d'annotation :

1. Thermomètre Infrarouge : Un objet commun qui n'est pas inclus dans beaucoup de jeux de données existants.
2. Pince : Un outil avec une forme complexe, ce qui le rend difficile à étiqueter.
3. Réveil : Un objet de tous les jours qui est facilement accessible.

Pour chaque objet, on crée deux vidéos de 30 secondes, montrées à un rythme de 10 images par seconde, ce qui donne 300 images pour chaque vidéo.

#Différents Styles d'Annotation

On utilise divers styles d'annotation pour voir lequel est le plus efficace. Voici comment on distingue entre une étiquette et une annotation :

• Étiquette : Un point et une boîte de délimitation connectés à une image.
• Annotation : Une étiquette créée par un humain.

Selon le style, le nombre d'annotations collectées peut varier.

#Temps Passé sur l'Annotation

Chaque méthode d'annotation a des temps différents pour enregistrer les annotations. On peut comparer l'efficacité de notre outil par rapport à la méthode de clic extrême. Une annotation plus rapide conduit à une plus grande efficacité, permettant aux utilisateurs de passer moins de temps à étiqueter.

Nos résultats montrent que les utilisateurs peuvent accélérer le processus d'annotation de manière significative par rapport au clic extrême, complétant une tâche qui prend normalement 30 à 40 minutes en moins de 10 minutes.

#Qualité des Annotations

En plus de mesurer la vitesse, on vérifie aussi la qualité des étiquettes produites par notre outil. Pour cela, on compare nos annotations aux étiquettes fiables produites par le clic extrême.

On examine l'exactitude des annotations en utilisant une mesure appelée Intersection over Union (IoU), une méthode courante pour évaluer à quel point les boîtes se chevauchent avec la vérité de terrain. Un IoU plus élevé signifie une meilleure précision.

#Résultats de l'Évaluation d'Annotation

Les résultats de notre évaluation montrent que notre méthode d'annotation produit un bon nombre de boîtes de délimitation de haute qualité par seconde, améliorant considérablement la technique de clic extrême.

#Défis avec la Latence de l'UI

Un défi majeur dans l'utilisation efficace de notre outil est le temps qu'il faut à l'interface pour répondre aux actions des utilisateurs. Quand il y a un retard notable entre la sélection et le résultat, ça peut frustrer les utilisateurs et limiter le nombre d'ajustements qu'ils peuvent essayer.

#Améliorations Futures

Pour améliorer encore l'outil, on propose plusieurs fonctionnalités :

• Retour Amélioré : Ajouter un curseur ou un réticule plus grand peut aider les utilisateurs à mieux juger des emplacements des points, surtout dans des cas détaillés.
• Fonction d'Exclusion d'Images : Les utilisateurs pourraient bénéficier de l'exclusion d'images qui n'ont pas besoin d'être étiquetées, rendant le processus plus efficace.
• Correspondance des Prédictions : Une autre amélioration potentielle serait d'avoir le système qui suggère des points plus proches des annotations souhaitées plutôt que de demander aux utilisateurs de les sélectionner manuellement.

#Conclusion

En utilisant notre outil d'annotation, les utilisateurs peuvent annoter rapidement et précisément des vidéos avec des boîtes de délimitation, facilitant l'entraînement de modèles de détection pour des objets nouveaux. Bien qu'il y ait encore des domaines à améliorer, les avancées que nous avons réalisées montrent le potentiel d'une annotation vidéo plus rapide et plus efficace. Ce travail bénéficie non seulement aux chercheurs mais aussi à tous ceux qui ont besoin d'entraîner des modèles sur de nouvelles catégories d'objets.