Faire avancer la collaboration humain-robot dans la fabrication

Dans le monde manufacturier d'aujourd'hui, la technologie change notre façon de travailler. Avec l'essor des machines intelligentes, le rôle des humains évolue aussi. Les humains sont maintenant vus comme des partenaires travaillant aux côtés de ces machines, surtout pour des tâches qui nécessitent précision et sécurité. Un domaine où cette collaboration est cruciale, c'est dans l'assemblage de produits dans des environnements contrôlés appelés gloveboxes. Ce sont des espaces scellés conçus pour protéger les travailleurs des matériaux dangereux. Cependant, travailler dans ces environnements pose ses propres défis.

Cet article parle de la création d'un nouveau dataset visant à améliorer la reconnaissance des mains humaines dans les gloveboxes. Ce dataset est important pour développer des moyens sûrs et efficaces pour que les humains et les robots travaillent ensemble.

#L'Importance de la Collaboration Humain-Robot

Alors que les industries s'orientent vers une fabrication plus intelligente, le besoin de meilleure coopération entre les gens et les machines est clair. Dans de nombreuses situations, les humains apportent des compétences et de la flexibilité que les machines n'ont pas. Donc, construire des systèmes où les robots peuvent reconnaître et comprendre les mouvements humains est essentiel. Un aspect majeur, c'est de savoir où se trouvent les mains humaines pendant le travail. Si les robots peuvent identifier la position des mains d'un travailleur, cela peut aider à prévenir les accidents et à garantir l'efficacité des tâches.

Bien qu'il existe de nombreux datasets pour la reconnaissance des mains, la plupart se concentrent sur des environnements quotidiens comme les maisons et les bureaux. Ces datasets ne tiennent souvent pas compte des environnements industriels, surtout ceux impliquant des matériaux dangereux. Cette limitation est importante car les datasets existants ne préparent pas les systèmes d'apprentissage automatique aux complexités des tâches de fabrication du monde réel.

#Reconnaître les Lacunes

Un défi dans le développement de systèmes de collaboration humain-robot sûrs est que de nombreux datasets sont basés sur des données synthétiques ou générées par ordinateur. Cela signifie qu'ils ne représentent pas avec précision les situations réelles. De plus, les Systèmes de sécurité doivent tenir compte des incertitudes, comme les variations d'éclairage et les teintes de peau des différents opérateurs. La plupart des datasets existants manquent de ces éléments critiques, les rendant moins utiles pour des applications concrètes.

Pour répondre à ces lacunes, nous avons créé un nouveau dataset appelé Hand and Glove Segmentation Dataset (HAGS). Ce dataset inclut de vraies images capturées dans des gloveboxes et permet aux chercheurs de développer des algorithmes reconnaissant les mains et les gants dans des conditions difficiles.

#Collecte de Données

Notre dataset se compose de vidéos enregistrées dans une glovebox typique, montrant des participants humains effectuant des Tâches d'assemblage avec un Bras Robotique. Les vidéos ont été capturées sous deux angles : une vue de dessus et une vue de côté, en utilisant des caméras haute définition. Au total, nous avons collecté 191 vidéos, pour environ 9 heures de séquences.

Chaque participant a réalisé chaque tâche en portant des gants ou parfois sans gants, ce qui a permis de collecter une variété de scénarios. En tout, nous avons annoté plus de 1 700 images pour l'entraînement et le test des modèles d'apprentissage automatique.

#Les Tâches d'Assemblage

Nous avons conçu deux tâches d'assemblage différentes pour collecter des données efficacement.

#Tâche Jenga

Dans cette tâche, les participants ont construit une tour Jenga avec des blocs ressemblant à des doigts humains. Cette configuration a été choisie car elle pose des défis pour les modèles de segmentation des mains. Les participants ont joué les rôles d'opérateurs de robot ou de placeurs de blocs. Le robot donnait des blocs Jenga au participant, qui les empilait ensuite.

#Tâche Boîte à Outils

Pour cette tâche, les participants ont eu une boîte à outils fermée à ouvrir avec différents outils. Le bras robotique prenait les outils et les donnait au participant, qui les utilisait pour dévisser la boîte à outils. Cette tâche était plus complexe car elle impliquait plusieurs actions et outils, fournissant des données précieuses pour reconnaître les mouvements des mains dans divers contextes.

#Défis Rencontrés dans les Environnements de Glovebox

Travailler dans des gloveboxes présente des défis uniques. Les surfaces métalliques peuvent créer des reflets et des éblouissements qui troublent les systèmes de vision des machines. De plus, les opérateurs peuvent souffrir de blessures ergonomiques ou d'exposition si les gants se déchirent. En incluant à la fois des scénarios avec et sans gants dans notre dataset, nous avons cherché à préparer les systèmes d'apprentissage automatique à des événements rares mais possibles.

De plus, nous avons incorporé un fond vert dans la moitié des vidéos enregistrées. Cela nous a permis de tester à quel point les modèles pouvaient gérer des arrière-plans distrayants, car nous avons introduit des images synthétiques lors de l’analyse.

#Préparation et Annotation des Données

Les vidéos collectées ont été soigneusement préparées pour l'analyse. Nous avons extrait des images des vidéos, en veillant à avoir un dataset équilibré représentant différents scénarios, y compris divers angles et tâches. Notre dataset final se compose d'images en distribution, reflétant des opérations courantes en glovebox, et d'images hors distribution, incluant des conditions plus difficiles.

Chaque image a été étiquetée pour identifier la main gauche, la main droite et l'arrière-plan. Deux annotateurs ont travaillé sur l'étiquetage pour garantir l'exactitude, ce qui a conduit à un haut niveau d'accord dans leurs évaluations. Cette annotation rigoureuse est essentielle car elle impacte directement la fiabilité des modèles d'apprentissage automatique.

#Expérimentation

Pour évaluer notre dataset, nous avons mené deux expériences principales.

#Expérience A : Apprentissage par Transfert

Dans cette expérience, nous avons testé comment les modèles existants, formés sur d'autres datasets, pouvaient performer après avoir été ajustés avec nos données HAGS. L'objectif était de voir si les modèles pouvaient maintenir de bonnes performances dans nos scénarios difficiles de glovebox après avoir été formés sur d'autres tâches. Nous avons constaté que la performance ne se transmettait pas bien, mettant en lumière le besoin de datasets plus ciblés pour des applications spécifiques à l'industrie.

#Expérience B : Quantification de l'Incertitude

Cette expérience s'est concentrée sur les applications en temps réel et a évalué à quel point les modèles d'apprentissage automatique pouvaient gérer les différents types de données de notre dataset. Nous avons utilisé des métriques comme l'Intersection over Union (IoU) pour évaluer la précision des modèles dans la reconnaissance des mains sous diverses conditions. Cette expérience visait à s'assurer que les modèles pouvaient fonctionner efficacement même dans des situations inattendues.

#Entraînement des Modèles

Pour nos expériences, nous avons utilisé diverses architectures d'apprentissage automatique, y compris des réseaux de neurones convolutionnels, qui sont populaires pour les tâches de segmentation d'images. Nous avons divisé le dataset en ensembles d'entraînement et de test pour évaluer avec précision les performances des modèles. Nos résultats ont montré que, bien que certains modèles aient obtenu des résultats décents sur des tâches familières, ils ont eu du mal avec les complexités des opérations du monde réel.

#Discussion et Résultats

La création du dataset HAGS est une étape vers l'amélioration de la technologie de collaboration humain-robot dans des environnements de fabrication, notamment dans les gloveboxes. Nos expériences ont révélé des résultats significatifs :

1. Les datasets existants ne suffisent pas aux complexités des applications industrielles.
2. Des données d'entraînement diversifiées comprenant différentes conditions des mains sont essentielles pour développer des modèles fiables.
3. Les scénarios du monde réel introduisent des imprévus que les modèles actuels gèrent souvent mal.

Ces informations soulignent la nécessité de recherche continue et de datasets supplémentaires axés sur les interactions humain-robot dans des environnements spécialisés.

#Directions Futures

Bien que notre travail ait posé une base solide, il y a de nombreuses opportunités de croissance. Les recherches futures devraient continuer à se concentrer sur l'élargissement du dataset pour inclure plus de participants avec divers arrière-plans. Augmenter le nombre de vidéos et de conditions représentées aidera les modèles d'apprentissage automatique à devenir plus robustes et efficaces.

De plus, intégrer des variables supplémentaires, comme différentes conditions d'éclairage ou l'utilisation de gants variés, peut offrir un environnement d'entraînement plus complet. Avec le temps, nous espérons que ce dataset servira de ressource essentielle pour les chercheurs cherchant à améliorer la sécurité et l'efficacité des systèmes collaboratifs dans les environnements industriels.

#Conclusion

Le dataset HAGS représente une étape essentielle vers l'avancement de la technologie pour une collaboration humain-robot sûre, en particulier dans des environnements de glovebox difficiles. En reconnaissant les limites des datasets existants et en les abordant à travers des données réelles, nous visons à ouvrir la voie à de meilleurs systèmes d'apprentissage automatique capables de mieux comprendre les actions humaines. Alors que le paysage de la fabrication continue d'évoluer, notre recherche espère jouer un rôle clé pour garantir que les systèmes puissent s'adapter et fonctionner en toute sécurité aux côtés des travailleurs humains.

Grâce à nos efforts continus, nous aspirons à favoriser une coopération intelligente, sûre et efficace entre les gens et les machines, au bénéfice de l'industrie dans son ensemble.