Améliorer la récolte des tomates avec des robots intelligents

Les tomates sont un légume super populaire partout dans le monde. Avec la croissance de la population, la demande pour les tomates augmente aussi. Mais voilà, les méthodes actuelles de culture de tomates ne suivent pas la cadence. En plus, y a un manque de travailleurs dans les champs, car beaucoup de jeunes ne sont pas intéressés par les durs efforts que demande l'agriculture. Pour régler ces problèmes, on pousse fort pour utiliser des robots pour des tâches comme ramasser les tomates mûres et tailler les feuilles.

Pour que les robots puissent récolter les tomates efficacement, ils doivent repérer avec précision des parties spécifiques des plantes, comme les tomates elles-mêmes, les pétioles (la partie qui relie les tomates à la tige principale) et les pétioles (la partie qui relie les feuilles à la tige). Mais c’est pas simple, car les plants de tomates sont souvent entassés, rendant la vue un peu floue.

Une solution pour aider les robots à mieux voir, c'est ce qu'on appelle la "Vision Active". Ça veut dire que le robot peut bouger sa caméra au lieu de rester figé. En planifiant différents angles de caméra, les robots peuvent avoir des vues plus claires et recueillir plus d'infos. Malheureusement, la plupart des systèmes actuels ne savent pas quelles parties de la plante sont importantes et finissent par perdre du temps à regarder des zones moins pertinentes.

#Le Défi

Quand il s'agit de trouver des parties spécifiques d'une plante de tomate, les robots rencontrent un souci : beaucoup de ces parties peuvent bloquer la vue les unes des autres. Par exemple, un tas de feuilles peut cacher les tomates derrière. Donc, pour trouver et identifier avec succès les tomates, pétioles et pétioles, le robot doit avoir une stratégie intelligente pour bien déplacer sa caméra.

Les méthodes traditionnelles utilisent souvent des mouvements simples et préétablis pour le déplacement de la caméra, comme des mouvements en zig-zag. Même si c'est courant, ça peut être inefficace. Ça peut prendre trop de temps pour tout trouver ou rater certaines parties, ce qui n'est pas idéal pour cette tâche précise.

Une meilleure idée serait d'utiliser la vision active pour choisir les angles de caméra en fonction de ce que le robot sait déjà. En sélectionnant des points de vue susceptibles de révéler de nouvelles infos, les robots peuvent être plus rapides et efficaces dans leurs recherches. Pour que le robot prenne de bonnes décisions, c'est utile de lui fournir des infos sur les parties pertinentes de la plante. C'est là que le concept de "sémantique" entre en jeu, ce qui signifie comprendre quelles sont les différentes parties de la plante.

#Sémantique dans la Vision Active

Pour améliorer les performances du robot, on a développé une méthode qui lui permet de se concentrer sur les parties importantes de la plante grâce à des Informations sémantiques. Ça veut dire que quand le robot regarde une plante, il peut identifier quelles parties sont des tomates, pétioles ou pétioles, et donner la priorité à celles-ci pendant sa recherche.

On a testé notre méthode de deux façons : avec des simulations utilisant des modèles 3D de plants de tomates et des expériences concrètes dans des serres. Dans les simulations, on a créé des plants de tomates virtuels de différentes formes et tailles. Notre méthode a pu trouver et identifier les parties de la plante plus rapidement que les approches traditionnelles, détectant un plus grand nombre de parties cibles avec moins d'angles de caméra.

Dans les tests réels, notre méthode a été tout aussi efficace. Même dans des conditions difficiles comme un éclairage variable, du bruit ou lorsque les plantes étaient proches et cachées, le robot a quand même réussi à localiser les parties pertinentes de la plante.

#Les Étapes Impliquées

#1. Détection des Parties de la Plante

Pour commencer, on avait besoin d'un moyen d'identifier les parties pertinentes de la plante. On a utilisé un programme informatique entraîné appelé Mask R-CNN qui peut détecter différents objets dans les images. Dans notre cas, il était programmé pour reconnaître des tomates, des pétioles et des pétioles.

Au début, le programme a été entraîné sur des images prises dans un environnement contrôlé. Pour les tests réels, on a rassemblé des images d'une vraie serre de tomates à différents moments pour créer un ensemble de données diversifié. Avec ces images, le programme a pu segmenter efficacement les parties pertinentes de la plante du fond.

#2. Construction d'un Modèle 3D

Après avoir détecté les parties pertinentes, on a combiné les images avec des données de profondeur pour créer une vue en trois dimensions des plantes. Ce modèle 3D était important car il nous a permis de voir où les parties pertinentes de la plante se trouvaient dans l'espace, pas juste sur une image plate.

#3. Mise à Jour des Informations

Au fur et à mesure que le robot se déplaçait et rassemblait plus de vues, on mettait à jour les informations sur les parties de la plante en temps réel. Ce processus continu a permis au robot d'améliorer sa compréhension des emplacements des parties pertinentes en recueillant plus de données sous différents angles.

#4. Mécanisme d'Attention

On a mis en place un mécanisme d'attention pour se concentrer sur les régions d'intérêt où les parties pertinentes de la plante étaient détectées. Ça voulait dire qu'au lieu d'explorer des zones aléatoires, le robot se concentrait sur des endroits où il avait de bonnes chances de trouver des tomates ou d'autres parties pertinentes pour la tâche.

#5. Sélection Efficace des Points de Vue

Pour choisir le meilleur prochain angle de caméra, on a développé un plan qui considère à la fois l'utilité des informations à obtenir et la distance que le robot devrait parcourir pour déplacer la caméra. En calculant cela, le robot peut sélectionner le point de vue offrant le plus grand potentiel pour trouver les parties pertinentes tout en minimisant les mouvements nécessaires.

#Test de la Méthode

Dans nos tests de simulation, le robot a pu rapidement passer par différents points de vue et rassembler des infos, ce qui a entraîné des taux de détection élevés des parties cibles de la plante. L'efficacité de notre méthode de vision active tenant compte des sémantiques a montré des avantages significatifs par rapport aux approches conventionnelles.

Quand on a appliqué cette méthode dans des conditions réelles, on a constaté qu'elle fonctionnait presque aussi bien que dans la simulation. Le robot a réussi à détecter des parties pertinentes de la plante dans des environnements complexes où des défis comme l'occlusion et un éclairage variable étaient présents.

Les résultats ont démontré qu'utiliser la vision active pour prendre en compte la sémantique lors de la planification des points de vue a considérablement amélioré la capacité du robot à trouver et comprendre son environnement.

#Conclusion

Notre recherche met en lumière l'importance d'utiliser des informations sémantiques pour améliorer l'efficacité des systèmes robotiques en agriculture. On a montré que les robots, lorsqu'ils sont équipés de stratégies de vision active qui prennent en compte les parties pertinentes des plantes, peuvent fonctionner plus efficacement dans les serres. Cette méthode peut conduire à des processus de récolte et de défoliation plus rapides et plus précis.

Avec l'automatisation en agriculture qui devient de plus en plus nécessaire pour répondre à la demande d'une population en croissance, des méthodes comme celle qu'on a développée joueront un rôle crucial dans l'amélioration de la productivité et de l'efficacité de la production de cultures.

En se concentrant sur les parties pertinentes de la plante et en utilisant une planification intelligente des points de vue, on croit que les robots ont le potentiel de révolutionner la manière dont les tâches sont effectuées dans les serres et dans de nombreux autres environnements agricoles.