Identifier les espèces de serpents par leurs images

Ce document parle d'un projet qui vise à identifier les espèces de serpents à partir d'images pour un concours appelé SnakeCLEF 2024. Le projet utilise une méthode appelée Apprentissage par transfert, qui aide à utiliser les connaissances acquises d'une tâche pour améliorer l'apprentissage dans une autre, dans ce cas, reconnaître différents types de serpents à partir de photos.

#Le défi de l'identification des serpents

Identifier les espèces de serpents à partir d'images, c'est pas super simple. Les serpents peuvent se ressembler énormément, et il y a plein de types différents répartis sur divers territoires. Au total, le jeu de données utilisé pour ce projet comprend plus de 182 000 images représentant 1 784 espèces de serpents différentes provenant de 214 pays. Beaucoup de ces espèces sont venimeuses, ce qui rend important de bien les identifier.

Notre jeu de données n'est pas équilibré ; 19,5 % des espèces sont venimeuses. Ce déséquilibre crée des défis supplémentaires parce que certaines espèces peuvent apparaître plus souvent dans le jeu de données que d'autres. De plus, les serpents peuvent souvent se ressembler à cause de la mimicry, où une espèce inoffensive ressemble à une venimeuse, rendant l'identification encore plus compliquée.

#L'approche

Pour surmonter ces défis, on a utilisé un modèle spécifique développé par Meta appelé DINOv2, qui est un type de transformateur de vision. Ce modèle nous aide à extraire des caractéristiques importantes des images qui peuvent aider à identifier différentes espèces de serpents. Le processus consiste à analyser les caractéristiques que l’on extrait des images et à les utiliser pour classer les serpents.

#Comprendre les transformateurs de vision

Les transformateurs de vision sont un type d'intelligence artificielle qui traite les images de manière unique. Ils décomposent les images en morceaux plus petits, un peu comme on comprend des phrases dans un texte en regardant des mots individuels. Le modèle apprend à reconnaître des motifs dans ces morceaux de données, ce qui l'aide à mieux comprendre ce qu'il voit dans une image.

On utilise DINOv2 parce qu'il a montré de bonnes performances avec des images non vues. C'est crucial puisque beaucoup des photos de serpents qu'on utilise dans notre projet viennent de diverses sources et n'ont peut-être pas été présentées dans d'autres jeux de données.

#Analyse des données

Avant d'entraîner notre modèle, on a fait une analyse des données. On a regardé les motifs dans les caractéristiques extraites des images pour voir à quel point elles pouvaient nous aider à différencier les espèces.

On a réduit la complexité des données en utilisant ce qu'on appelle la réduction dimensionnelle, qui nous aide à visualiser l'information de manière plus simple. En examinant comment les caractéristiques se regroupent, on peut avoir une idée des serpents qui se ressemblent à partir de leurs images. En général, on a constaté que beaucoup de serpents à l'apparence similaire tendent à se regrouper dans notre analyse.

#Prétraitement des données

Avant d'utiliser le modèle DINOv2, on a dû prétraiter les images. Ça implique de convertir les images dans un format que le modèle peut comprendre. On a stocké les images traitées dans un système de stockage cloud pour qu'elles soient facilement accessibles.

On a utilisé un pipeline pour simplifier ce processus, en l'organisant en différentes étapes : téléchargement des images, conversion au bon format et préparation pour que le modèle les analyse.

Après que les images aient été préparées, on les a introduites dans le modèle, qui a généré des embeddings. Ces embeddings sont essentiellement des représentations numériques des images qui mettent en avant leurs caractéristiques clés.

#Entraînement du modèle

Une fois qu'on avait les embeddings, on a entraîné un classificateur, qui est une partie du modèle qui apprend à distinguer les différents types de serpents. Le classificateur a été construit en utilisant des couches linéaires qui cartographient les embeddings à différentes espèces de serpents.

Le processus d'entraînement a impliqué d'ajuster le modèle en fonction de sa capacité à faire des prédictions lors des tests. On a surveillé la performance du modèle pour s'assurer qu'il apprenait efficacement.

Durant cette phase d'entraînement, on a divisé nos données en deux parties : une partie pour l'entraînement du modèle et une autre pour valider sa performance. Comme ça, on pouvait vérifier à quel point le modèle apprenait et l'ajuster si nécessaire.

#Résultats et défis

Après avoir entraîné notre modèle, on a obtenu un score de 39,69 au concours, ce qui est relativement bas comparé à d'autres participants. Le score le plus élevé était de 85,6 et on a réalisé que nos résultats pouvaient avoir été affectés par des problèmes dans notre processus de labellisation, ce qui pourrait avoir entraîné des classifications erronées.

Dans notre évaluation, on a remarqué que beaucoup de nos prédictions étaient inexactes, surtout en ce qui concerne la classification des serpents venimeux. Cela suggère que notre modèle a besoin d'améliorations avant de pouvoir distinguer correctement les espèces inoffensives des venimeuses.

#Directions futures

Pour améliorer notre modèle, on prévoit d'explorer différentes stratégies. Un domaine sur lequel on veut se concentrer est de trouver de meilleures façons de gérer les déséquilibres de classes dans le jeu de données. Ça pourrait impliquer d'utiliser différentes fonctions de perte qui aident le modèle à apprendre plus efficacement à partir des données qu'on a.

De plus, on pense que l'utilisation de techniques de Segmentation d'images pourrait grandement améliorer la capacité de notre modèle à trouver et se concentrer sur les serpents dans les images. Cela signifie apprendre au modèle à reconnaître les parties spécifiques des images où les serpents apparaissent, plutôt que d'analyser simplement l'ensemble de la photo.

#Segmentation d'images

La segmentation d'images est un processus qui divise une image en parties, ce qui facilite au modèle la recherche d'objets spécifiques comme les serpents. En isolant ces objets, le modèle peut apprendre plus efficacement, car il peut se concentrer sur les caractéristiques qui comptent le plus pour identifier les espèces de serpents.

Un modèle qu'on envisage est le Segment Anything Model (SAM) de Meta, qui peut automatiquement séparer des images en fonction des objets sans aide humaine. Bien que SAM ait des limites dans l'identification des segments contenant des serpents, il peut tout de même être utile pour générer des jeux de données étiquetés.

#Ajustement fin

Une autre approche prometteuse implique l'ajustement fin d'un modèle appelé YOLOv8. Ce modèle peut être entraîné pour identifier des pixels spécifiques qui appartiennent à des serpents, ce qui aiderait à la classification globale. Cependant, on doit rassembler un jeu de données étiqueté à cet effet, ce qui pourrait impliquer d'utiliser des jeux de données open-source existants contenant des images de divers serpents.

En utilisant ces techniques, on espère améliorer la capacité de notre modèle à identifier les serpents avec précision, surtout dans des cas difficiles où les serpents se ressemblent.

#Conclusion

En résumé, notre projet visait à identifier les espèces de serpents à partir d'images en utilisant un modèle appelé DINOv2. Bien qu'on ait rencontré des défis en termes de performance et de précision, nos découvertes suggèrent qu'il y a de la place pour l'amélioration grâce à des techniques avancées comme la segmentation et une meilleure gestion des déséquilibres de classes.

Le travail qu'on a réalisé pose les bases pour de futurs efforts d'affinement de nos méthodes, avec l'objectif d'améliorer la précision dans l'identification des serpents. En s'attaquant aux défis actuels et en intégrant de nouvelles techniques, on peut contribuer aux efforts de surveillance de la biodiversité et de classification des espèces.