Automatiser l'inbetweening pour les dessins au trait en animation

Dans le monde de l'animation, créer des transitions fluides entre les différentes images est super important pour raconter une histoire. Un des trucs les plus compliqués dans ce processus, c'est ce qu'on appelle "l'inbetweening". L'inbetweening, c'est faire les images intermédiaires qui se trouvent entre deux images clés dans un dessin animé ou une scène animée. Le travail traditionnel d'inbetweening demande aux artistes de dessiner chaque image à la main, ce qui peut prendre un temps fou et être très laborieux.

Cette étude explore une nouvelle approche qui automatise le processus d'inbetweening pour les dessins animés. On se concentre sur un style d’anime populaire, où les personnages sont généralement dessinés avec des lignes distinctes. En utilisant la technologie, on cherche à accélérer le processus d'animation et à réduire les coûts tout en gardant la qualité et la précision de l'œuvre originale.

#Le défi de l'inbetweening

L'inbetweening, c'est pas juste remplir les vides entre deux images ; c'est aussi préserver les traits uniques et les détails des dessins linéaires. Contrairement aux images standards qui ont plein de variations de texture et de couleur, les dessins linéaires se composent principalement de lignes noires sur un fond blanc. Ça crée deux grands défis pour les méthodes automatisées :

1. Correspondance des pixels : Dans les méthodes traditionnelles d'interpolation d'images, la technologie se base sur la texture pour identifier les parties similaires entre les images. Mais dans les dessins linéaires, le manque de texture fait qu'un pixel peut correspondre à plein de candidats, compliquant ainsi la détermination du mouvement avec précision.

2. Artéfacts de flou : Les techniques qui fonctionnent bien pour les images complètes, comme le déformation et le mélange, entraînent souvent des lignes floues dans les dessins animés. Ça rend difficile de garder l'intégrité de l'œuvre originale.

Pour relever ces défis, on propose une nouvelle méthode qui traite les dessins linéaires comme des graphes, représentant les extrémités des lignes plutôt que leurs versions basées sur les pixels. Ce changement nous permet de nous concentrer sur les structures essentielles des dessins.

#Notre approche

On introduit un cadre appelé AnimeInbet, spécialement conçu pour l'inbetweening des dessins linéaires. L'idée principale est de convertir les images rasterisées des dessins linéaires en graphes géométriques. Cette approche nous permet de gérer les défis uniques liés à l'art linéaire. Voici comment notre méthode fonctionne :

#Étape 1 : Géométrisation des dessins linéaires

Dans la première étape, on prend les images raster originales et on les convertit en format Graphique. Chaque dessin linéaire est représenté par une série de points, appelés Sommets, qui se connectent pour montrer la forme du personnage ou de l'objet. Ça nous permet de travailler directement avec les lignes et leurs connexions plutôt qu'avec des pixels.

#Étape 2 : Encodage des sommets

Ensuite, on crée des caractéristiques qui décrivent chaque sommet dans le graphe. Ces caractéristiques incluent :

• Caractéristiques contextuelles : Capturées à partir de l'image elle-même pour donner des infos sur les lignes environnantes.
• Caractéristiques positionnelles : Indiquent où chaque sommet est situé dans le dessin.
• Caractéristiques topologiques : Décrivent comment les sommets sont connectés entre eux.

Cette représentation complète aide à interpréter correctement la structure du dessin linéaire pendant l'inbetweening.

#Étape 3 : Correspondance des sommets

Une fois qu'on a les sommets encodés, on doit établir quels sommets dans les deux images d'entrée correspondent entre eux. Ça se fait avec une méthode appelée Transformer, qui cherche des relations entre les caractéristiques des sommets dans les deux images.

#Étape 4 : Repositionnement des sommets

Après avoir trouvé quels sommets correspondent, la prochaine tâche est de repositionner ces sommets avec précision pour créer l'image intermédiaire. On doit aussi deviner les positions de tous les sommets non appariés en se basant sur le mouvement des sommets appariés.

#Étape 5 : Prédiction de visibilité

Pour s'assurer que la sortie finale soit propre et complète, on prédit la visibilité pour chaque sommet. Ça nous aide à déterminer quelles parties des dessins doivent être visibles et lesquelles doivent rester cachées à cause des obstructions.

#Étape 6 : Fusion des graphes

Enfin, on combine les sommets appariés et repositionnés en un nouveau graphe qui représente l'image intermédiaire. Cette dernière étape garantit que l'essence des dessins linéaires originaux est préservée tout en générant une image intermédiaire de haute qualité.

#Dataset MixamoLine240

Pour entraîner et tester notre méthode efficacement, on a créé un dataset spécialisé appelé MixamoLine240. Ce dataset contient un grand nombre de séquences de dessins linéaires, chacune représentant différents personnages et actions. Le dataset inclut :

• 240 Séquences : Comprenant 100 séquences pour l'entraînement et 140 séquences pour la validation et le test.
• Étiquettes géométrisées : Chaque dessin linéaire dans le dataset est accompagné d'étiquettes de vérité terrain qui identifient les sommets et leurs connexions.

Le dataset est conçu pour permettre à notre méthode d'apprendre à partir de divers personnages et mouvements, s'assurant qu'elle puisse bien se généraliser à différentes situations.

#Expériences et résultats

Pour évaluer l'efficacité d'AnimeInbet, on a mené plusieurs expériences et comparé ses performances avec celles des méthodes existantes utilisées pour l'interpolation d'images. Nos résultats ont montré que :

1. Qualité améliorée : AnimeInbet peut générer des images intermédiaires propres et de haute qualité, surpassant de loin les méthodes traditionnelles, surtout quand il y a des mouvements plus importants entre les images d'entrée.

2. Robustesse : Notre méthode a maintenu ses performances à travers différents espacements d'images, indiquant qu'elle est plus fiable pour gérer des mouvements plus grands.

3. Études utilisateurs : Un sondage auprès des utilisateurs a montré que les participants préféraient les résultats générés par AnimeInbet par rapport à ceux produits par d'autres méthodes, surtout dans le cas de plus grands mouvements.

#Conclusion

En résumé, notre recherche offre une solution novatrice pour la tâche laborieuse de l'inbetweening dans l'animation. En traitant les dessins linéaires comme des graphes géométriques, on a développé une méthode qui automatise le processus d'inbetweening tout en préservant les détails complexes de l'œuvre originale.

L'introduction du dataset MixamoLine240 renforce encore notre approche, permettant un entraînement et une évaluation plus complets. Ce travail bénéficie non seulement à l'industrie de l'anime, mais peut aussi être appliqué dans divers domaines liés au design multimédia et à l'animation.

En automatisant le processus d'inbetweening, AnimeInbet a le potentiel de simplifier la production d'animation, de réduire les coûts et de libérer les artistes pour qu'ils se concentrent sur d'autres aspects créatifs de leur travail. C'est un pas en avant dans l'intégration de la technologie dans l'art, spécifiquement dans le domaine de l'animation.