Améliorer les captures 3D avec Nerfbusters

Quand les gens essaient de créer des modèles 3D avec une technologie appelée Neural Radiance Fields (NeRFs), ils se heurtent souvent à des problèmes. Ces problèmes apparaissent quand le modèle est vu sous de nouveaux angles qui n'étaient pas dans les photos originales prises pendant le processus de capture 3D. Les soucis courants incluent des objets flottants qui ne devraient pas être là ou des formes qui semblent bizarres. Ces problèmes se produisent souvent dans des captures casual, mais sont rarement vus dans des tests contrôlés, où les angles sont choisis pour éviter ces soucis.

Pour résoudre ces problèmes, des chercheurs ont développé une nouvelle méthode appelée Nerfbusters. Cette approche améliore la Géométrie du modèle 3D et réduit le nombre d'erreurs, rendant l'image finale beaucoup plus belle. Ils ont aussi rassemblé un nouveau dataset avec des captures du monde réel et une meilleure façon d’évaluer l’efficacité de ces modèles.

#Le Problème avec les Captures 3D Casual

Les captures casual de NeRFs ont tendance à être moins précises que celles montrées dans des papiers de recherche pro. Quand quelqu’un fait une capture casual, il vise généralement à générer une vue 3D depuis des angles très différents des photos originales. Ce gros changement de point de vue révèle souvent des problèmes comme des artefacts flottants et une mauvaise géométrie.

Une façon de corriger ces soucis est d'apprendre aux utilisateurs à prendre de meilleures photos. Beaucoup d'applis guident déjà les utilisateurs pour capturer des images sous plusieurs angles et hauteurs autour de l'objet qu'ils veulent modéliser. Cependant, ces instructions peuvent être compliquées et tous les utilisateurs ne les suivent pas comme il faut, ce qui conduit à des artefacts dans le modèle final.

Une autre approche consiste à développer des algorithmes qui rendent les NeRFs plus jolis quand on les regarde sous différents angles. Des efforts précédents ont tenté d'utiliser des ajustements de caméra, des changements d'apparence basés sur l'éclairage, et des fonctions de perte pour traiter les obstructions temporaires. Mais, même si ces méthodes peuvent améliorer les résultats dans des tests contrôlés, elles ne fonctionnent souvent pas bien quand on regarde le modèle sous de nouveaux angles.

#Création d'une Nouvelle Méthode d'Évaluation

Pour améliorer l'évaluation des captures NeRF, un nouveau protocole a été développé. Au lieu de se baser sur la capture de chaque 8ème image d'un seul chemin de caméra, ils ont proposé d’enregistrer deux captures vidéo séparées de la même scène. Une vidéo est pour entraîner le NeRF et l'autre pour tester à quel point il peut générer de nouvelles vues.

En utilisant des images de la deuxième vidéo comme référence de comparaison, les chercheurs peuvent calculer divers métriques pour mesurer la qualité du modèle quand il est vu sous des angles inconnus. Ils ont créé un nouveau dataset avec plusieurs scènes, chacune capturée avec deux chemins de caméra différents, pour soutenir cette méthode d'évaluation.

#L'Approche Nerfbusters

Nerfbusters vise à améliorer la géométrie des captures NeRF casual en améliorant la cohérence de surface et en éliminant les artefacts flottants. Cette méthode apprend à partir de formes 3D locales en utilisant un type spécial de modèle AI entraîné avec des données synthétiques. En utilisant cette information apprise, la méthode encourage le NeRF à générer des formes plus précises pendant son entraînement.

Les méthodes classiques s'appuient souvent sur des informations larges et globales sur une scène 3D, ce qui peut être complexe et varier énormément selon la scène. Au lieu de ça, Nerfbusters se concentre sur des formes géométriques locales, ce qui rend son application plus simple et plus cohérente pour différents types de scènes.

La nouvelle méthode utilise une technique unique appelée Density Score Distillation Sampling (DSDS) pour guider le NeRF vers une meilleure géométrie. Cette approche aide à réduire les artefacts flottants et à clarifier les formes. Elle est considérée comme une avancée majeure par rapport aux méthodes traditionnelles.

#Comment Évaluer

Dans l'évaluation des performances des NeRFs, cette nouvelle méthode se concentre sur la capture des scènes dans deux vidéos séparées. La première vidéo sert de footage d'entraînement pour le NeRF, tandis que la seconde vidéo est utilisée uniquement pour l'évaluation.

Pour mesurer la capacité du NeRF à générer des images de nouveaux points de vue, le système extrait des images des deux vidéos et calcule les positions de caméra pour chaque image. En utilisant un modèle de "pseudo vérité terrain", l'évaluation peut être plus précise, permettant des cartes de profondeur et des tests de visibilité pour vérifier comment le NeRF a performé.

Une partie clé de ce processus d'évaluation est de masquer les régions dans les images qui n’étaient pas visibles dans les vues d’entraînement. Ce masquage assure que le modèle est testé seulement sur les régions qu’il a déjà vues, donnant une mesure plus précise de sa performance.

#Résultats de la Méthode Nerfbusters

L'introduction de la méthode Nerfbusters montre des améliorations significatives dans la qualité des captures casual. La méthode réduit efficacement le nombre d'artefacts flottants et améliore la géométrie globale des scènes.

Le processus d'évaluation, appliqué à diverses scènes, démontre que Nerfbusters surpasse constamment les méthodes précédentes qui s'appuyaient sur des règles fixes pour la géométrie. Ce succès reflète sa capacité à s'adapter aux nuances des captures du monde réel où les méthodes traditionnelles échouent souvent.

Dans la pratique, l'application de cette nouvelle méthode d'évaluation et de la technique Nerfbusters est mise en œuvre via des logiciels open-source, rendant cela accessible aux amateurs et aux pros.

#Comparaison avec les Méthodes Précédentes

De nombreuses méthodes existantes s'appuient sur des règles fabriquées à la main pour garantir la douceur et la cohérence des modèles 3D. Les régularisateurs courants se concentrent sur des pénalités pour de grands changements entre les zones voisines. Cependant, ces méthodes peinent énormément quand de nouveaux points de vue sont introduits.

En revanche, Nerfbusters utilise une approche apprise pour régulariser le modèle NeRF basé sur des données réelles. Cette stratégie lui permet de mieux gérer les complexités et les variations souvent trouvées dans les captures casual. Les résultats parlent d'eux-mêmes ; Nerfbusters élimine efficacement les artefacts et aiguise la géométrie des scènes capturées.

#Directions Futures

Bien que la méthode Nerfbusters améliore significativement les captures casual de NeRF, il y a encore des défis à relever. Par exemple, la méthode actuelle peut ne pas faire la distinction entre les objets flottants et les surfaces transparentes, ce qui peut entraîner des suppressions non voulues pendant le traitement. De plus, la méthode ne gère pas encore la colorisation ou l'édition de texture dans les zones où la géométrie a été améliorée.

Les travaux futurs pourraient impliquer le développement de techniques pour coloriser les régions selon des textures apprises, ce qui aiderait à créer des modèles plus visuellement riches et précis. Il y a aussi un potentiel pour intégrer des méthodes de inpainting 2D et 3D pour aider à remplir les manques où des textures ou des détails pourraient faire défaut.

#Conclusion

Le développement d'un nouveau protocole d'évaluation et l'introduction de la méthode Nerfbusters représentent des avancées importantes dans le domaine de la capture 3D casual utilisant les NeRFs. En reconnaissant les défis auxquels font face les utilisateurs de tous les jours, ces avancées fournissent des outils qui non seulement améliorent la qualité des captures 3D, mais rendent également la technologie plus accessible à un plus large public.

Avec un raffinement continu et des améliorations futures, le potentiel de cette technologie pour combler le fossé entre les utilisateurs casual et des résultats de qualité professionnelle semble prometteur. La communauté commence déjà à en bénéficier, alors que des implémentations deviennent disponibles pour les amateurs et les développeurs.