CUT : Une nouvelle méthode pour générer des anomalies visuelles

La détection d'Anomalies visuelles est super importante dans plein d'industries, comme le contrôle qualité, le diagnostic médical et l'inspection industrielle. Mais détecter les anomalies, c'est souvent galère parce que ces cas étranges se produisent rarement et c'est dur de les rassembler. La plupart des méthodes actuelles se concentrent sur l'apprentissage à partir d'exemples normaux avec peu ou pas d'échantillons anormaux réels. Cette disponibilité limitée de données étranges complique l'amélioration des systèmes de détection d'anomalies.

Pour résoudre ce problème, plein de chercheurs ont exploré des moyens de créer des échantillons anormaux Synthétiques. Mais souvent, les échantillons générés n'ont pas l'air réalistes ou ne reflètent que les données vues pendant l'entraînement. Cet article présente une nouvelle approche appelée CUT, qui signifie Cadre de génération d'anomalies visuelles Contrôlable, Universel et Sans entraînement. Cette méthode utilise un modèle de génération d'images appelé Stable Diffusion (SD) pour créer des anomalies réalistes et diverses sans avoir besoin d'entraînement supplémentaire.

#Le défi de la détection d'anomalies

La principale difficulté dans la détection d'anomalies visuelles, c'est le manque de données anormales suffisantes. La plupart des méthodes traditionnelles s'appuient sur des données normales pour l'entraînement, puis essaient d'identifier les anomalies comme des cas extrêmes. Bien que certaines avancées récentes aient visé à détecter des anomalies dans plusieurs catégories, elles nécessitent toujours suffisamment d'exemples normaux pour bien comprendre ce qui est typique. Malheureusement, dans beaucoup de situations réelles, il n'y a pas assez d'échantillons normaux, ce qui rend difficile le développement de solutions efficaces.

Plusieurs approches ont été proposées pour générer des anomalies. Certaines méthodes améliorent les échantillons normaux en découpant et en collant des motifs aléatoires, que ce soit d'autres ensembles de données ou l'image originale. Même si ça peut créer des échantillons variés, ils n'ont souvent pas l'air réels. D'autres méthodes utilisent des modèles génératifs, comme les Réseaux Antagonistes Génératifs (GAN), pour créer des anomalies, mais celles-ci nécessitent aussi une bonne quantité de données normales ou anormales pour l'entraînement. Étant donné à quel point les anomalies peuvent être rares et variées, c'est compliqué d'obtenir un ensemble représentatif d'exemples.

À cause de ces challenges, de nombreux modèles génératifs peinent dans les applications pratiques, surtout quand les données sont rares. Ils ont tendance à se concentrer sur les types limités de données sur lesquelles ils ont été entraînés, ce qui peut limiter leur efficacité.

#Viser une génération d'anomalies réalistes et variées

Ce travail vise à produire des anomalies réalistes et variées sans avoir besoin d'entraînement. L'objectif est atteint en utilisant les capacités de Stable Diffusion, un modèle qui a montré des résultats impressionnants dans la génération d'images à travers divers domaines. Cependant, bien que SD fonctionne bien pour la génération d'images standards, il n'est pas spécialement conçu pour créer des anomalies. Du coup, utilisé directement pour ça, les images résultantes peuvent ne pas correspondre aux motifs ou distributions souhaités qui sont généralement associés aux échantillons normaux.

On a suggéré de peaufiner SD sur les échantillons normaux ou anormaux disponibles comme solution possible, mais ça peut limiter la capacité du modèle à généraliser à de nouveaux exemples. Donc, pour surmonter les lacunes des méthodes existantes, CUT introduit un nouveau cadre qui génère des anomalies de manière contrôlable et universelle.

#Comment ça fonctionne CUT

CUT utilise le modèle SD pré-entraîné pour créer des motifs anormaux en utilisant des descriptions textuelles comme entrée. Ces descriptions peuvent inclure des détails spécifiques sur le type d'anomalie, comme les mots "fissure" ou "rayure", ce qui permet aux utilisateurs de contrôler la sortie.

Au lieu d'ajuster SD sur les données disponibles, CUT adopte une méthode pour guider le processus de génération sans avoir besoin d'entraînement supplémentaire. Chaque instance de génération incorpore un échantillon normal, garantissant que les anomalies générées conservent de la diversité et de la généralisation sur des données non vues et différents types d'anomalies. Du coup, CUT peut produire des échantillons anormaux réalistes et divers pour de nouveaux objets et des descriptions d'anomalies.

CUT s'attaque à deux principaux défis qui se posent lorsqu'on utilise SD pour créer des anomalies. Premièrement, les anomalies sont rares dans les données d'entraînement, ce qui peut amener SD à générer des échantillons peu convaincants. Deuxièmement, comme les anomalies occupent souvent seulement de petites régions dans les images, elles peuvent facilement passer inaperçues pendant la génération.

Pour améliorer ce processus, CUT introduit une optimisation d'attention guidée par masque. Cette technique focalise l'attention du modèle sur la production d'anomalies, garantissant que les images générées reflètent les caractéristiques d'anomalie souhaitées. En plus de ça, un planificateur conscient de la localisation ajuste la vitesse d'optimisation en fonction de la taille de la région d'anomalie, tandis qu'une stratégie d'arrêt précoce aide à éviter l'apparition d'éléments irréalistes dus à une sur-optimisation.

De plus, les cartes d'attention liées aux anomalies générées peuvent servir d'annotations de niveau pixel de base pour localiser les anomalies. CUT propose aussi une perte de dice adaptée pour renforcer l'entraînement pour les tâches de détection en aval en utilisant ces annotations.

#Construire un cadre robuste de détection d'anomalies

En parallèle de la génération d'anomalies, CUT développe un cadre appelé VLAD (Détection d'Anomalies basée sur la Vision et le Langage) pour tirer parti des anomalies générées pour une détection efficace. Ce cadre s'entraîne sur des données synthétiques créées par CUT, atteignant de bonnes performances sur diverses tâches de référence.

VLAD se base sur les méthodes compétitives basées sur CLIP, intégrant un objectif d'entraînement qui comprend des pertes de classification au niveau image et au niveau pixel. La perte focale est utilisée pour se concentrer sur des exemples mal classés difficiles, tandis qu'une combinaison de perte de cross-entropie binaire (BCE) et de perte de dice adaptée permet une localisation d'anomalies efficace.

L'accent mis sur les annotations au niveau pixel contribue à de meilleures performances pendant le processus d'entraînement. De plus, l'utilisation de données synthétiques permet à VLAD d'améliorer ses capacités de détection, même lorsqu'il est confronté à des configurations d'apprentissage à faible échantillon, où seule une quantité limitée de données normales est fournie.

#Configuration expérimentale et évaluation

Pour valider CUT et VLAD, des expérimentations étendues ont été menées en utilisant des ensembles de données comme MVTec AD et VisA. Ces expériences ont impliqué à la fois des évaluations de génération d'anomalies et de détection, en comparant les nouvelles méthodes à celles existantes.

Pour la génération d'anomalies, les utilisateurs fournissent des échantillons normaux et des descriptions des anomalies qu'ils souhaitent produire. Les anomalies résultantes sont évaluées en fonction de leur réalisme et de leur diversité. En termes de détection, l'efficacité de l'entraînement de VLAD en utilisant les données synthétiques générées par CUT est analysée en profondeur dans diverses conditions.

Les résultats montrent que CUT surpasse les méthodes existantes en générant des anomalies plus réalistes, tandis que VLAD démontre des performances supérieures dans la détection de ces anomalies, même dans des conditions de faible échantillon. Les améliorations observées indiquent l'efficacité de l'approche de CUT pour générer des données anormales synthétiques.

#Conclusion

En résumé, ce travail présente CUT, un cadre conçu pour générer des anomalies réalistes, diverses et contrôlables sans nécessiter d'entraînement supplémentaire. Les principales innovations incluent l'utilisation efficace de Stable Diffusion et l'incorporation d'une optimisation d'attention guidée par masque. En générant des échantillons synthétiques et en les utilisant pour entraîner un cadre de détection, des améliorations significatives dans les tâches de détection d'anomalies sont réalisées, même dans des scénarios avec des données limitées. Les travaux futurs se concentreront sur l'amélioration de la qualité des annotations pour les anomalies générées, ce qui pourrait encore affiner la performance de détection et élargir l'application de ces méthodes dans divers domaines.