CORTAR: Un Nuevo Método para la Generación de Anomalías Visuales

La detección de anomalías visuales juega un papel clave en varias industrias, como el control de calidad, el diagnóstico médico y la inspección industrial. Sin embargo, detectar anomalías puede ser bastante complicado porque estos casos inusuales ocurren con poca frecuencia y son difíciles de recolectar. La mayoría de los métodos actuales se enfocan en aprender de ejemplos típicos con poco o ningún uso de muestras anómalas reales. Esta disponibilidad limitada de datos inusuales hace que sea un reto mejorar el rendimiento de los sistemas de detección de anomalías.

Para abordar este problema, muchos investigadores han explorado formas de crear muestras anómalas sintéticas. Sin embargo, las muestras generadas a menudo no parecen realistas o solo reflejan los datos vistos durante el entrenamiento. Este artículo presenta un nuevo enfoque llamado CUT, que significa marco de generación de anomalías visuales Controlable, Universal y Sin Entrenamiento. Este método utiliza un modelo generador de imágenes llamado Stable Diffusion (SD) para crear anomalías realistas y diversas sin necesidad de entrenamiento adicional.

#El Desafío de la Detección de Anomalías

La principal dificultad en la detección de anomalías visuales es la falta de datos Anómalos suficientes. La mayoría de los métodos tradicionales se basan en datos normales para entrenar y luego intentan identificar anomalías como valores atípicos. Aunque algunos avances recientes han tratado de detectar anomalías en múltiples categorías, todavía requieren suficientes ejemplos normales para construir una comprensión sólida de lo que es típico. Desafortunadamente, en muchas situaciones del mundo real, puede que no haya suficientes muestras normales disponibles, lo que dificulta el desarrollo de soluciones efectivas.

Se han propuesto varios enfoques para generar anomalías. Algunos métodos mejoran las muestras normales cortando y pegando patrones aleatorios, que pueden ser de diferentes conjuntos de datos o de la imagen original. Aunque esto puede crear muestras diversas, a menudo no se ven reales. Otros métodos utilizan modelos generativos, como Redes Generativas Antagónicas (GANs), para crear anomalías, pero estos también necesitan una buena cantidad de datos normales o anormales para el entrenamiento. Dado lo raras y diversas que pueden ser las anomalías, es complicado obtener un conjunto representativo de ejemplos.

Debido a estos desafíos, muchos modelos generativos se quedan cortos en aplicaciones prácticas, especialmente cuando los datos son escasos. Tienden a enfocarse en los tipos limitados de datos con los que fueron entrenados, lo que puede limitar su efectividad.

#Buscando Generación de Anomalías Realistas y Diversas

Este trabajo busca producir anomalías realistas y diversas sin necesidad de entrenamiento. El objetivo se logra utilizando las capacidades de Stable Diffusion, un modelo que ha mostrado resultados impresionantes en la generación de imágenes en varios dominios. Sin embargo, aunque SD funciona bien para la generación de imágenes estándar, no está diseñado específicamente para crear anomalías. Por lo tanto, cuando se usa directamente para este propósito, las imágenes resultantes pueden no coincidir con los patrones o distribuciones deseadas típicamente asociadas con muestras normales.

Se ha sugerido afinar SD con muestras normales o anómalas disponibles como posible solución, pero esto puede limitar la capacidad del modelo para generalizar a nuevos ejemplos. Así, para superar las limitaciones de los métodos existentes, CUT introduce un nuevo marco que genera anomalías de manera controlable y universal.

#Cómo Funciona CUT

CUT aprovecha el modelo SD preentrenado para crear patrones anómalos utilizando descripciones de texto como entrada. Estas descripciones pueden incluir detalles específicos sobre el tipo de anomalía, como las palabras 'fisura' o 'rasguño', lo que permite a los usuarios controlar la salida.

En lugar de ajustar SD en los datos disponibles, CUT emplea un método para guiar el proceso de generación sin necesidad de entrenamiento adicional. Cada instancia de generación incorpora una muestra normal, asegurando que las anomalías generadas mantengan diversidad y generalización a través de datos no vistos y diferentes tipos de anomalías. Como resultado, CUT puede producir muestras anómalas realistas y diversas para nuevos objetos y descripciones de anomalías.

CUT aborda dos desafíos principales que surgen al usar SD para la creación de anomalías. Primero, las anomalías son raras en los datos de entrenamiento, lo que puede llevar a que SD genere muestras poco convincentes. Segundo, dado que las anomalías a menudo ocupan solo pequeñas regiones en las imágenes, pueden ser fácilmente pasadas por alto durante la generación.

Para mejorar este proceso, CUT introduce una optimización de atención guiada por máscara. Esta técnica enfoca la atención del modelo en producir anomalías, asegurando que las imágenes generadas reflejen las características de anomalía deseadas. Junto con esto, un programador consciente de la localización ajusta la velocidad de optimización según el tamaño de la región de anomalía, mientras que una estrategia de paro temprano ayuda a prevenir que aparezcan elementos poco realistas debido a la sobreoptimización.

Además, los mapas de atención relacionados con las anomalías generadas pueden servir como anotaciones básicas a nivel de píxeles para señalar la ubicación de las anomalías. CUT también propone una pérdida de dice adaptada para mejorar el entrenamiento para tareas de detección posteriores usando estas anotaciones.

#Construyendo un Marco Robusto para la Detección de Anomalías

Junto con la generación de anomalías, CUT desarrolla un marco llamado VLAD (Detección de Anomalías Basada en Visión-Lenguaje) para aprovechar las anomalías generadas para una detección efectiva. Este marco se entrena con datos Sintéticos creados por CUT, logrando un rendimiento sólido en varias tareas de referencia.

VLAD se basa en métodos competitivos basados en CLIP, integrando un objetivo de entrenamiento que comprende tanto pérdidas de clasificación a nivel de imagen como a nivel de píxel. Se utiliza la pérdida focal para enfocarse en ejemplos difíciles que han sido mal clasificados, mientras que una combinación de pérdida de entropía cruzada binaria (BCE) y pérdida de dice adaptada permite una localización efectiva de anomalías.

El enfoque en anotaciones a nivel de píxel contribuye a un mejor rendimiento durante el proceso de entrenamiento. Además, el uso de datos sintéticos permite a VLAD mejorar sus capacidades de detección, incluso cuando se trata de configuraciones de aprendizaje de pocos ejemplos, donde solo se proporciona una cantidad limitada de datos normales.

#Configuración Experimental y Evaluación

Para validar CUT y VLAD, se realizaron experimentos extensos utilizando conjuntos de datos como MVTec AD y VisA. Estos experimentos involucraron tanto la generación de anomalías como evaluaciones de detección, comparando los nuevos métodos con los existentes.

Para la generación de anomalías, los usuarios proporcionan muestras normales y descripciones de las anomalías que desean producir. Las anomalías resultantes se evalúan en base a su realismo y diversidad. En términos de detección, se analiza a fondo la eficacia de entrenar VLAD usando los datos sintéticos generados por CUT en varias condiciones.

Los resultados muestran que CUT supera a los métodos existentes en la generación de anomalías más realistas, mientras que VLAD demuestra un rendimiento superior en la detección de estas anomalías, incluso en condiciones de pocos ejemplos. Las mejoras observadas indican la efectividad del enfoque de CUT para generar datos anómalos sintéticos.

#Conclusión

En resumen, este trabajo presenta CUT, un marco diseñado para generar anomalías realistas, diversas y controlables sin requerir entrenamiento adicional. Las innovaciones clave incluyen la utilización efectiva de Stable Diffusion e incorporación de optimización de atención guiada por máscara. Al generar muestras sintéticas y usarlas para entrenar un marco de detección, se logran mejoras significativas en las tareas de detección de anomalías, incluso en escenarios con datos limitados. El trabajo futuro se centrará en mejorar la calidad de las anotaciones para las anomalías generadas, lo que podría refinar aún más el rendimiento de detección y ampliar la aplicación de estos métodos en varios campos.