Presentamos PanoMixSwap para mejorar imágenes panorámicas

Las imágenes panorámicas se han vuelto populares para entender espacios interiores porque pueden mostrar habitaciones enteras de una vez. Con más gente usando cámaras especiales, es más fácil crear imágenes panorámicas. Esto ha llevado al desarrollo de muchos conjuntos de datos de imágenes interiores y nuevas tareas como la Segmentación Semántica y la estimación de diseño. Estas tareas aprovechan los beneficios de las imágenes panorámicas para ayudarnos a aprender mejor sobre los espacios interiores.

A pesar de tener algunos conjuntos de datos para imágenes panorámicas interiores, el número de imágenes es menor en comparación con las imágenes de perspectiva normal. Por ejemplo, uno de los conjuntos de datos más grandes solo tiene 1,413 imágenes panorámicas. Esta escasez dificulta entrenar modelos que necesitan muchos datos para funcionar bien. Para ayudar con esto, a menudo se utilizan técnicas de Aumento de Datos para crear más muestras de entrenamiento.

#Desafíos del Aumento de Datos

El aumento de datos para imágenes panorámicas tiene sus propios desafíos. A diferencia de las imágenes normales, la estructura única de las imágenes panorámicas debe mantenerse intacta durante el proceso de aumento. Por ejemplo, los techos deben estar siempre por encima de las paredes y los pisos. Algunos métodos tradicionales, como el recorte aleatorio, pueden arruinar la estructura de las imágenes panorámicas. Esto muestra que necesitamos nuevos métodos diseñados específicamente para imágenes panorámicas.

Los métodos actuales o bien utilizan técnicas tradicionales que mantienen el formato panorámico o métodos más nuevos que funcionan con imágenes individuales. Sin embargo, estos métodos no pueden mezclar variaciones de diferentes imágenes panorámicas de manera efectiva. Esto limita su capacidad para crear imágenes más diversas.

#Introduciendo PanoMixSwap

Para abordar el problema de la diversidad limitada en las imágenes panorámicas, presentamos una nueva técnica de aumento de datos llamada PanoMixSwap. Este método utiliza múltiples imágenes panorámicas para crear una variedad de nuevas imágenes. Al mezclar tres partes principales de diferentes imágenes: diseño de habitación, estilo de fondo y muebles, puede generar una amplia gama de muestras aumentadas.

PanoMixSwap funciona descomponiendo cada imagen panorámica en tres partes: la estructura de la habitación, el estilo de fondo (como el techo, el piso y las paredes) y los muebles en la escena. Al mezclar estas partes de tres imágenes distintas, podemos crear un conjunto diverso de imágenes aumentadas. Este enfoque nos permite lograr una mayor variedad de imágenes mientras mantenemos intacta la estructura general.

#Cómo Funciona PanoMixSwap

PanoMixSwap involucra tres entradas principales: una muestra de estilo, un diseño de estructura y una muestra de muebles. Se compone de dos bloques: el Bloque de Fusión de Estilo y el Bloque de Fusión de Muebles.

• Bloque de Fusión de Estilo: Este bloque toma la estructura del diseño de la habitación y la combina con el estilo de fondo de la imagen de estilo. Genera una nueva imagen que muestra la estructura de la habitación sin muebles.

• Bloque de Fusión de Muebles: Este bloque añade luego los muebles de la muestra de muebles a la estructura estilizada recién creada. Asegura que los muebles coincidan con el diseño de la habitación y cambia el estilo de fondo en consecuencia.

Siguiendo estos pasos, PanoMixSwap puede producir imágenes aumentadas de alta calidad que mantienen el diseño y la estructura de las imágenes originales.

#Evaluación de PanoMixSwap

Probamos la efectividad de PanoMixSwap en dos tareas principales: segmentación semántica y estimación de diseño. Evaluamos su rendimiento entrenando modelos con las imágenes originales y las imágenes aumentadas creadas usando nuestro método.

#Resultados en Segmentación Semántica

Para la tarea de segmentación semántica, utilizamos dos modelos avanzados, HoHoNet y PanoFormer. Realizamos experimentos en dos conjuntos de datos diferentes para ver qué tan bien se desempeñaron los modelos con las nuevas imágenes aumentadas. Los resultados mostraron que cuando entrenamos los modelos con PanoMixSwap, su rendimiento mejoró significativamente en comparación con cuando se entrenaron solo con los datos originales.

#Resultados en Estimación de Diseño

También aplicamos PanoMixSwap a la tarea de estimación de diseño. Usando modelos como HorizonNet y LGT-Net, evaluamos qué tan bien estos modelos podían estimar el diseño de una habitación después de entrenar con las imágenes aumentadas. Nuestros hallazgos mostraron que PanoMixSwap también mejoró la precisión de estos modelos en la Estimación de diseños de habitaciones.

#Ventajas de PanoMixSwap

PanoMixSwap ofrece varias ventajas sobre los métodos tradicionales:

1. Mayor Diversidad: Al mezclar tres partes diferentes de múltiples imágenes, PanoMixSwap crea una mayor variedad de muestras de entrenamiento.

2. Estructura Mantenida: A diferencia de algunos métodos tradicionales que pueden distorsionar la estructura de las imágenes panorámicas, PanoMixSwap mantiene intacto el diseño y la estructura inherentes.

3. Mejora del Rendimiento del Modelo: Las imágenes aumentadas conducen a un mejor rendimiento en varias tareas, demostrando que PanoMixSwap aborda efectivamente los desafíos planteados por la escasez de datos.

#Conclusión

PanoMixSwap es una nueva técnica de aumento de datos diseñada específicamente para imágenes panorámicas interiores. Aprovecha las partes únicas de cada imagen para crear muestras aumentadas diversas mientras mantiene la integridad estructural. Nuestros extensos experimentos muestran que los modelos entrenados con PanoMixSwap superan consistentemente a aquellos entrenados solo con los datos originales en tareas importantes como segmentación semántica y estimación de diseño.

A medida que continuamos desarrollando y mejorando los métodos de aumento de datos, PanoMixSwap se destaca como una solución prometedora a los desafíos que enfrenta el campo de la comprensión de escenas interiores. A través de este enfoque, podemos enriquecer nuestros conjuntos de datos y mejorar nuestra comprensión de los entornos interiores, logrando avances significativos en esta área de investigación.