Avances en la estimación de textura humana en 3D

Estimar la textura de un modelo 3D de una persona a partir de solo una imagen es súper importante en áreas como la realidad virtual (VR), la realidad aumentada (AR), los videojuegos, la robótica y la prueba de ropa en línea. Esta tarea no es fácil porque implica determinar las Texturas de partes del cuerpo humano que están ocultas y también lidiar con diferentes formas y poses.

En los últimos años, ha aumentado la investigación sobre la predicción de humanos 3D a partir de imágenes únicas. Sin embargo, la mayoría de los métodos existentes necesitan un montón de datos detallados, que pueden ser costosos y tardados de obtener, como escaneos 3D o estimaciones de pose complejas. Aquí, nos centramos en crear reconstrucciones a partir de una sola imagen sin necesitar esos costosos detalles 3D, usando imágenes tomadas desde múltiples ángulos.

Se han propuesto varios métodos. Algunos se enfocan en asegurar que las imágenes tomadas desde diferentes ángulos se vean consistentes entre sí, mientras que otros utilizan una técnica que asigna detalles humanos para ayudar a estimar sus texturas. También hay enfoques que usan modelos basados en atención que analizan toda la imagen para procesar mejor la información.

A pesar de los avances, aún hay problemas que afectan la calidad de las estimaciones de textura humana a partir de imágenes únicas. Un desafío importante es que las imágenes de entrada y salida generalmente no coinciden espacialmente. Por ejemplo, mientras que una mano puede estar en cualquier parte de la imagen de entrada, debe corresponder a un lugar específico en la salida.

#Marco Propuesto

Para abordar estos desafíos, presentamos un nuevo enfoque. Nuestro método utiliza un tipo especial de convolución, llamada Convolución Deformable, que permite al modelo muestrear imágenes de manera adaptativa. De esta forma, puede producir predicciones de textura de alta calidad tanto para partes visibles como ocultas del cuerpo humano.

También introducimos una nueva función de pérdida que ayuda al modelo a generar texturas que se ven más realistas desde múltiples perspectivas. Además, entrenamos nuestro modelo usando una pérdida de reconstrucción a nivel de píxel basada en cuán seguros estamos sobre cada píxel, lo que mejora la precisión del color de las texturas.

Nuestro marco muestra mejoras significativas en comparación con métodos avanzados que se están utilizando actualmente.

#Importancia de la Estimación de Textura

Estimar texturas humanas 3D a partir de imágenes únicas es vital en muchos campos. Permite representaciones más realistas de humanos en entornos digitales. Esto puede mejorar experiencias en VR y AR, y mejorar cómo se siente comprar ropa en línea al dejar que los usuarios vean cómo se verían los artículos en ellos.

La tarea es compleja debido a la necesidad de predecir texturas no solo de partes visibles sino también de áreas no vistas en la imagen. Diferentes poses y apariencias complican aún más el proceso.

Los investigadores están cada vez más enfocados en crear métodos que puedan reconstruir modelos humanos 3D a partir de imágenes únicas. Muchos métodos anteriores requerían un montón de datos detallados que son difíciles de recolectar, como estimaciones de pose humana densas. Nuestro objetivo es evitar eso enfocándonos en usar colecciones de imágenes tomadas desde varios ángulos.

#Trabajo Anterior

Muchos investigadores han propuesto formas de estimar y recrear texturas 3D usando múltiples imágenes, pero a menudo son laboriosos. Algunos métodos sugirieron usar consistencia entre vistas para asegurar que la imagen renderizada desde un ángulo se alinee bien con la capturada desde otro. Otros enfoques han incluido usar pérdidas de reidentificación que ayudan a entrenar los modelos.

Si bien se ha avanzado, los métodos anteriores todavía enfrentan limitaciones. Notablemente, la alineación espacial entre imágenes de entrada y salida a menudo no se considera, lo que las hace inapropiadas para modelos que utilizan campos receptivos locales, como las Redes Neuronales Convolucionales (CNNs).

Nuestro trabajo busca superar estas limitaciones usando un módulo de refinamiento basado en convolución deformable. Esto permite que nuestro modelo aprenda offsets efectivos para muestrear mejor las imágenes de entrada.

#Módulo de Refinamiento

El módulo de refinamiento es una parte crítica de nuestro enfoque. Utiliza offsets aprendibles para mejorar cómo estimamos texturas. Al aprender de una arquitectura basada en atención, el módulo puede muestrear de manera flexible partes de la imagen de entrada, mejorando la predicción de textura tanto para regiones visibles como ocultas.

Los métodos anteriores generalmente evitaban la pérdida de reconstrucción a nivel de píxel ya que a menudo no producía resultados detallados. Sin embargo, con nuestro enfoque de usar una pérdida de reconstrucción basada en confianza, abordamos efectivamente este problema.

También incorporamos una Pérdida de Consistencia Cíclica, que asegura que el modelo se mantenga consistente en sus predicciones a través de diferentes vistas. Esto ayuda al modelo a aprender mejor y generalizar a diversas perspectivas de la misma persona.

#Funciones de Pérdida

El modelo se entrena para minimizar varias funciones de pérdida al comparar las imágenes de entrada y las generadas por nuestro modelo. Usamos pérdidas tradicionales e introducimos dos nuevas que mejoran nuestra calidad de estimación de textura.

Una de nuestras nuevas pérdidas se basa en cuán seguro está el modelo sobre cada píxel, permitiéndole ajustar su comprensión de los datos. La otra es la pérdida de consistencia cíclica, que verifica cuán similares son las texturas estimadas a partir de las imágenes originales y renderizadas, asegurando que nuestro modelo se mantenga consistente.

#Entrenamiento y Evaluación

Utilizamos un conjunto de datos específico para nuestros experimentos, el conjunto de datos Market-1501, que contiene numerosas imágenes de diversas personas. Después de eso, también probamos nuestro enfoque con el conjunto de datos DeepFashion que presenta imágenes de ropa con una amplia gama de poses y perspectivas.

Nuestro método se comparó con técnicas de vanguardia en términos de precisión, fidelidad y detalle. También nos aseguramos de evaluar los resultados desde la misma vista y nuevas vistas para tener una comprensión sólida de su rendimiento.

#Resultados

Nuestro método mostró mejoras considerables al ser probado contra métricas típicas. Logramos mejores resultados en comparación con métodos establecidos al no solo enfocarnos en áreas visibles, sino también mejorando cómo manejamos partes invisibles.

En comparaciones cualitativas, fue evidente que nuestro método produjo texturas más detalladas y cercanas a las imágenes de entrada originales, superando a otros al reducir artefactos y mejorar detalles finos.

#Conclusión

En resumen, presentamos un marco que estima eficientemente las texturas 3D de humanos a partir de una sola imagen usando convolución deformable junto con reconstrucción basada en incertidumbre y pérdidas de consistencia cíclica. Nuestro enfoque mostró mejoras significativas tanto cualitativas como cuantitativas en comparación con los métodos existentes.

Nuestra esperanza es que este trabajo contribuya al avance continuo en la calidad de inferencia de texturas, animando exploraciones adicionales en la estimación de texturas humanas 3D. Los desafíos de inferir con precisión partes no visibles y generalizar entre vistas pueden ayudar a motivar futuras investigaciones en soluciones más robustas en el campo.