Presentamos PSVAE: Un Nuevo Enfoque para la Generación de Datos Sintéticos

A medida que crecen las preocupaciones sobre la privacidad, la necesidad de datos tabulares sintéticos está aumentando. Este tipo de datos ayuda a probar sistemas, simular información real, analizar datos y construir modelos predictivos. Sin embargo, obtener datos reales puede ser complicado por problemas de privacidad. Métodos existentes como TVAE y OCTGAN tienen dificultades con conjuntos de datos complejos y pueden ser lentos.

Este artículo habla de un nuevo modelo llamado PSVAE. Está diseñado para crear Datos sintéticos de alta calidad más rápido. PSVAE combina dos ideas principales: una mejor optimización de pérdidas y un método llamado post-selección. Este modelo también aborda el problema de las categorías que no están bien representadas en los datos. Usa una función de activación moderna conocida como Mish para mejorar su rendimiento.

#La Necesidad de Datos Sintéticos

Mantener los datos de los usuarios privados es más vital que nunca. Los datos tabulares reales son importantes para el modelado de datos aplicado, entender factores socioeconómicos y analizar procesos físicos. Sin embargo, usar estos datos en los sistemas de información se está volviendo más difícil debido a la confidencialidad.

La generación moderna de datos ha comenzado a incluir técnicas que mezclan métodos estadísticos con redes neuronales. Publicar datos que son numéricamente diferentes pero aún similares en aspectos estadísticos a los datos originales es cada vez más importante. Los datos sintéticos pueden ser útiles por varias razones, como validar algoritmos de aprendizaje automático, probar software de integración, construir modelos de simulación e investigar diferentes características estadísticas en campos como la salud.

Generar datos sintéticos permite a los investigadores trabajar sin usar directamente datos privados. No es solo un enfoque innovador; ofrece una forma de modelar datos que es precisa, segura y rentable. Según las predicciones, los datos sintéticos podrían reemplazar a los datos reales en la inteligencia artificial para el año 2030.

#Objetivos de PSVAE

El objetivo principal de este trabajo es crear un método sencillo y confiable para generar datos sintéticos de alta calidad. El modelo, llamado PSVAE, se basa en la arquitectura del autoencoder variacional (VAE). Utiliza un método especial para ajustar pérdidas y un proceso de post-selección para refinar los resultados de la red decodificadora. Esto permite al modelo extraer estadísticas univariadas importantes de conjuntos de datos complicados mientras mantiene las relaciones multivariadas intactas. PSVAE puede trabajar con distribuciones de datos tanto discretas como continuas.

#Trabajo Relacionado

Generar datos numéricos aleatorios generalmente implica imitar la distribución igualando sus distribuciones univariadas. Sin embargo, esto se pierde la parte crucial: las relaciones entre diferentes variables. Las mejoras recientes en modelos de aprendizaje profundo han abierto nuevas oportunidades. Métodos notables como CTGAN y TVAE pueden entender mejor las distribuciones en comparación con las redes bayesianas tradicionales.

Algunos modelos recientes, como OCT-GAN, ofrecen mejor rendimiento que TVAE para ciertas tareas. Los GANs Tabulares Invertibles brindan resultados similares a TVAE, mientras que MargCTGAN mejora a CTGAN en situaciones con menos muestras. CTAB-GAN+ mejora el proceso de entrenamiento para GANs condicionales, lo que lleva a mejores datos sintéticos. Con este trasfondo, usar la arquitectura VAE parece una buena elección para generar datos sintéticos.

#Resumen de PSVAE

PSVAE se basa en VAE pero no incluye capas para normalización 'multi-modal'. El codificador procesa múltiples categorías codificadas en one-hot usando dos capas con 256 neuronas cada una. La salida de estas capas se pasa a través de dos capas adicionales para crear salidas que re-parametrizan el espacio latente.

El decodificador refleja esencialmente al codificador, con su entrada basada en el tamaño del espacio latente y la salida coincidiendo con el tamaño de la entrada original. A lo largo de este modelo, se utiliza una función de activación moderna llamada Mish en lugar de alternativas más antiguas como Swish o ReLU, lo que mejora el rendimiento general.

PSVAE se basa en la pérdida de reconstrucción y la pérdida de regularización, equilibrando estas dos para mejorar el rendimiento. Usa pérdida de entropía cruzada ponderada para tratar con conjuntos de datos desbalanceados, asegurando mejores resultados.

#Mecanismo de Post-Selección

Una característica clave de PSVAE es el mecanismo de post-selección. Este proceso mejora la salida del VAE. Inicialmente, se producen datos sintéticos, y luego estos datos se refinan reemplazando muestras menos favorables con nuevas de lotes posteriores, siempre que las nuevas muestras mejoren la distribución general.

Para medir el rendimiento de PSVAE, se hacen comparaciones con TVAE, OCT-GAN y CTAB-GAN+. Curiosamente, incluso con un enfoque en la similitud univariada, PSVAE puede replicar eficazmente las características estadísticas de los datos originales. Esto confirma que las relaciones entre múltiples variables aún se mantienen.

#Resultados Experimentales

El rendimiento de PSVAE se evalúa usando métricas como distancia L1, puntaje de clasificación F1 y coeficientes de correlación de Pearson. Se analizan varios conjuntos de datos, incluyendo uno con un gran desbalance de clases, lo que hace que sea complicado replicar con precisión.

Durante los experimentos, quedó claro que PSVAE superó a los modelos anteriores en la generación de datos sintéticos de calidad. Los resultados indican que PSVAE captura las complejidades de los conjuntos de datos originales mejor que otros modelos. En el caso del conjunto de datos de crédito, los modelos anteriores lucharon por mantener las Correlaciones correctas debido a la naturaleza desbalanceada de los datos.

#Eficiencia de Tiempo

La eficiencia de tiempo es otro factor significativo. Al entrenar en varios conjuntos de datos, PSVAE mostró un rendimiento rápido. Por ejemplo, solo tomó 2 segundos por época en el conjunto de datos de diabetes, mientras que otros modelos como CTAB-GAN+ y OCT-GAN tardaron significativamente más. Esta eficiencia probablemente se deba a la arquitectura más simple de PSVAE en comparación con las configuraciones más complejas de los otros modelos.

#Comparación con Otros Modelos

La capacidad de PSVAE para capturar correlaciones detalladas en conjuntos de datos es impresionante. Por ejemplo, mientras que otros modelos no lograron identificar ciertas correlaciones en el conjunto de datos de crédito, PSVAE lo hizo bien. TVAE tuvo un mejor rendimiento F1 debido a cómo aproximó las variables continuas, pero luchó con correlaciones de datos complejas.

#Conclusión

El estudio presenta a PSVAE como un nuevo método para generar datos tabulares sintéticos de alta calidad. Al utilizar un método mejorado de cálculo de pérdidas, equilibrar datos, una función de activación moderna y un mecanismo de post-selección, PSVAE se destaca entre los esfuerzos anteriores.

Los resultados muestran que PSVAE sobresale en métricas como la distancia L1 y mantiene puntajes F1 competitivos, ofreciendo a veces una mejor síntesis de correlaciones. Aunque TVAE tiene sus fortalezas, tiene un mal rendimiento en reproducir correlaciones complejas. OCT-GAN ofrece algunos resultados competitivos, pero se queda atrás en velocidad de entrenamiento en comparación con PSVAE.

El trabajo futuro podría involucrar mejoras adicionales, como usar técnicas de cuantización vectorial para potencialmente desarrollar datos sintéticos de aún mayor calidad con el marco VAE.