Presentando Trompt: Un Nuevo Modelo para Datos Tabulares

Los Datos Tabulares se utilizan en un montón de campos, como finanzas, salud y comercio electrónico. Consisten en filas y columnas, donde cada columna representa un atributo específico de los datos. A pesar de su popularidad, los modelos de deep learning, especialmente las redes neuronales profundas (DNNs), no han tenido un buen rendimiento en datos tabulares en comparación con los modelos basados en árboles, según benchmarks recientes.

En esta charla, presentamos Trompt, una nueva arquitectura de modelo inspirada en técnicas de modelos de lenguaje. Este enfoque divide el aprendizaje en dos partes: entender la información intrínseca de la estructura de la tabla y reconocer la información diferente de varias muestras. Trompt busca mejorar el rendimiento de las redes neuronales profundas en conjuntos de datos tabulares.

#Importancia de los Datos Tabulares

Los datos tabulares juegan un papel crucial en muchas aplicaciones del mundo real. Por ejemplo:

• Los bancos usan estados financieros para evaluar la confiabilidad de una empresa.
• Los doctores analizan informes diagnósticos para determinar la condición de un paciente.
• Las plataformas de comercio electrónico revisan registros de clientes para detectar intereses y preferencias.

En general, los datos tabulares pueden registrar diversas actividades con diferentes características y tienen múltiples usos prácticos. Mientras que el deep learning ha tenido un gran éxito en áreas como la visión por computadora y el procesamiento de lenguaje natural, su rendimiento ha sido inferior al de los modelos basados en árboles en lo que respecta a datos tabulares.

#Desafíos del Deep Learning en Datos Tabulares

Los investigadores han intentado aplicar deep learning para analizar datos tabulares usando diferentes estrategias, como transformers o investigando cómo aprenden los modelos. Sin embargo, muchos de estos estudios han mostrado que, a pesar de las afirmaciones de un rendimiento superior, los modelos de deep learning a menudo tienen problemas frente a los modelos basados en árboles.

Para abordar estos desafíos, se creó un benchmark llamado Grinsztajn45. Este benchmark incluye 45 conjuntos de datos de varios dominios para proporcionar una evaluación justa de diferentes modelos.

#Introducción a Trompt

Trompt es una nueva arquitectura diseñada para trabajar más eficazmente con datos tabulares. Toma inspiración de una técnica llamada aprendizaje por prompts, que ha tenido éxito en modelos de lenguaje. La idea clave detrás del aprendizaje por prompts es ajustar un modelo preentrenado usando prompts que guían al modelo sin cambiar su estructura subyacente.

Trompt separa el aprendizaje en:

1. Aprender información intrínseca de las columnas de la tabla.
2. Entender cómo varía la Importancia de las características entre diferentes muestras.

Al centrarse en ambos componentes, Trompt busca ofrecer un mejor rendimiento que los modelos de deep learning actuales, a la vez que cierra la brecha con los modelos basados en árboles.

#Evaluación Experimental de Trompt

El rendimiento de Trompt se evalúa usando el benchmark Grinsztajn45 contra varios modelos de deep learning y basados en árboles. Los resultados muestran que Trompt supera de manera consistente a los enfoques tradicionales de deep learning y compite bien con los modelos basados en árboles.

El benchmark categoriza las tareas en:

• Tareas de clasificación de tamaño medio
• Tareas de regresión de tamaño medio
• Tareas de clasificación de gran tamaño
• Tareas de regresión de gran tamaño

La capacidad de Trompt para manejar diferentes tamaños y tipos de tareas ayuda a demostrar su versatilidad y efectividad en el trabajo con datos tabulares.

#Características Únicas de Trompt

Trompt se distingue de otras arquitecturas al considerar cómo puede cambiar la importancia de las características de muestra a muestra. Esta adaptabilidad se logra a través del uso de técnicas de aprendizaje por prompts. Al separar las estrategias de aprendizaje, Trompt puede modelar mejor las complejidades inherentes a los conjuntos de datos tabulares.

#Visión General de la Arquitectura de Trompt

La estructura de Trompt incluye múltiples componentes:

1. Celdas de Trompt: Cada celda trabaja principalmente en la extracción de características.
2. Trompt Downstream: Esta parte se encarga de hacer predicciones basadas en la información extraída por las celdas.

Esta arquitectura permite que Trompt proporcione representaciones diversas de los datos mientras se mantiene el enfoque en la precisión de las predicciones.

#El Papel del Aprendizaje por Prompts

El aprendizaje por prompts permite que un modelo se adapte a varias tareas sin necesidad de un reentrenamiento extenso. En el caso de Trompt, mejora el proceso de determinar qué características son más importantes para muestras individuales. Este proceso ayuda a Trompt a generar predicciones relevantes mientras mantiene las características intrínsecas de los datos tabulares.

#Cómo Procesa Trompt los Datos

Trompt comienza derivando importancias de características de la estructura existente de la tabla, teniendo en cuenta cómo estas importancias pueden diferir entre muestras. Cada Celda de Trompt luego procesa los datos en etapas:

1. Recopilando importancias de características de los embeddings de las columnas.
2. Transformando entradas en embeddings de características ajustados a la naturaleza de los datos.
3. Produciendo la salida final basada en estos embeddings.

Este enfoque de múltiples pasos ayuda a capturar relaciones complejas dentro de los datos mientras asegura que cada muestra se trate de manera adecuada.

#Experimentos y Análisis de Resultados

Para evaluar Trompt, se realizaron experimentos en múltiples conjuntos de datos, centrándose en tareas de clasificación y regresión. Los resultados principales indican que Trompt supera a los modelos de deep learning tradicionales por un margen significativo mientras compite con los modelos basados en árboles.

#Desafíos y Limitaciones

A pesar de sus ventajas, Trompt todavía enfrenta limitaciones. Aunque tiene un buen rendimiento en conjuntos de datos de tamaño medio, su desempeño en conjuntos de datos más grandes puede ser inconsistente. Sin embargo, los experimentos muestran promesa y sugieren que con más optimización, Trompt puede seguir mejorando.

#Interpretabilidad de Resultados

Un aspecto crítico de los modelos de machine learning es su interpretabilidad. En Trompt, las importancias de las características derivadas pueden ser entendidas y utilizadas de manera efectiva. Esto es particularmente importante en campos como la salud y las finanzas, donde entender cómo se toman las decisiones es crucial.

El enfoque de Trompt para derivar importancias de características se probó en conjuntos de datos sintéticos y del mundo real. Los resultados confirmaron que Trompt puede resaltar de manera efectiva características significativas, facilitando el análisis y la comprensión de los procesos de toma de decisiones.

#Direcciones Futuras de Investigación

Aunque Trompt representa un avance significativo, la investigación futura puede explorar varias áreas relacionadas:

• Investigar mejoras adicionales en la arquitectura para un mejor rendimiento.
• Explorar otras aplicaciones del aprendizaje por prompts en diferentes dominios.
• Pruebas continuas en conjuntos de datos más diversos para asegurar robustez.

Al expandir las ideas presentadas en Trompt, los investigadores pueden seguir empujando los límites de lo que es posible con deep learning en datos tabulares.

#Conclusión

Trompt representa un paso prometedor hacia adelante en el análisis de datos tabulares utilizando técnicas de deep learning. Al integrar conceptos del aprendizaje por prompts y reconocer las características únicas de los conjuntos de datos tabulares, Trompt busca cerrar la brecha de rendimiento con los modelos basados en árboles.

Los resultados indican mejoras significativas sobre los modelos tradicionales de deep learning, y la investigación en esta área en curso solo puede fortalecer estos hallazgos. Trompt demuestra el potencial de las redes neuronales profundas para desafiar modelos establecidos en campos donde los datos tabulares son prevalentes, allanando el camino para análisis e ideas más ricos en el futuro.