Aprendizaje Autodirigido Innovador para Finanzas
Un nuevo método usa aprendizaje auto-supervisado para mejorar el análisis de transacciones financieras.
― 4 minilectura
Tabla de contenidos
En los últimos años, el machine learning se ha vuelto una parte esencial de las finanzas. Ayuda con varias tareas, como detectar fraudes y predecir el comportamiento del cliente. Los métodos tradicionales dependen mucho de datos etiquetados y de características definidas a mano, lo que puede ser muy lento y requerir mucha experiencia. Sin embargo, los nuevos modelos de Aprendizaje Auto-Supervisado están mostrando una gran promesa para manejar este enfoque aprendiendo de grandes cantidades de datos no etiquetados.
La Necesidad de Mejores Enfoques
Las instituciones financieras enfrentan varios desafíos, incluyendo la detección de fraudes y la predicción de gastos futuros. Los métodos actuales a menudo requieren características especiales que deben ser creadas para cada problema, lo que puede retrasar la respuesta a nuevos tipos de fraude. El aprendizaje auto-supervisado puede ayudar a crear representaciones útiles de datos sin necesidad de una extensa ingeniería de características.
¿Qué es el Aprendizaje Auto-Supervisado?
El aprendizaje auto-supervisado permite a los modelos aprender de datos no etiquetados Prediciendo ciertos aspectos de los datos mismos. Por ejemplo, los modelos podrían intentar predecir la siguiente transacción financiera basándose en Transacciones previas. Este enfoque ayuda a crear una base sólida para entender los datos sin siempre necesitar etiquetas específicas.
El Método Propuesto
Este artículo presenta un método para generar representaciones útiles de transacciones financieras. Este enfoque combina dos tareas: predecir el próximo evento y reconstruir eventos pasados. Al hacer esto, el método busca captar patrones de comportamiento importantes que son útiles para varias aplicaciones financieras.
Evaluando el Método
Para probar qué tan bien funciona este nuevo método, se aplicó a una variedad de tareas, incluyendo predecir la pérdida de clientes, pronosticar gastos y detectar incumplimientos de crédito. El método se comparó con características tradicionales hechas a mano y otros métodos auto-supervisados. Los resultados mostraron que el método propuesto supera a los demás en varios escenarios.
Preparación de los Datos
El método se probó usando datos de varias transacciones financieras, incluyendo tarjetas de débito y crédito. Los datos se dividieron en conjuntos de entrenamiento y prueba para evaluar el rendimiento. Cada conjunto de datos se analizó por separado para tener en cuenta sus características únicas.
Entrenando el Modelo
El modelo se entrenó utilizando una estructura de red neuronal recurrente, que es eficiente para manejar secuencias de datos como historias de transacciones. Esta arquitectura permite al modelo procesar las transacciones una a una, haciéndolo adecuado para la toma de decisiones en tiempo real en finanzas.
Resultados
Los resultados mostraron que el nuevo método mejoró significativamente el rendimiento al predecir comportamientos futuros basándose en datos de transacciones históricas. Superó consistentemente a los métodos tradicionales y generó Incrustaciones significativas para futuras tareas.
Importancia de las Tareas
Las dos tareas principales de este método, predecir eventos futuros y reconstruir eventos pasados, resultaron ser cruciales. Usar ambas tareas juntas proporcionó mejores resultados que usar cualquiera de las dos por separado. Esto indica que captar patrones de comportamiento a largo plazo es esencial para hacer predicciones precisas.
Aplicaciones Prácticas
Una aplicación importante fue la detección de fraudes. El modelo entrenado con el método propuesto mostró una gran capacidad para identificar transacciones fraudulentas de varias fuentes. Las incrustaciones generadas por el modelo llevaban información valiosa para tomar decisiones informadas sobre posibles fraudes.
Visualizando los Datos
Las incrustaciones se pudieron visualizar para dar insights sobre cómo el modelo categoriza diferentes tipos de transacciones. Por ejemplo, se encontró que los comerciantes que ofrecen servicios similares estaban agrupados en el espacio de incrustaciones, demostrando que el modelo aprendió relaciones significativas entre diferentes tipos de transacciones.
Direcciones Futuras
El éxito de este método abre varias avenidas para más investigación. El trabajo futuro podría enfocarse en abordar preocupaciones como la privacidad y los sesgos en los datos financieros, así como explorar el potencial de aplicar el modelo entrenado en situaciones con pocos datos.
Conclusión
En resumen, el método de aprendizaje auto-supervisado propuesto proporciona una herramienta poderosa para entender las transacciones financieras. Al predecir eventos futuros y reconstruir comportamientos pasados, captura la esencia de los datos de transacciones, permitiendo una mejor toma de decisiones en varias tareas financieras. Los resultados demuestran que modelos sofisticados entrenados en grandes conjuntos de datos pueden ofrecer mejoras significativas sobre enfoques tradicionales, allanando el camino para sistemas financieros más eficientes y efectivos.
Título: Towards a Foundation Purchasing Model: Pretrained Generative Autoregression on Transaction Sequences
Resumen: Machine learning models underpin many modern financial systems for use cases such as fraud detection and churn prediction. Most are based on supervised learning with hand-engineered features, which relies heavily on the availability of labelled data. Large self-supervised generative models have shown tremendous success in natural language processing and computer vision, yet so far they haven't been adapted to multivariate time series of financial transactions. In this paper, we present a generative pretraining method that can be used to obtain contextualised embeddings of financial transactions. Benchmarks on public datasets demonstrate that it outperforms state-of-the-art self-supervised methods on a range of downstream tasks. We additionally perform large-scale pretraining of an embedding model using a corpus of data from 180 issuing banks containing 5.1 billion transactions and apply it to the card fraud detection problem on hold-out datasets. The embedding model significantly improves value detection rate at high precision thresholds and transfers well to out-of-domain distributions.
Autores: Piotr Skalski, David Sutton, Stuart Burrell, Iker Perez, Jason Wong
Última actualización: 2024-01-04 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2401.01641
Fuente PDF: https://arxiv.org/pdf/2401.01641
Licencia: https://creativecommons.org/licenses/by-nc-sa/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.