Simple Science

Ciencia de vanguardia explicada de forma sencilla

# Informática# Aprendizaje automático

Avanzando en la Predicción de Series de Tiempo con el Modelo DAM

El modelo DAM mejora la precisión de las predicciones para varios datos de series temporales.

― 6 minilectura


El modelo DAM mejora laEl modelo DAM mejora laprevisión de seriestemporales.variados.predicciones para conjuntos de datosEl nuevo modelo ofrece mejores
Tabla de contenidos

La predicción de series temporales es importante para anticipar tendencias a lo largo del tiempo en varios campos como finanzas, clima y gestión de recursos. Sin embargo, crear modelos que funcionen bien en diferentes conjuntos de datos puede ser complicado. Este artículo presenta un nuevo método llamado DAM, o Modelo Analítico Aproximado Dependiente de Datos Profundos, que busca mejorar la predicción para múltiples tipos de datos de series temporales.

Los Retos de la Predicción de Series Temporales

Predecir datos de series temporales implica anticipar valores futuros basándose en observaciones pasadas. Los modelos tradicionales suelen asumir que los datos se recogen a intervalos regulares y tienen una longitud fija. Esto no siempre es cierto en situaciones de la vida real, donde los datos pueden ser irregulares y los métodos de recolección pueden variar significativamente.

Por ejemplo, piensa en un servicio de computación en la nube que tiene muchas cargas de trabajo que monitorear. Cada carga de trabajo puede tener un patrón diferente y un método de recolección de datos distinto. Entrenar modelos separados para cada carga de trabajo no es práctico. Por lo tanto, se necesita un método que pueda generalizar bien en diferentes conjuntos de datos y dominios.

Presentando el Modelo DAM

El modelo DAM ofrece una solución a los problemas que enfrenta la predicción de series temporales. Puede manejar datos irregulares y proporciona pronósticos para diferentes longitudes de tiempo. El DAM tiene tres características principales:

  1. Muestreo de Historia Flexible: El modelo puede utilizar historias muestreadas al azar, lo que le permite considerar tanto datos recientes como datos antiguos de manera efectiva.
  2. Arquitectura Transformer: Este es un tipo de arquitectura utilizada en el DAM que ayuda a procesar datos de manera eficiente.
  3. Pronóstico de Funciones Continuas: En lugar de predecir valores en puntos fijos, el DAM puede pronosticar a lo largo de un rango continuo de tiempo, lo que lo hace más adaptable.

Cómo Funciona el DAM

El DAM procesa datos de series temporales al tomar datos históricos y producir pronósticos mediante una serie de cálculos.

Muestreo de Datos Históricos

El primer paso implica muestrear datos históricos. En lugar de solo tomar los datos más recientes, el DAM muestrea datos de diferentes puntos en el tiempo. Esto ayuda al modelo a crear una visión más completa de los patrones subyacentes en los datos.

Redes Neuronales

Una vez que se muestrean los datos históricos, el siguiente paso implica utilizar una red neuronal, específicamente un modelo transformer. Este modelo procesa los datos y ayuda a aprender patrones complejos. La salida de la red neuronal consiste en coeficientes que se utilizan para predecir valores futuros.

Composición de Funciones Base

El DAM utiliza un método llamado composición de funciones base para hacer pronósticos. Esto significa que el modelo combina diferentes funciones matemáticas, lo que le ayuda a representar una variedad de patrones dentro de los datos. Esto permite que el DAM prediga valores futuros de manera fluida sin estar restringido a un marco de tiempo predeterminado.

Rendimiento del Modelo DAM

Para evaluar la efectividad del modelo DAM, se probó en varios conjuntos de datos, incluidos datos financieros y climáticos. Los resultados indican que superó a muchos modelos de predicción existentes.

Transferencia Zero-Shot

Una de las principales ventajas del DAM es su capacidad para funcionar bien en nuevos conjuntos de datos no vistos. Esta capacidad se conoce como transferencia zero-shot. Significa que el DAM puede aplicar lo que ha aprendido de entrenar en un conjunto de datos para hacer predicciones en un conjunto de datos completamente diferente sin necesidad de entrenamiento adicional. Esto es especialmente útil en situaciones del mundo real donde los nuevos datos pueden provenir de diversas fuentes.

Predicción a Largo Plazo

El DAM también sobresale en las predicciones a largo plazo. En algunas pruebas, pudo producir pronósticos precisos para plazos mucho más largos que los típicamente cubiertos por modelos tradicionales. Esta capacidad hace que el DAM sea adecuado para aplicaciones en industrias donde la planificación para el futuro es crucial, como la gestión de energía y finanzas.

Manejo de Datos Faltantes

En muchos conjuntos de datos, especialmente en la vida real, puede faltar información por varias razones. El modelo DAM está diseñado para ser robusto contra estas lagunas en los datos. Aún puede hacer predicciones precisas incluso cuando algunos valores históricos no están disponibles.

Características Adicionales del DAM

Más allá de sus capacidades de predicción, el DAM cuenta con otras características notables que mejoran su usabilidad y rendimiento.

Interpretabilidad

Uno de los retos con modelos complejos como las redes neuronales es que a menudo funcionan como "cajas negras". Esto significa que puede ser difícil entender cómo están haciendo sus predicciones. Sin embargo, el DAM proporciona un nivel de interpretabilidad a través de su composición de funciones base. Los usuarios pueden ver cómo diferentes componentes del modelo contribuyen a sus predicciones, lo que ayuda a comprender y confiar en las salidas del modelo.

Costo de Inferencia Flexible

El DAM también es flexible respecto a los recursos que requiere para hacer predicciones. Dependiendo de las necesidades, los usuarios pueden ajustar el tamaño del contexto y el horizonte de pronóstico, lo que permite que el modelo funcione de manera efectiva en entornos de bajos recursos o en dispositivos edge.

Conclusión

El modelo DAM representa un avance significativo en el campo de la predicción de series temporales. Al abordar desafíos comunes como datos irregulares, diferentes períodos de tiempo y generalización a través de diferentes conjuntos de datos, el DAM ofrece una herramienta versátil para numerosas aplicaciones. Su rendimiento, particularmente en transferencia zero-shot y pronósticos a largo plazo, muestra su potencial para un uso amplio en industrias que dependen de predicciones precisas.

A medida que la demanda de soluciones de predicción confiables sigue creciendo, el DAM ofrece una dirección emocionante para futuras investigaciones y aplicaciones prácticas en datos de series temporales. Ya sea para finanzas, clima o gestión de recursos, este modelo tiene el potencial de mejorar los procesos de toma de decisiones en varios campos.

Fuente original

Título: DAM: Towards A Foundation Model for Time Series Forecasting

Resumen: It is challenging to scale time series forecasting models such that they forecast accurately for multiple distinct domains and datasets, all with potentially different underlying collection procedures (e.g., sample resolution), patterns (e.g., periodicity), and prediction requirements (e.g., reconstruction vs. forecasting). We call this general task universal forecasting. Existing methods usually assume that input data is regularly sampled, and they forecast to pre-determined horizons, resulting in failure to generalise outside of the scope of their training. We propose the DAM - a neural model that takes randomly sampled histories and outputs an adjustable basis composition as a continuous function of time for forecasting to non-fixed horizons. It involves three key components: (1) a flexible approach for using randomly sampled histories from a long-tail distribution, that enables an efficient global perspective of the underlying temporal dynamics while retaining focus on the recent history; (2) a transformer backbone that is trained on these actively sampled histories to produce, as representational output, (3) the basis coefficients of a continuous function of time. We show that a single univariate DAM, trained on 25 time series datasets, either outperformed or closely matched existing SoTA models at multivariate long-term forecasting across 18 datasets, including 8 held-out for zero-shot transfer, even though these models were trained to specialise for each dataset-horizon combination. This single DAM excels at zero-shot transfer and very-long-term forecasting, performs well at imputation, is interpretable via basis function composition and attention, can be tuned for different inference-cost requirements, is robust to missing and irregularly sampled data {by design}.

Autores: Luke Darlow, Qiwen Deng, Ahmed Hassan, Martin Asenov, Rajkarn Singh, Artjom Joosen, Adam Barker, Amos Storkey

Última actualización: 2024-07-25 00:00:00

Idioma: English

Fuente URL: https://arxiv.org/abs/2407.17880

Fuente PDF: https://arxiv.org/pdf/2407.17880

Licencia: https://creativecommons.org/licenses/by/4.0/

Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.

Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.

Más de autores

Artículos similares