Prediciendo precios de acciones con modelos de lenguaje

Predecir los precios de las acciones es como adivinar si tu gato va a volcar un vaso de agua. Involucra mirar un montón de factores, desde el rendimiento financiero de una empresa hasta lo que la gente dice en las redes sociales. Si combinas informes financieros, precios de acciones pasados y Artículos de Noticias recientes, puedes tener una buena idea de lo que podría pasar después.

#Combinando Diferentes Tipos de Datos

Para hacer nuestras predicciones de acciones, necesitamos juntar información de varios lugares. Esto incluye:

• Datos Financieros: Son los detalles, como los estados de resultados y los balances. Cada empresa pública en EE. UU. tiene que compartir esta info cada trimestre. Es como mostrar tu boleta a tus papás.

• Datos Históricos de Precios: Esto ve cómo se ha comportado una acción en el pasado. Si el precio de las acciones de una empresa ha subido y bajado como una montaña rusa, podría darnos pistas sobre lo que podría pasar en el futuro.

• Artículos de Noticias: Los inversores suelen prestar atención a las noticias. Las redes sociales y los artículos son como los rumores del mercado de acciones; pueden influir en cómo la gente se siente acerca de una empresa.

#Usando Modelos de Lenguaje

Decidimos usar una tecnología moderna llamada Modelos de Lenguaje Grande (LLMs) para ayudarnos a hacer predicciones. Estos modelos son como robots muy inteligentes que pueden leer y entender texto. Pueden manejar tanto datos estructurados (como números) como datos no estructurados (como artículos de noticias). Alimentando al modelo con datos financieros y artículos relevantes, le pedimos que prediga si el precio de una acción podría subir o bajar.

Para nuestros experimentos, usamos varios tipos de LLMs, incluyendo GPT-3, GPT-4 y versiones de LLaMA. Estos modelos han demostrado que pueden clasificar ambos tipos de datos eficazmente.

#Cómo Lo Hicimos

Reunimos un montón de artículos de noticias e informes financieros de 20 empresas que cotizan en bolsa. Estas fueron elegidas según la frecuencia con la que se negocian sus acciones. Luego creamos un conjunto de datos que incluía:

• 5,000 artículos de noticias sobre estas empresas desde octubre de 2021 hasta enero de 2024.
• Datos financieros de los informes 10-K de las empresas, que incluyen varios indicadores financieros.

Usamos un método llamado "aumento de recuperación" para encontrar los artículos de noticias más relevantes y unirlos a los datos financieros de la empresa. Así, cuando le pedimos a nuestros modelos que predijeran los movimientos de precios de las acciones, tenían todo el contexto necesario.

#Resumiendo Artículos de Noticias

Con tanta noticia por ahí, tuvimos que averiguar cómo resumirla. Usamos un par de métodos:

1. Resumen Extractivo: Este método elige las frases importantes de un artículo. Es como encontrar las mejores citas de una película sin ver todo.

2. Resumen Abstractivo: Esta técnica genera nuevas frases que capturan la esencia de los artículos. Imagina a alguien resumiendo una película de dos horas en una sola frase.

Usando estas técnicas de resumen, pudimos enfocarnos en las partes de las noticias que más influían en los precios de las acciones.

#Creando Prompts para Predicciones

Cuando alimentamos información a nuestros LLMs, tuvimos que ser cuidadosos con cómo estructuramos nuestros prompts. Piensa en los prompts como preguntas que haces para obtener una respuesta. Experimentamos con diferentes formas de organizar la información que proporcionamos, ya que el orden puede cambiar mucho cómo funciona el modelo. Incluimos secciones sobre la empresa, sus noticias recientes, sus datos financieros y luego preguntamos nuestra pregunta principal: "¿Debería invertir en esta empresa?"

#Probando Nuestras Predicciones

Para ver qué tan bien funcionaron nuestros modelos, preparamos un conjunto de prompts de muestra. Probamos nuestros modelos bajo diferentes configuraciones: cero-shot, two-shot y four-shot, para ver cuál funcionaba mejor.

• Configuración cero-shot: Solo le preguntamos al modelo la pregunta sin ejemplos previos.
• Configuración two-shot: Proporcionamos dos ejemplos.
• Configuración four-shot: Proporcionamos cuatro ejemplos.

Sorprendentemente, añadir más ejemplos no siempre llevó a una mejor precisión. Fue como intentar enseñar trucos nuevos a un perro viejo- ¡no siempre funciona!

#Resultados y Hallazgos

Nuestra investigación mostró que diferentes modelos tuvieron un rendimiento diferente. Algunos modelos como GPT-4 y LLaMA3 fueron mejores para predecir movimientos de precios de acciones. Los mejores resultados vinieron de modelos que podían equilibrar ambos tipos de datos: números financieros y fragmentos de noticias.

#Por Qué Importa

Entonces, ¿por qué debería importarle a alguien estas predicciones? Bueno, saber si el precio de una acción podría subir o bajar puede ayudar a los inversores a tomar mejores decisiones. Si un modelo puede predecir estos movimientos con precisión, podría salvar a la gente de hacer malas elecciones de inversión-como comprar una acción justo antes de que se desplome.

#Direcciones Futuras

Aprendimos que aunque usar modelos de lenguaje grande de esta manera es prometedor, todavía hay mucho que mejorar. Para nuestros próximos pasos, planeamos ajustar modelos más pequeños que combinen datos textuales y numéricos. También nos interesa cambiar nuestro enfoque de predicciones simples de si la acción subirá o bajará a predecir cuánto podría cambiar en términos de porcentaje. Las acciones son un negocio complicado, pero estamos ansiosos por seguir aprendiendo.

#Conclusión

Al final, predecir precios de acciones es un desafío complejo pero emocionante. Con la combinación correcta de datos financieros, artículos de noticias y tecnología inteligente, podemos mejorar nuestras posibilidades de hacer predicciones precisas. ¿Y quién sabe? Tal vez algún día haya un gato que no voltee ningún vaso de agua.