Prevendo Preços de Ações com Modelos de Linguagem

Prever preços de ações é tipo adivinhar se seu gato vai derrubar um copo d'água. Envolve olhar pra várias coisas, desde o desempenho financeiro da empresa até o que a galera tá falando nas redes sociais. Se você juntar relatórios financeiros, preços de ações anteriores e notícias recentes, dá pra ter uma boa ideia do que pode rolar a seguir.

#Juntando Diferentes Tipos de Dados

Pra fazer nossas previsões de ações, precisamos juntar informações de vários lugares. Isso inclui:

• Dados Financeiros: Essas são as informações detalhadas tipo demonstrações de resultados e balanços. Toda empresa pública nos EUA precisa compartilhar essas informações a cada três meses. É como mostrar seu boletim pros seus pais.

• Dados de Preços Históricos: Isso olha como uma ação se comportou no passado. Se o preço de uma ação subiu e desceu igual montanha-russa, pode dar pistas sobre o que pode acontecer no futuro.

• Artigos de Notícias: Investidores costumam prestar muita atenção nas notícias. Redes sociais e matérias são tipo o babado do mercado de ações; elas podem influenciar como as pessoas se sentem sobre uma empresa.

#Usando Modelos de Linguagem

Decidimos usar uma tecnologia chique chamada Modelos de Linguagem Grandes (LLMs) pra ajudar a fazer previsões. Esses modelos são como robôs superinteligentes que conseguem ler e entender texto. Eles conseguem lidar com dados estruturados (tipo números) e dados não estruturados (tipo notícias). Ao alimentar o modelo com dados financeiros e notícias relevantes, a gente pede pra ele prever se o preço de uma ação pode subir ou descer.

Pros nossos experimentos, usamos vários tipos de LLMs, incluindo GPT-3, GPT-4 e versões do LLaMA. Esses modelos mostraram que conseguem classificar os dois tipos de dados de forma eficaz.

#Como Fizemos

Juntamos um monte de artigos de notícias e relatórios financeiros de 20 empresas que têm ações na bolsa. Essas foram escolhidas com base na frequência que suas ações são negociadas. Criamos um conjunto de dados que incluía:

• 5.000 artigos de notícias cobrindo essas empresas de outubro de 2021 até janeiro de 2024.
• Dados financeiros dos relatórios 10-K das empresas, que incluem várias métricas financeiras.

Usamos um método chamado "aumento de recuperação" pra encontrar os artigos de notícias mais relevantes e conectar com os dados financeiros da empresa. Assim, quando pedimos pros nossos modelos preverem movimentos de preços de ações, eles já tinham todo o contexto necessário.

#Resumindo Artigos de Notícias

Com tanta notícia por aí, tivemos que descobrir como resumir tudo isso. Usamos alguns métodos:

1. Resumir Extrativo: Esse método pega as frases mais importantes de um artigo. É tipo encontrar as melhores falas de um filme sem ver tudo.

2. Resumir Abstrativo: Essa técnica gera novas frases que capturam a essência dos artigos. Imagina alguém resumindo um filme de duas horas em uma única frase.

Usando essas técnicas de resumo, conseguimos focar nas partes das notícias que mais influenciaram os preços das ações.

#Criando Prompts para Previsões

Quando alimentamos informações pros nossos LLMs, precisávamos cuidar de como estruturamos nossos prompts. Pense nos prompts como perguntas que você faz pra obter uma resposta. Testamos diferentes maneiras de organizar as informações que fornecemos, já que a ordem pode realmente mudar como o modelo se sai. Incluímos seções sobre a empresa, suas notícias recentes, seus dados financeiros e então fizemos nossa pergunta principal: "Devo investir nessa empresa?"

#Testando Nossas Previsões

Pra ver como nossos modelos se saíram, preparamos um conjunto de prompts de exemplo. Testamos nossos modelos sob diferentes configurações - zero-shot, two-shot e four-shot - pra ver qual funcionava melhor.

• Configuração zero-shot: A gente só fez a pergunta pro modelo sem exemplos anteriores.
• Configuração two-shot: Fornecemos dois exemplos.
• Configuração four-shot: Fornecemos quatro exemplos.

Surpreendentemente, adicionar mais exemplos nem sempre levou a uma precisão melhor. Era tipo tentar ensinar truques novos pra um cachorro velho - nem sempre dá certo!

#Resultados e Descobertas

Nossa pesquisa mostrou que diferentes modelos se saíram de maneiras diferentes. Alguns modelos, como GPT-4 e LLaMA3, foram melhores em prever movimentos de preços de ações. Os melhores resultados vieram de modelos que conseguiram equilibrar os dois tipos de dados - números financeiros e pequenos trechos de notícias.

#Por Que Isso Importa

Mas por que alguém deveria se importar com essas previsões? Bom, saber se o preço de uma ação pode subir ou descer pode ajudar os investidores a tomarem decisões melhores. Se um modelo pode prever esses movimentos com precisão, pode salvar as pessoas de fazerem escolhas ruins de investimento - como comprar uma ação bem antes dela despencar.

#Direções Futuras

Aprendemos que, embora usar modelos de linguagem grandes dessa forma seja promissor, ainda tem muito a melhorar. Pros nossos próximos passos, planejamos ajustar modelos menores que combinem dados textuais e numéricos. Também estamos interessados em mudar nossa abordagem de prever se a ação vai subir ou descer pra prever quanto ela pode mudar em termos percentuais. A bolsa é um negócio complicado, mas estamos empolgados pra continuar aprendendo!

#Conclusão

No final, prever preços de ações é um desafio complexo, mas emocionante. Com a mistura certa de dados financeiros, artigos de notícias e tecnologia inteligente, podemos melhorar nossas chances de fazer previsões precisas. E quem sabe? Talvez um dia haja um gato que não derrube nenhum copo d'água!