Prévoir les prix des actions avec des modèles de langage

Prédire les prix des actions, c'est un peu comme deviner si ton chat va renverser un verre d'eau. Ça implique de prendre en compte pas mal de facteurs, des performances financières d'une boîte à ce que les gens racontent sur les réseaux sociaux. Si tu combines les rapports financiers, les prix d'actions passés et les Articles de news récents, tu peux avoir une bonne idée de ce qui pourrait se passer ensuite.

#Combiner Différents Types de Données

Pour faire nos prédictions boursières, on doit rassembler des infos de plusieurs sources. Ça inclut :

• Données financières : C'est le truc en détails comme les bilans et les comptes de résultat. Chaque entreprise cotée aux États-Unis doit partager ces infos chaque trimestre. C'est un peu comme montrer ton carnet de notes à tes parents.

• Données Historique des Prix : Ça regarde comment une action a performé dans le passé. Si le prix d'une action a oscillé comme des montagnes russes, ça pourrait nous donner des indices sur ce qui pourrait arriver à l'avenir.

• Articles de News : Les investisseurs surveillent souvent les nouvelles. Les réseaux sociaux et les articles sont comme le gossip du marché boursier ; ça peut influencer comment les gens se sentent à propos d'une entreprise.

#Utiliser des Modèles de Langage

On a décidé d'utiliser une technologie de pointe appelée Modèles de Langage Grande Échelle (LLMs) pour nous aider à faire des prédictions. Ces modèles sont comme des robots super intelligents qui peuvent lire et comprendre des textes. Ils peuvent gérer à la fois des données structurées (comme des chiffres) et des données non structurées (comme des articles de news). En donnant au modèle des données financières et des articles de news pertinents, on le pousse à prédire si le prix d'une action pourrait monter ou descendre.

Pour nos expériences, on a utilisé plusieurs types de LLMs, y compris GPT-3, GPT-4 et des versions LLaMA. Ces modèles ont montré qu'ils peuvent bien classifier les deux types de données.

#Comment On a Fait

On a rassemblé plein d'articles de news et de rapports financiers pour 20 entreprises cotées. Elles ont été choisies selon la fréquence de leurs transactions. On a ensuite créé un ensemble de données qui incluait :

• 5 000 articles de news couvrant ces entreprises d'octobre 2021 à janvier 2024.
• Données financières des rapports 10-K des entreprises, qui incluent divers indicateurs financiers.

On a utilisé une méthode appelée "augmentation de recherche" pour trouver les articles de news les plus pertinents et les associer aux données financières de l'entreprise. Comme ça, quand on demandait à nos modèles de prédire les mouvements de prix des actions, ils avaient tout le contexte nécessaire.

#Résumer les Articles de News

Avec tant de nouvelles, on a dû trouver comment les résumer. On a utilisé quelques méthodes :

1. Résumé extractif : Cette méthode sélectionne des phrases importantes d'un article. C'est comme trouver les meilleures répliques d'un film sans tout regarder.

2. Résumé Abstractive : Cette technique génère de nouvelles phrases qui capturent l'essentiel des articles. Imagine quelqu'un qui résume un film de deux heures en une seule phrase.

En utilisant ces techniques de résumé, on pouvait se concentrer sur les parties des news qui influençaient le plus les prix des actions.

#Créer des Prompts pour les Prédictions

Quand on a donné des infos à nos LLMs, on devait faire gaffe à la façon dont on structuraient nos prompts. Pense à des prompts comme des questions que tu poses pour obtenir une réponse. On a expérimenté différentes façons d'organiser les infos qu'on fournissait, car l'ordre peut vraiment changer la performance du modèle. On a inclus des sections sur l'entreprise, ses news récentes, ses données financières, et ensuite on a posé notre question principale : "Devrais-je investir dans cette entreprise ?"

#Tester Nos Prédictions

Pour voir comment nos modèles se débrouillaient, on a préparé un ensemble d'exemples de prompts. On a testé nos modèles dans différentes configurations : zéro-shot, deux-shots, et quatre-shots pour voir laquelle fonctionnait le mieux.

• Paramètre zéro-shot : On a juste posé la question au modèle sans exemples avant.
• Paramètre deux-shots : On a donné deux exemples.
• Paramètre quatre-shots : On a fourni quatre exemples.

Étonnamment, ajouter plus d'exemples n'a pas toujours conduit à une meilleure précision. C'était comme essayer d'apprendre de nouveaux tours à un vieux chien - ça ne marche pas toujours !

#Résultats et Constats

Notre recherche a montré que différents modèles ont des performances différentes. Certains modèles comme GPT-4 et LLaMA3 étaient meilleurs pour prédire les mouvements des prix des actions. Les meilleurs résultats venaient des modèles qui pouvaient équilibrer les deux types de données - chiffres financiers et extraits de news.

#Pourquoi Ça Compte

Alors pourquoi est-ce que ça pourrait intéresser quelqu'un ? Eh bien, savoir si le prix d'une action pourrait monter ou descendre peut aider les investisseurs à faire de meilleurs choix. Si un modèle peut prédire ces mouvements avec précision, ça pourrait éviter aux gens de faire de mauvais choix d'investissement - comme acheter une action juste avant qu'elle chute.

#Directions Futures

On a compris que même si l'utilisation de modèles de langage à grande échelle de cette manière est prometteuse, il y a encore beaucoup à améliorer. Pour nos prochaines étapes, on prévoit de peaufiner des modèles plus petits qui combinent données textuelles et numériques. On est aussi intéressé à changer notre approche, en passant de simples prédictions de mouvements de prix à des prévisions sur combien ça pourrait changer en pourcentage. Les actions, c'est un business compliqué, mais on est motivés à continuer d'apprendre !

#Conclusion

Au final, prédire les prix des actions, c'est un challenge complexe mais excitant. Avec le bon mélange de données financières, d'articles de news et de technologie intelligente, on peut améliorer nos chances de faire des prédictions précises. Et qui sait ? Peut-être qu'un jour, il y aura un chat qui ne renversera pas de verres d'eau !