Évaluer les modèles de langage dans le raisonnement économique

Les grands modèles de langage (LLMs) sont devenus des outils populaires pour rédiger des rapports économiques et donner des conseils financiers. Cependant, leur vraie compréhension de l'Économie et leur capacité à raisonner sur des événements économiques ne sont pas vraiment testées. Pour combler ce vide, un nouveau jeu de données appelé EconNLI a été créé pour évaluer à quel point les LLMs peuvent comprendre des concepts économiques et tirer des conclusions à partir de scénarios économiques spécifiques.

#C'est quoi l'économie ?

L'économie, c'est l'étude de comment les gens et les organisations interagissent en ce qui concerne les ressources et l'argent. Elle couvre des aspects essentiels de la vie, comme comment les biens sont produits, distribués et consommés. Comprendre l'économie nous aide à saisir le fonctionnement de la société et à prédire des tendances futures.

#C'est quoi EconNLI ?

Le jeu de données EconNLI teste les LLMs sur deux tâches principales : (1) Le modèle peut-il déterminer si un événement en cause un autre ? (2) Le modèle peut-il produire des résultats plausibles basés sur un événement donné ?

Pour comprendre comment les LLMs performent, un exemple spécifique d'EconNLI est discuté. Prenons un scénario où la quantité de cash par personne diminue (le postulat). Est-ce que ça veut dire que le pouvoir d'achat de ce cash augmente (l'hypothèse) ? Ça nécessite des connaissances en théorie économique pour répondre correctement. Selon la théorie quantitative de la monnaie, si la quantité de cash diminue, les prix vont probablement aussi baisser, donc le pouvoir d'achat augmente.

#Évaluer les LLMs en économie

Pour évaluer la performance des LLMs avec le jeu de données EconNLI, les chercheurs examinent des tâches de Classification et de Génération. Pour la classification, on donne aux LLMs un postulat et une hypothèse, et ils doivent décider si le postulat cause l'hypothèse. Pour la tâche de génération, les LLMs doivent produire des résultats potentiels basés sur un postulat précis.

Les chercheurs ont testé différents modèles de langage, des open source aux commerciaux, et ont trouvé que beaucoup de modèles avaient des difficultés avec le raisonnement économique. Même des modèles avancés comme ChatGPT et GPT-4 ont montré des faiblesses dans ce domaine.

#Importance de l'étude

Comme les LLMs sont de plus en plus utilisés dans l'analyse économique et la prise de décisions, comprendre leurs limites est crucial. Les résultats obtenus avec EconNLI montrent que les LLMs peuvent parfois produire des conseils économiques incorrects ou peu fiables, ce qui peut être risqué pour des décisions importantes.

#Travaux connexes

Il y a eu beaucoup de développement dans les LLMs pour la finance et l'économie, avec divers modèles créés pour des tâches financières spécifiques. Par exemple, BloombergGPT et FinMA sont faits pour des applications financières. Cependant, les recherches passées ne se sont pas concentrées sur l'examen de la capacité de raisonnement des LLMs dans un contexte financier ou économique, ce qui rend EconNLI unique parmi les jeux de données existants.

#Construction du jeu de données EconNLI

La création du jeu de données EconNLI a impliqué plusieurs étapes. Les chercheurs ont rassemblé du contenu économique de Wikipedia et ont choisi des phrases qui mentionnent des relations causales. Ils ont préparé un ensemble d'événements et les ont organisés en paires de postulats et d'hypothèses.

Pour garantir l'exactitude du jeu de données, des LLMs et des experts humains ont été impliqués dans l'étiquetage des données d'entraînement et de test. Les paires positives incluaient des exemples où le postulat mène clairement à l'hypothèse selon des théories économiques, tandis que les paires négatives concernaient des cas où il n'y avait pas de lien causal.

#Étapes de construction du jeu de données

1. Préparation du corpus : Les chercheurs ont compilé une collection d'articles Wikipedia liés à l'économie.
2. Extraction d'événements : Des événements importants ont été extraits de ces phrases pour former la base des tâches de raisonnement.
3. Construction de paires positives et négatives : L'étape suivante a été de créer des paires de phrases où un événement pouvait en entraîner un autre. Des paires négatives ont également été créées, là où aucune relation causale n'était valide.

#Entraînement et test des modèles

Une fois le jeu de données construit, les LLMs ont été testés pour leurs capacités de classification et de génération.

#Approche de classification

En classification, les LLMs ont été utilisés pour déterminer si le premier événement provoquerait le deuxième événement. Différentes techniques ont été appliquées, comme le fine-tuning supervisé et les prompts zero-shot.

Les résultats ont montré que les LLMs, particulièrement ceux du domaine financier, ont mal performé dans la classification des événements économiques. Les meilleurs résultats venaient de modèles affinés comme LLAMA2, qui ont atteint une meilleure précision par rapport aux autres modèles.

#Approche de génération

Dans la tâche de génération, les LLMs devaient produire des résultats possibles basés sur un postulat donné. Les résultats ont montré que beaucoup de modèles ont produit des sorties incorrectes ou non pertinentes. Les modèles avaient souvent du mal à relier le postulat à une conséquence logique, ce qui entraînait des inexactitudes dans leurs réponses.

#Principales conclusions

L'évaluation a mis en évidence plusieurs points importants concernant les LLMs dans le domaine économique :

• Compréhension limitée : Beaucoup de modèles n'ont pas une saisie sophistiquée du raisonnement économique.
• Sorties inexactes : Les modèles produisaient fréquemment des réponses hallucination ou incorrectes, ce qui pouvait induire en erreur les utilisateurs dans des situations réelles.
• Variabilité des modèles : Alors que certains modèles performaient mieux que d'autres, aucun n'a atteint une précision parfaite dans le raisonnement sur les événements économiques.

#Recommandations pour l'utilisation

Étant donné les limites identifiées à travers EconNLI, il est crucial d'utiliser les LLMs avec prudence dans les contextes économiques. Les utilisateurs devraient vérifier les sorties des LLMs avec l'expertise humaine et ne pas se fier uniquement au contenu généré par les LLMs pour des décisions critiques.

#Conclusion

La création du jeu de données EconNLI offre une nouvelle référence pour évaluer les LLMs en raisonnement économique. Grâce aux tests et évaluations, il est évident que, même si les LLMs sont des outils puissants, ils ont des limites significatives pour comprendre pleinement l'économie et produire des sorties fiables. Une recherche continue est nécessaire pour améliorer leurs capacités de raisonnement et leurs applications en finance et en économie.

#Directions futures pour la recherche

Il y a deux domaines clés à explorer dans des études futures. D'abord, la recherche s'est principalement concentrée sur l'économie. Il est nécessaire d'évaluer les LLMs dans d'autres domaines spécifiques, comme le droit ou la santé, pour voir si des problèmes similaires de raisonnement se posent.

Ensuite, le jeu de données était basé sur du contenu Wikipedia, qui peut ne pas capturer la complexité totale des situations économiques réelles. La recherche future devrait chercher à diversifier les sources de données pour une évaluation plus complète des capacités des LLMs dans les tâches de raisonnement économique.

En mettant en lumière ces défis, l'étude vise à inspirer les futurs chercheurs à travailler sur l'amélioration de la performance des LLMs dans les contextes économiques et d'autres domaines connexes.