Comparaison des modèles de deep learning pour la prévision météo
Une étude sur l’efficacité de différents modèles DLWP dans les prévisions météo.
― 8 min lire
Table des matières
Les Modèles de prévision météo par apprentissage profond (DLWP) ont fait d'énormes progrès ces dernières années. Maintenant, on les voit comme de sérieux concurrents par rapport aux méthodes classiques de prévision, connues sous le nom de prévision numérique du temps (NWP). Différents modèles DLWP, comme U-Net, Transformer, Réseau de neurones graphes (GNN) et Opérateur neural de Fourier (FNO), ont montré qu'ils pouvaient prédire les conditions atmosphériques.
Cependant, comme ces modèles diffèrent dans leurs méthodes d'entraînement, les Données utilisées et la durée de leurs Prévisions, c'est pas clair lequel d'entre eux est le meilleur pour la prévision météo. Dans cet article, on présente une étude contrôlée pour comparer les principaux modèles DLWP, en utilisant des données synthétiques issues des équations de Navier-Stokes et des données météo réelles.
Objectifs de recherche
Le but principal de notre étude est d'évaluer les modèles DLWP en fonction de :
- Leur capacité à faire des prévisions précises à court et moyen terme.
- Leur stabilité lors des prévisions à long terme.
- Leur capacité à fournir des prévisions qui ont du sens par rapport aux schémas météo physiques.
On veut aider la communauté à choisir le modèle DLWP le plus adapté et créer une méthode standardisée pour comparer ces modèles.
Méthodologie
Dans notre analyse, on a évalué divers modèles DLWP sous des conditions contrôlées. On a commencé avec des données synthétiques pour évaluer leurs performances. Ensuite, on est passé à des données météo réelles.
Expérimentations sur données synthétiques
On a commencé notre expérimentation en générant des données synthétiques en deux dimensions basées sur les équations de Navier-Stokes. Ces équations décrivent comment les fluides se comportent, ce qui est pertinent pour prédire la dynamique météo.
Nos expériences se sont concentrées sur trois questions principales :
- Quel modèle est le meilleur pour prédire le comportement dans des environnements moins Turbulents ?
- Les résultats changent-ils si on teste dans des conditions plus turbulentes ?
- Comment le nombre d'échantillons d'entraînement influence-t-il la performance du modèle ?
On a généré des données moins turbulentes avec un nombre de Reynolds plus bas et des données plus turbulentes avec un nombre de Reynolds plus élevé. Chaque modèle a été entraîné avec différents nombres d'échantillons pour évaluer leurs performances.
Données météo réelles
Une fois qu'on a terminé les tests avec les données synthétiques, on est passé aux données réelles pour voir si les résultats précédents se confirmaient. On a utilisé un ensemble de données connu sous le nom de WeatherBench, qui contient des données météo historiques.
On visait à répondre aux questions suivantes avec ces données réelles :
- Quel modèle est le meilleur pour les prévisions à court et moyen terme ?
- Comment les modèles se comportent-ils dans les prévisions à long terme ?
- Les modèles peuvent-ils créer des prévisions qui reflètent fidèlement les phénomènes météorologiques physiques ?
Résultats des expériences sur données synthétiques
Dans nos expériences sur données synthétiques, on a trouvé que différents modèles performaient mieux dans des conditions variées. Par exemple, le modèle FNO a montré de bons résultats pour prédire des données moins turbulentes. En revanche, pour des données plus turbulentes, certains modèles ont galéré à produire des prévisions précises.
On a évalué les modèles selon leur erreur quadratique moyenne (RMSE), qui mesure l'exactitude des prédictions. Des valeurs de RMSE plus basses indiquent de meilleures performances.
Les résultats ont montré que le modèle TFNO2D était le meilleur, surtout dans des conditions moins turbulentes. La performance est restée constante même quand on a augmenté le nombre d'échantillons d'entraînement.
D'autres modèles, comme SwinTransformer et ConvLSTM, ont montré des succès variables selon le niveau de turbulence et le nombre de paramètres utilisés. Cependant, tous les modèles avaient des limites, et aucun n'a systématiquement surpassé les autres dans toutes les conditions.
Résultats des données météo réelles
Le passage aux données réelles a révélé des conclusions intéressantes. Ici, les modèles ont été évalués en fonction de leur capacité prédictive sur des événements météo réels.
Pour les prévisions à court et moyen terme, des modèles comme ConvLSTM et SwinTransformer se sont avérés parmi les meilleurs. Ils prédisaient efficacement les conditions météo jusqu'à 14 jours à l'avance.
Cependant, en passant aux prévisions à long terme, certains modèles, dont ConvLSTM, ont commencé à diminuer en précision. Ils ont eu du mal à maintenir l'exactitude, entraînant des prévisions peu réalistes sur de longues périodes.
On a également examiné à quel point les modèles pouvaient reproduire des schémas météo connus, comme les schémas de vent. Certains modèles étaient bien meilleurs que d'autres pour produire des prévisions qui s'alignaient sur ces schémas observés dans la nature.
Notamment, des modèles comme SFNO et GraphCast ont montré de bonnes performances pour générer des prévisions stables à long terme, ce qui est crucial pour les prévisions climatiques.
Discussion
Les résultats indiquent que, bien que les modèles DLWP montrent du potentiel, chacun a ses forces et faiblesses. Le meilleur choix de modèle peut dépendre des besoins spécifiques de prévision, comme la durée et la complexité des événements météo prévus.
Prévisions à court et moyen terme
Pour les prévisions allant jusqu'à 14 jours, ConvLSTM et SwinTransformer se sont démarqués comme des choix fiables. Ces modèles s'adaptent rapidement à différents schémas météo et se sont avérés efficaces pour les prévisions à court terme. Leur capacité à incorporer à la fois des données actuelles et des informations passées renforce leur précision.
Prévisions à long terme
Lorsqu'il s'agit de prévisions sur une année ou plus, les modèles rencontrent de plus grands défis. Beaucoup ont commencé à produire des prévisions moins réalistes après un certain temps, souvent en raison de l'instabilité de leurs prédictions.
Cependant, SFNO et GraphCast ont réussi à maintenir une précision raisonnable même après avoir fait des prévisions à long terme. Cette stabilité est essentielle pour les modèles météo, car elle fournit une base pour les prévisions climatiques et informe les processus de prise de décision liés aux activités dépendantes de la météo.
Représentation physique dans les modèles
Un aspect intéressant de notre étude était la cohérence physique des modèles. Certains ont mieux performé que d'autres lorsqu'il s'agissait de produire des prévisions qui correspondaient à de véritables phénomènes météo. Comprendre à quel point un modèle se conforme aux règles physiques régissant la météo peut aider les développeurs à améliorer les modèles actuels et à en créer de nouveaux.
Conclusion
En résumé, notre évaluation des modèles DLWP a révélé que le choix du modèle affecte significativement l'exactitude des prévisions. Chaque modèle a ses forces et faiblesses selon la durée et les conditions évaluées.
Pour les prévisions à court et moyen terme, ConvLSTM et SwinTransformer sont de solides candidats. En ce qui concerne les prévisions à long terme, SFNO et GraphCast se démarquent comme des options plus stables.
Les futurs travaux se concentreront sur l'augmentation de l'efficacité de ces modèles en affinant leurs architectures et en améliorant leurs protocoles d'entraînement. L'objectif est de développer des modèles qui non seulement prédisent la météo avec précision, mais s'alignent également étroitement sur les principes physiques qui régissent notre atmosphère.
À mesure que la technologie de prévision météo continue d'avancer, les collaborations et discussions au sein de la communauté seront essentielles. Des efforts de modélisation améliorés conduiront finalement à de meilleures prévisions météo, bénéficiant à divers secteurs et communautés dans le monde entier.
Titre: Comparing and Contrasting Deep Learning Weather Prediction Backbones on Navier-Stokes and Atmospheric Dynamics
Résumé: Remarkable progress in the development of Deep Learning Weather Prediction (DLWP) models positions them to become competitive with traditional numerical weather prediction (NWP) models. Indeed, a wide number of DLWP architectures -- based on various backbones, including U-Net, Transformer, Graph Neural Network (GNN), and Fourier Neural Operator (FNO) -- have demonstrated their potential at forecasting atmospheric states. However, due to differences in training protocols, forecast horizons, and data choices, it remains unclear which (if any) of these methods and architectures are most suitable for weather forecasting and for future model development. Here, we step back and provide a detailed empirical analysis, under controlled conditions, comparing and contrasting the most prominent DLWP models, along with their backbones. We accomplish this by predicting synthetic two-dimensional incompressible Navier-Stokes and real-world global weather dynamics. In terms of accuracy, memory consumption, and runtime, our results illustrate various tradeoffs. For example, on synthetic data, we observe favorable performance of FNO; and on the real-world WeatherBench dataset, our results demonstrate the suitability of ConvLSTM and SwinTransformer for short-to-mid-ranged forecasts. For long-ranged weather rollouts of up to 365 days, we observe superior stability and physical soundness in architectures that formulate a spherical data representation, i.e., GraphCast and Spherical FNO. In addition, we observe that all of these model backbones "saturate," i.e., none of them exhibit so-called neural scaling, which highlights an important direction for future work on these and related models. The code is available at https://github.com/amazon-science/dlwp-benchmark.
Auteurs: Matthias Karlbauer, Danielle C. Maddix, Abdul Fatir Ansari, Boran Han, Gaurav Gupta, Yuyang Wang, Andrew Stuart, Michael W. Mahoney
Dernière mise à jour: 2024-10-02 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2407.14129
Source PDF: https://arxiv.org/pdf/2407.14129
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://cds.climate.copernicus.eu/toolbox/doc/how-to/13_how_to_calculate_climatologies_and_anomalies/13_how_to_calculate_climatologies_and_anomalies.html
- https://ww2010.atmos.uiuc.edu/
- https://www.eoas.ubc.ca/courses/atsc113/sailing/met_concepts/09-met-winds/9a-global-wind-circulations/
- https://github.com/NVIDIA/modulus/tree/main/modulus/models/graphcast
- https://tex.stackexchange.com/questions/149807/autoref-subsections-in-appendix