Évaluation des modèles de prévision météo basés sur les données

La prévision météorologique a fait de gros progrès ces dernières années, surtout avec l'émergence de Modèles basés sur les données. Ces modèles peuvent fournir des prévisions rapides, précises et économiques. Cependant, même s'ils sont prometteurs, il faut encore évaluer leur performance dans des conditions réelles.

#Qu'est-ce que la prévision météorologique basée sur les données ?

Les modèles de prévision météorologique basés sur les données utilisent différentes sources d'infos pour prévoir les conditions météorologiques. Ils sont conçus pour apprendre des données météorologiques passées et faire des prédictions sur le futur. Un modèle comme FourCastNet a attiré l'attention pour sa grande précision lorsqu'il a été testé avec des données historiques.

#Le défi des évaluations actuelles

La plupart des évaluations existantes de ces modèles s’appuient sur un dataset appelé ERA5, qui mêle observations du monde réel et sorties de prévisions numériques. Bien que ce dataset soit de haute qualité, il ne remplace pas les véritables observations météorologiques sur le terrain. Se fier uniquement à ERA5 peut mener à des conclusions trompeuses sur la performance d'un modèle en conditions réelles.

#L'importance des données réelles

Pour vraiment comprendre comment ces modèles basés sur les données fonctionnent, il faut les tester avec des données météorologiques réelles collectées à partir de diverses sources. Ce type d'évaluation aide à fournir une image plus précise de leur performance en pratique. Ces évaluations sont particulièrement importantes pour les secteurs qui dépendent beaucoup des prévisions météorologiques, comme l'agriculture, l'énergie et le transport.

#Présentation des observations in situ

Pour répondre au besoin de tests en conditions réelles, un dataset d’observations in situ du Système d’Ingestion de Données d'Assimilation Météorologique de la NOAA (MADIS) a été créé. Ce dataset regroupe de nombreuses observations météorologiques vérifiées collectées à l’échelle mondiale. Ces observations peuvent servir de référence pour valider la performance des modèles de prévision basés sur les données face aux conditions météorologiques réelles.

#Comparaison des modèles basés sur les données avec les modèles traditionnels

En utilisant le dataset MADIS, on peut comparer FourCastNet avec un modèle de prévision numérique traditionnel, connu sous le nom de Système de prévision intégré (IFS). Bien que FourCastNet montre de meilleures performances que l'IFS avec les données ERA5, cet avantage n'est pas aussi évident lorsqu'on le compare aux observations réelles. Cette découverte met en avant comment la performance d'un modèle peut varier considérablement selon les données utilisées pour l'évaluer.

#La nécessité d'évaluations approfondies

Évaluer les modèles basés sur les données uniquement avec des données de simulation de haute qualité comme ERA5 peut donner une vision incomplète de leur performance. Les évaluations dans le monde réel sont cruciales pour comprendre comment ces modèles se comportent dans des scénarios réels, où les conditions peuvent varier énormément des environnements simulés. Cela souligne également l'importance de disposer de références adéquates pour évaluer la fiabilité des modèles.

#Le rôle des observations MADIS

Les observations MADIS permettent une évaluation impartiale des modèles de prévision basés sur les données et des modèles traditionnels. Étant donné que ces observations reflètent les conditions météorologiques réelles sur le terrain, elles sont essentielles pour une comparaison équitable. L'objectif est d'utiliser ces données pour créer des références sur lesquelles tous les modèles météorologiques peuvent être testés, garantissant des résultats cohérents et significatifs.

#Caractéristiques du dataset

Le dataset MADIS2020 contient plus de 700 millions d'observations collectées tout au long de 2020. Il se concentre sur des variables météorologiques clés telles que la température, le point de rosée et la vitesse du vent. Chaque observation est accompagnée de drapeaux de Contrôle de qualité indiquant la fiabilité des données. Les observations sont classées selon qu'elles répondent à différents niveaux de contrôle de qualité.

#Niveaux de contrôle de qualité

Le système de contrôle de qualité classe les observations en plusieurs niveaux :

• Niveau 1 : Des vérifications de base confirment que les observations se situent dans des plages raisonnables.
• Niveau 2 : Des vérifications supplémentaires garantissent la cohérence interne et la stabilité temporelle.
• Niveau 3 : Des vérifications supplémentaires comparent les observations individuelles avec celles des alentours pour vérifier la cohérence.

Seules les observations qui répondent au moins aux vérifications de niveau 2 sont incluses dans le dataset pour l'analyse. Cette approche aide à éliminer les données bruyantes, garantissant que les observations utilisées pour l'évaluation sont aussi précises que possible.

#Distribution des données

Le dataset n'est pas uniformément réparti à l'échelle mondiale. Les observations dans des zones comme l'Amérique du Nord et l'Europe sont plus abondantes, tandis que les régions comme l'Asie et le Sud global ont moins d'observations de qualité. Ce biais géographique peut impacter la performance et l'évaluation des modèles, rendant crucial de prendre en compte ces différences lors de l'utilisation des données.

#Évaluation de la performance des modèles

Pour évaluer la performance de FourCastNet avec les observations MADIS, nous avons effectué des comparaisons avec le modèle IFS. Les premiers tests ont montré que bien que FourCastNet ait surpassé l'IFS avec les données ERA5, cet avantage s'est estompé lorsqu'on s'est penché sur les observations réelles. Les deux modèles ont eu des performances similaires face aux données réelles, indiquant que les conditions d'entraînement des modèles peuvent grandement influencer leur efficacité.

#Implications pour la recherche future

Les différences de performance soulèvent des questions importantes sur la façon dont les modèles basés sur les données peuvent être améliorés pour des applications réelles. Un domaine potentiel d'amélioration est la manière dont ces modèles sont initialisés. Utiliser des données de départ plus précises, reflétant les conditions opérationnelles, pourrait améliorer leur précision prédictive.

#Le rôle de l'interpolation

Les prévisions météorologiques doivent souvent être livrées pour des endroits spécifiques, pas seulement des zones générales. Cela nécessite des techniques d'interpolation pour convertir les prévisions basées sur des grilles en prédictions spécifiques à un point. L’interpolation bilinéaire est une méthode courante utilisée à cet effet. Cependant, explorer des méthodes d'interpolation plus avancées pourrait donner de meilleurs résultats, surtout dans les zones où les caractéristiques géographiques jouent un rôle significatif dans les modèles météorologiques.

#Traiter le biais géographique

Le biais géographique dans le dataset signifie que certaines zones peuvent ne pas être suffisamment représentées dans les évaluations météorologiques. En conséquence, les modèles basés sur les données formés sur ces datasets peuvent ne pas bien performer dans les régions où les données sont rares. Traiter ce biais sera essentiel pour améliorer la fiabilité des prévisions météorologiques dans divers contextes géographiques.

#Conclusion

Les modèles de prévision météorologique basés sur les données ont fait d'énormes progrès et montrent un grand potentiel pour une utilisation opérationnelle. Cependant, ces modèles doivent être rigoureusement testés avec des données réelles pour assurer leur fiabilité. La disponibilité du dataset MADIS2020 offre une opportunité d'effectuer ces évaluations de manière significative.

En comparant des modèles comme FourCastNet avec des équivalents traditionnels dans des situations pratiques, les chercheurs peuvent mieux comprendre leurs forces et leurs faiblesses. Ce processus d'évaluation est vital pour prendre des décisions éclairées concernant l'utilisation des modèles basés sur les données dans la prévision météorologique en conditions réelles. Les travaux futurs devraient se concentrer sur le perfectionnement de ces modèles et veiller à ce qu'ils soient capables de fournir des prévisions précises dans divers contextes géographiques.