Intégrer les petits producteurs d'énergie dans les marchés

La façon dont on génère et utilise l'énergie évolue. De plus en plus de gens se tournent vers de petites sources d'énergie comme les panneaux solaires et les batteries, connus sous le nom de ressources énergétiques décentralisées (DERs). Ces petites sources peuvent rendre notre système électrique plus flexible et efficace, tout en soutenant un futur énergétique plus vert. Cependant, pour que ces petits producteurs d'énergie, souvent appelés Prosommateurs, puissent participer avec succès au grand marché de l'énergie, il faut de bonnes manières de les impliquer.

En 2020, une règle appelée Order 2222 a été mise en place aux États-Unis pour permettre à ces petites sources d'énergie de se regrouper et de concurrencer sur le marché de l'énergie aux côtés des fournisseurs d'énergie traditionnels. Mais même si cette règle est un bon début, il reste encore pas mal de détails à régler. On ne sait pas encore comment aider les petits producteurs à participer efficacement.

#Le défi de la participation au marché

Pour s'attaquer à ce problème, il est important de voir comment différents groupes qui gèrent ces petites ressources énergétiques, appelés Agrégateurs, peuvent collaborer sur le marché de l'énergie. Chaque agrégateur gère un ensemble de ces ressources et soumet des offres sur le marché au nom des propriétaires. Une partie clé de ce processus est les interactions répétées sur le marché, permettant aux participants d'apprendre et d'adapter leurs stratégies au fil du temps.

Les agrégateurs influencent les prix sur le marché, connus sous le nom de prix marginaux localisés (LMPs), qui représentent le coût de fournir une unité supplémentaire d'électricité à un endroit spécifique. Pour modéliser cette interaction, on utilise une approche spéciale appelée jeu de champ moyen (MFG), qui observe le comportement moyen des participants au marché. Ça facilite la tâche pour chaque agrégateur de prédire les tendances de prix et de prendre des décisions intelligentes sans avoir à suivre chaque détail des actions de chaque participant.

#Gérer plusieurs agrégateurs

Pour chaque agrégateur, on se concentre sur les stratégies optimisées pour gérer les DERs grâce à une méthode appelée Contrôle de champ moyen (MFC). Cette méthode aide les agrégateurs à trouver la meilleure façon de gérer leurs ressources tout en gérant les incertitudes, comme les variations de production solaire ou les changements de demande. Ça leur permet de faire de meilleurs choix et d'améliorer leurs stratégies pour participer au marché.

La partie unique de notre approche est la combinaison des techniques MFG et MFC. Cela signifie qu'on peut modéliser efficacement comment plusieurs agrégateurs interagissent sur le marché tout en permettant à chacun de prendre ses propres décisions. On a aussi introduit une méthode basée sur l'Apprentissage par renforcement (RL), qui aide chaque agrégateur à apprendre les meilleures stratégies dans cet environnement de marché. Cette méthode basée sur le RL est conçue pour s'adapter automatiquement aux conditions du marché, entraînant de meilleurs résultats globaux.

#Étude de cas : une application réelle

Pour voir à quel point cette approche fonctionne, on l'a testée sur un modèle basé sur le réseau électrique de l'île d'Oahu. On a utilisé des données réelles pour simuler le comportement des panneaux solaires et d'autres sources d'énergie dans ce contexte. Les résultats ont montré que notre approche permet aux prix sur le marché de se stabiliser rapidement, et en combinant le stockage d'énergie avec notre méthode d'apprentissage, on a constaté une diminution significative des fluctuations de prix par rapport aux modèles qui n'incluaient pas le stockage.

#Le rôle des prosommateurs

Avec la montée en popularité des DERs comme les panneaux solaires et les batteries, comprendre leur impact sur les marchés de l'énergie est essentiel. Ces ressources sont passées de simples ajouts à des éléments centraux des discussions sur la manière de rendre nos systèmes énergétiques plus flexibles et durables. L'Order FERC 2222 reconnaît l'importance des DERs et encourage leur implication sur les marchés de l'énergie de gros. Néanmoins, des défis subsistent en ce qui concerne la manière dont les petits producteurs d'énergie peuvent rejoindre le marché efficacement.

Bien que l'ordre pose les bases, différentes organisations proposent diverses méthodes pour inclure ces petites sources d'énergie sur le marché. Il reste encore une certaine incertitude sur les méthodes qui fonctionneront le mieux. Une grande partie de la recherche actuelle se concentre sur la façon dont un seul agrégateur gère ses ressources, souvent en supposant que les prix du marché restent stables et non affectés par les actions de l'agrégateur.

#Une nouvelle perspective

Dans notre recherche, on prend une approche différente. On considère comment plusieurs agrégateurs opèrent dans le même marché et comment leurs actions peuvent influencer les prix. On modélise cela comme un jeu non coopératif en utilisant le cadre MFG. Chaque agrégateur optimise sa stratégie en fonction de ses objectifs et de la manière dont ses actions affectent le comportement moyen de tous les agrégateurs sur le marché.

Dans ce cadre, on utilise aussi le MFC pour aider chaque agrégateur à gérer ses ressources efficacement. Au lieu de résoudre des problèmes complexes pour chaque source d'énergie individuelle, le MFC trouve une politique qui fonctionne le mieux pour l'ensemble du groupe de ressources, améliorant la coopération entre elles.

#Apprentissage dans un environnement complexe

Notre modèle ne s'attaque pas seulement à la façon dont les agrégateurs devraient interagir entre eux, mais offre aussi un moyen d'incorporer des techniques d'apprentissage avancées. On utilise l'apprentissage par renforcement multi-agent (MARL) pour s'assurer que chaque agrégateur peut adapter ses stratégies de manière efficace. La concentration traditionnelle sur le RL s'est souvent faite sur des scénarios à agent unique. Dans notre cas, on traite avec plusieurs agents travaillant dans un environnement partagé, ce qui ajoute de la complexité au processus d'apprentissage.

En utilisant à la fois le MFC et le MFG, on peut rendre le processus d'apprentissage plus évolutif. Au lieu que chaque agrégateur prenne en compte l'état et les choix de tous les autres agrégateurs, ils peuvent se concentrer sur le comportement moyen du groupe, simplifiant le processus de décision.

#Mise en œuvre de l'approche d'apprentissage en deux phases

Pour mettre en œuvre notre stratégie d'apprentissage, on a développé une méthode en deux phases. Dans la première phase, chaque agrégateur entraîne sa stratégie en utilisant l'apprentissage par renforcement pour un nombre défini d'étapes. Dans la deuxième phase, ils appliquent ce qu'ils ont appris en faisant des offres et en réagissant aux conditions du marché. Cette structure permet aux agrégateurs d'adapter leur approche en fonction des nouvelles informations qu'ils récupèrent du marché.

Pendant la phase d'entraînement, chaque agrégateur apprend à gérer ses ressources efficacement selon les conditions actuelles. Ensuite, durant la phase de jeu réel, les agrégateurs utilisent leurs stratégies développées pour interagir avec le marché, permettant une amélioration continue et une adaptation.

#Expériences numériques et résultats

On a réalisé des expériences numériques en utilisant un réseau synthétique qui représente la configuration géographique d'Oahu. Cela incluait différents types de centrales électriques et sources d'énergie, nous permettant de simuler divers scénarios. Nos tests ont montré qu'avec les méthodes proposées, les prix du marché sont devenus plus stables, et les fluctuations de prix ont notablement diminué lorsqu'on a intégré le stockage d'énergie avec nos algorithmes d'apprentissage.

Ces résultats soulignent comment les prosommateurs peuvent utiliser efficacement leurs ressources, en se chargeant lorsque les prix sont bas et en déchargeant quand les prix sont élevés. En utilisant notre approche d'apprentissage, les prix deviennent plus stables dans le temps, et l'environnement global du marché s'améliore.

#Conclusion

En conclusion, notre recherche propose une nouvelle manière de penser à la façon dont les petits producteurs d'énergie peuvent participer efficacement aux plus grands marchés de l'énergie. En combinant des techniques de modélisation avancées et l'apprentissage par renforcement, on offre un cadre qui permet une meilleure gestion des ressources et interaction sur le marché. Nos expériences montrent que ce modèle peut conduire à des prix plus stables et à une réduction de la volatilité sur les marchés de l'énergie.

En regardant vers l'avenir, on espère solidifier les fondements théoriques de notre modèle et explorer différents algorithmes d'apprentissage pour améliorer encore notre approche. Ce travail vise à s'assurer que, à mesure que les DERs deviennent plus fréquents, ils puissent être intégrés au marché de l'énergie de manière fluide et efficace, bénéficiant ainsi aux producteurs comme aux consommateurs.