Optimisation des ressources énergétiques distribuées pour la régulation de la fréquence
Une nouvelle méthode utilise l'apprentissage par renforcement profond pour améliorer la régulation de fréquence avec les DER.
― 6 min lire
Table des matières
L'intégration des ressources d'énergie distribuées (DER) comme les panneaux solaires et les éoliennes a beaucoup augmenté ces dernières années. Ces technologies apportent plein d'avantages pour le réseau électrique, mais elles posent aussi des défis, surtout pour maintenir une fréquence stable. Des problèmes de fréquence peuvent survenir lorsqu'il y a un déséquilibre entre la production et la demande d'électricité, ce qui peut arriver pour différentes raisons, comme des changements soudains dans la consommation d'énergie ou des défauts dans le système.
La régulation de la fréquence est super importante pour les systèmes électriques, et elle se divise généralement en trois types : primaire, secondaire, et tertiaire. La Régulation de fréquence tertiaire est particulièrement cruciale dans les systèmes régulés comme dans ceux qui ne le sont pas. Dans les systèmes régulés, les opérateurs fixent les sorties des générateurs selon un plan pour minimiser les coûts. Dans les systèmes non régulés, l'accent est mis sur l'optimisation du bien-être général grâce à une bonne gestion des réserves.
Cet article parle d'une méthode pour utiliser des technologies avancées afin d'optimiser la gestion des réserves parmi les DER pour aider à la régulation de fréquence tertiaire.
Défis de la Régulation de Fréquence
Équilibrer efficacement la production et la charge est essentiel pour le bon fonctionnement du réseau électrique. Lorsque la production et la charge ne sont pas en phase, ça entraîne des écarts de fréquence, ce qui peut créer des problèmes de qualité d'énergie et même des coupures de courant. Les défis deviennent plus marqués avec l'augmentation des DER, car leurs contributions à la régulation de fréquence sont souvent limitées lorsqu'on les considère individuellement.
Mais quand plusieurs DER travaillent ensemble, leur effet combiné peut vraiment améliorer la gestion de la fréquence. La clé est de développer une stratégie flexible pour coordonner les réserves que ces DER peuvent offrir.
Le Besoin d'Optimisation
Optimiser les réserves des DER, ce n'est pas simple. Ça demande une approche minutieuse qui prend en compte plusieurs facteurs, comme le coût des réserves, les pertes d'énergie dans le réseau de distribution, et les niveaux de tension. Une méthode réussie doit être efficace, flexible et capable de s'adapter aux changements en temps réel.
Les méthodes traditionnelles ont eu un certain succès pour optimiser les réserves dans les systèmes de transmission. Cependant, elles ne fonctionnent souvent pas bien dans les systèmes de distribution actifs. Cet article présente une nouvelle approche qui utilise l'Apprentissage par renforcement profond (DRL) pour relever ce défi.
Aperçu de l'Apprentissage par Renforcement Profond
L'apprentissage par renforcement (RL) est un type d'apprentissage automatique où un agent apprend à prendre des décisions en interagissant avec un environnement. L'agent reçoit des retours sous forme de récompenses ou de pénalités en fonction de ses actions. Ce processus d'apprentissage permet à l'agent de peaufiner sa stratégie au fil du temps.
Dans ce cas, le cadre DRL utilise un algorithme spécifique connu sous le nom de "deep deterministic policy gradient" (DDPG). Cette méthode combine les principes des méthodes traditionnelles de gradient de politique et de l'apprentissage profond. En utilisant des réseaux neuronaux, le DDPG peut gérer efficacement des espaces d'état et d'action continus.
Comment le Cadre Fonctionne
Le cadre proposé se concentre sur l'optimisation des réserves parmi les DER pour aider à la régulation de fréquence tertiaire. Il utilise une combinaison d'entrées pour déterminer les meilleures actions à prendre, y compris les réserves disponibles de chaque DER et les réserves totales demandées par l'opérateur du système. Les principaux objectifs du cadre sont de minimiser le coût total des réserves, de réduire les pertes d'énergie dans le réseau, et de maintenir les niveaux de tension dans des limites acceptables.
L'agent DRL fonctionne à travers un processus d'entraînement qui implique plusieurs épisodes. Pendant ces épisodes, l'agent explore différentes actions et apprend celles qui produisent les meilleurs résultats en fonction du retour qu'il reçoit. L'utilisation de la mémoire d'expérience aide à renforcer l'apprentissage en permettant à l'agent de se souvenir des expériences passées et de les appliquer à de nouvelles situations.
Études de Cas et Résultats
Pour évaluer l'efficacité du cadre proposé, des études de cas ont été réalisées en utilisant une version modifiée du système de test de distribution IEEE à 34 nœuds. Ce système sert de modèle représentatif d'un réseau de distribution réel.
Pendant la phase d'entraînement, le cadre a fonctionné pendant un total de 1500 épisodes. Au début, les récompenses totales étaient faibles mais ont augmenté significativement après environ 1000 épisodes, indiquant que l'agent apprenait à prendre de meilleures décisions avec le temps.
Deux cas de test ont été conçus pour évaluer la performance du cadre dans différentes conditions. Dans les deux cas, les résultats ont montré que la méthode DRL proposée surpassait les approches traditionnelles basées sur la capacité. La comparaison a mis en avant les avantages de l'approche axée sur l'apprentissage pour allouer efficacement les réserves tout en minimisant les coûts et les pertes d'énergie.
Conclusion
Le cadre basé sur le DRL proposé offre une solution prometteuse pour optimiser l'utilisation des ressources d'énergie distribuées dans les systèmes de distribution actifs. En coordonnant efficacement les réserves disponibles des différents DER, le cadre vise à soutenir la régulation de fréquence tertiaire et à améliorer la stabilité globale du réseau.
Les résultats des études de cas montrent la capacité du cadre à minimiser les coûts, réduire les pertes d'énergie, et maintenir des niveaux de tension acceptables. Alors que le monde continue de se tourner vers des sources d'énergie plus propres et décentralisées, de telles solutions innovantes seront nécessaires pour gérer les complexités des systèmes électriques modernes.
Ce travail soutient non seulement l'intégration de l'énergie renouvelable, mais assure aussi que le réseau électrique fonctionne de manière fiable et efficace. À mesure que la technologie continue d'évoluer, le potentiel d'améliorations supplémentaires dans les pratiques de gestion du réseau va s'élargir, ouvrant la voie à un avenir énergétique plus durable.
Titre: A Deep Reinforcement Learning-based Reserve Optimization in Active Distribution Systems for Tertiary Frequency Regulation
Résumé: Federal Energy Regulatory Commission (FERC) Orders 841 and 2222 have recommended that distributed energy resources (DERs) should participate in energy and reserve markets; therefore, a mechanism needs to be developed to facilitate DERs' participation at the distribution level. Although the available reserve from a single distribution system may not be sufficient for tertiary frequency regulation, stacked and coordinated contributions from several distribution systems can enable them participate in tertiary frequency regulation at scale. This paper proposes a deep reinforcement learning (DRL)-based approach for optimization of requested aggregated reserves by system operators among the clusters of DERs. The co-optimization of cost of reserve, distribution network loss, and voltage regulation of the feeders are considered while optimizing the reserves among participating DERs. The proposed framework adopts deep deterministic policy gradient (DDPG), which is an algorithm based on an actor-critic method. The effectiveness of the proposed method for allocating reserves among DERs is demonstrated through case studies on a modified IEEE 34-node distribution system.
Auteurs: Mukesh Gautam, Rakib Hossain, Mohammad MansourLakouraj, Narayan Bhusal, Mohammed Benidris, Hanif Livani
Dernière mise à jour: 2023-05-06 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2305.04163
Source PDF: https://arxiv.org/pdf/2305.04163
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.