Integrare i piccoli produttori di energia nei mercati

Il modo in cui generiamo e usiamo energia sta cambiando. Sempre più persone stanno utilizzando fonti energetiche piccole come pannelli solari e batterie, conosciuti come risorse energetiche distribuite (DERs). Queste piccole fonti possono aiutare a rendere il nostro sistema elettrico più flessibile ed efficiente, e sostengono un futuro energetico più verde. Tuttavia, per questi piccoli produttori di energia, spesso chiamati prosumer, per partecipare con successo al mercato energetico più grande, abbiamo bisogno di buone modalità per aiutarli a coinvolgersi.

Nel 2020, negli Stati Uniti è stata introdotta una norma chiamata Order 2222 per consentire a queste fonti energetiche più piccole di unirsi e competere nel mercato energetico accanto ai fornitori energetici tradizionali. Ma anche se questa norma è un passo nella giusta direzione, ci sono ancora molti dettagli da definire. Non sappiamo ancora quali siano i migliori modi per aiutare i produttori più piccoli a partecipare in modo efficace.

#La Sfida della Partecipazione al Mercato

Per affrontare questa questione, è importante esaminare come diversi gruppi che gestiscono queste piccole risorse energetiche, chiamati aggregatori, possano lavorare insieme nel mercato energetico. Ogni aggregatore gestisce una collezione di queste risorse e presenta offerte al mercato per conto dei proprietari. Una parte chiave di questo processo è l'interazione ripetuta nel mercato, che consente ai partecipanti di imparare e adattare le proprie strategie nel tempo.

Gli aggregatori influenzano i prezzi nel mercato, noti come prezzi marginali di localizzazione (LMPs), che rappresentano il costo di fornire un'unità aggiuntiva di elettricità in una specifica posizione. Per modellare questa interazione, usiamo un approccio speciale chiamato gioco di campo medio (MFG), che guarda al comportamento medio dei partecipanti al mercato. Questo facilita ai singoli aggregatori la previsione delle tendenze dei prezzi e la presa di decisioni intelligenti senza dover tracciare ogni dettaglio delle azioni di ciascun partecipante.

#Gestire Molteplici Aggregatori

Per ogni aggregatore, ci concentriamo su strategie ottimizzate per gestire i DERs utilizzando un metodo chiamato controllo di campo medio (MFC). Questo metodo aiuta gli aggregatori a trovare il modo migliore per gestire le proprie risorse affrontando incertezze, come variazioni nella produzione di energia solare o cambiamenti nella domanda. Questo consente loro di fare scelte migliori e migliorare le proprie strategie di partecipazione al mercato.

La parte unica del nostro approccio è combinare le tecniche MFG e MFC. Questo significa che possiamo modellare efficacemente come interagiscono più aggregatori nel mercato, consentendo a ciascuno di fare le proprie scelte. Abbiamo anche introdotto un metodo basato sull'Apprendimento per rinforzo (RL), che aiuta ciascun aggregatore a imparare le migliori strategie in questo ambiente di mercato. Questo metodo basato su RL è progettato per adattarsi automaticamente alle condizioni di mercato, portando a risultati complessivi migliori.

#Studio di Caso: Un'Applicazione nel Mondo Reale

Per vedere quanto bene funziona questo approccio, lo abbiamo testato su un modello basato sulla rete elettrica dell'isola di Oahu. Abbiamo usato dati reali per simulare il comportamento di pannelli solari e altre fonti energetiche in questo contesto. I risultati hanno mostrato che il nostro approccio consente ai prezzi nel mercato di stabilizzarsi rapidamente, e quando combiniamo lo stoccaggio di energia con il nostro metodo di apprendimento, abbiamo trovato una significativa diminuzione delle fluttuazioni di prezzo rispetto ai modelli che non includevano lo stoccaggio.

#Il Ruolo dei Prosumers

Con l'aumento dei DERs come pannelli solari e batterie, è fondamentale capire il loro impatto sui mercati energetici. Queste risorse sono passate da semplici annotazioni a essere centrali nelle discussioni su come possiamo rendere i nostri sistemi energetici più flessibili e sostenibili. L'Order 2222 della FERC riconosce l'importanza dei DERs e incoraggia il loro coinvolgimento nei mercati energetici di vendita all'ingrosso. Tuttavia, ci sono ancora sfide riguardo a come i produttori di energia più piccoli possano unirsi al mercato in modo efficace.

Anche se l'ordine getta le basi, diverse organizzazioni stanno elaborando vari metodi per includere queste piccole fonti energetiche nel mercato. C'è ancora un po' di incertezza su quali metodi funzioneranno meglio. Gran parte della ricerca attuale si concentra su come un singolo aggregatore gestisca le proprie risorse, spesso assumendo che i prezzi di mercato rimangano stabili e non influenzati dalle azioni dell'aggregatore.

#Una Nuova Prospettiva

Nella nostra ricerca, adottiamo un approccio diverso. Consideriamo come più aggregatori operano nello stesso mercato e come le loro azioni possano influenzare i prezzi. Modelliamo questo come un gioco non cooperativo utilizzando il framework MFG. Ogni aggregatore ottimizza la propria strategia in base ai propri obiettivi e a come le proprie azioni influenzeranno il comportamento medio di tutti gli aggregatori nel mercato.

In questo framework, utilizziamo anche MFC per aiutare ciascun aggregatore a gestire le proprie risorse in modo efficace. Anziché risolvere problemi complessi per ciascuna singola fonte energetica, MFC trova una politica che funziona meglio per l'intero gruppo di risorse, migliorando la cooperazione tra di loro.

#Apprendere in un Ambiente Complesso

Il nostro modello non solo affronta come gli aggregatori dovrebbero interagire tra loro, ma fornisce anche un modo per incorporare tecniche di apprendimento avanzate. Lavoriamo con l'apprendimento per rinforzo multi-agente (MARL) per garantire che ciascun aggregatore possa adattare le proprie strategie in modo efficiente. L'attenzione tradizionale dell'RL è spesso stata su scenari a agente singolo. Nel nostro caso, stiamo affrontando più agenti che lavorano in un ambiente condiviso, il che aggiunge complessità al processo di apprendimento.

Utilizzando sia MFC che MFG, possiamo rendere il processo di apprendimento più scalabile. Anziché far considerare a ciascun aggregatore lo stato e le scelte di ogni altro aggregatore, possono concentrarsi sul comportamento medio del gruppo, semplificando il processo decisionale.

#Implementazione dell'Approccio di Apprendimento in Due Fasi

Per implementare la nostra strategia di apprendimento, abbiamo sviluppato un metodo in due fasi. Nella prima fase, ciascun aggregatore allena la propria strategia utilizzando l'apprendimento per rinforzo per un numero prestabilito di passi. Nella seconda fase, applicano ciò che hanno imparato effettuando offerte e rispondendo alle condizioni di mercato. Questa struttura consente agli aggregatori di adattare il proprio approccio in base alle nuove informazioni che raccolgono dal mercato.

Durante la fase di addestramento, ciascun aggregatore impara a gestire le proprie risorse in modo efficace in base alle condizioni attuali. Dopo di che, durante la fase di gioco effettivo, gli aggregatori usano le proprie strategie sviluppate per interagire con il mercato, consentendo miglioramenti e adattamenti continui.

#Esperimenti Numerici e Risultati

Abbiamo condotto esperimenti numerici utilizzando una rete sintetica che rappresenta il layout geografico di Oahu. Questo includeva vari tipi di centrali elettriche e fonti energetiche, permettendoci di simulare diversi scenari. I nostri test hanno dimostrato che, attraverso i metodi proposti, i prezzi di mercato sono diventati più stabili e le fluttuazioni di prezzo sono diminuite notevolmente quando si incorporava lo stoccaggio di energia insieme ai nostri algoritmi di apprendimento.

Questi risultati sottolineano come i prosumer possano utilizzare le proprie risorse in modo efficiente, caricando quando i prezzi sono bassi e scaricando quando i prezzi sono alti. Utilizzando il nostro approccio di apprendimento, i prezzi diventano più stabili nel tempo e l'ambiente di mercato complessivo migliora.

#Conclusione

In conclusione, la nostra ricerca offre un nuovo modo di pensare a come i piccoli produttori di energia possano partecipare efficacemente ai mercati energetici più ampi. Combinando tecniche di modellazione avanzate e apprendimento per rinforzo, forniamo un framework che consente una migliore gestione delle risorse e interazione con il mercato. I nostri esperimenti dimostrano che questo modello può portare a prezzi più stabili e ridotta volatilità nei mercati energetici.

Guardando al futuro, speriamo di solidificare le basi teoriche del nostro modello ed esplorare diversi algoritmi di apprendimento per migliorare ulteriormente il nostro approccio. Questo lavoro mira a garantire che, man mano che i DERs diventano più comuni, possano essere integrati nel mercato energetico in modo fluido ed efficace, beneficiando sia i produttori che i consumatori.