Nova Abordagem para Arbitragem de Energia Usando DRL

A subida nas fontes de energia renovável deixou o fornecimento de energia mais incerto, aumentando o risco de desequilíbrios entre a geração de energia e a demanda. Essa situação afeta os responsáveis pelo balanceamento do fluxo de energia na rede, conhecidos como partes responsáveis pelo balanceamento (BRPs). Na Europa, essas entidades enfrentam custos quando se desvias de seu uso planejado de energia, criando uma chance para lucrarem com a arbitragem de energia, que é a prática de comprar e vender energia para tirar vantagem das diferenças de preço.

Para otimizar esse processo, uma nova abordagem é proposta, usando um método chamado Aprendizado por Reforço distribuicional (DRL). Esse método permite que os BRPs gerenciem melhor seus riscos enquanto participam do mercado de energia. A estrutura proposta foca em otimizar lucros, considerando os riscos envolvidos, especialmente na frequência com que Sistemas de Armazenamento de Energia em Bateria (BESS) podem ser carregados ou descarregados.

#O Desafio da Energia Renovável

À medida que mais fontes de energia renovável são adicionadas à rede, a imprevisibilidade do fornecimento de energia aumenta. Por exemplo, a disponibilidade de energia solar e eólica depende muito das condições climáticas, levando a uma oferta e demanda desalinhadas. Consequentemente, os BRPs devem ajustar suas estratégias para manter um fornecimento de energia equilibrado. Quando os BRPs se desviam de seu uso de energia previsto, eles incurrirão em custos com base nos preços de desequilíbrio, que podem flutuar drasticamente.

O mecanismo de liquidação de desequilíbrios, um sistema de preços estabelecido para resolver esses problemas, cobra dos BRPs por desvios de suas nomeações de energia no final de cada período de liquidação. Esse sistema de preços é projetado para incentivar os BRPs a ajudar a manter o equilíbrio da rede e envolve um método de precificação único, tratando desequilíbrios positivos e negativos da mesma forma. Isso cria uma oportunidade para os BRPs se envolverem em arbitragem de energia, permitindo que lucrem ao navegar estrategicamente por essas flutuações de preços.

#Importância dos Sistemas de Armazenamento de Energia em Bateria

Os sistemas de armazenamento de energia em bateria (BESS) ganharam popularidade entre os BRPs devido à sua capacidade de resposta rápida e seus custos em queda. Os BESS podem armazenar energia excedente quando os preços estão baixos e descarregá-la durante os picos de preço, tornando-os uma ferramenta ideal para arbitragem de energia. No entanto, gerenciar os ciclos de bateria de forma eficaz é fundamental, pois o uso excessivo pode encurtar a vida útil da bateria e reduzir os lucros gerais.

Apesar de seu potencial, ainda existem desafios no uso dos BESS para arbitragem de energia. A imprevisibilidade dos preços de desequilíbrio e a necessidade de decisões em tempo quase real complicam a situação. Muitas abordagens existentes dependem de modelos matemáticos complexos, que podem ser complicados demais e podem não gerar os melhores resultados em condições de mercado que mudam rapidamente. Além disso, métodos tradicionais geralmente requerem previsões de preços precisas, que podem ser difíceis de obter dada a natureza volátil dos preços de energia.

#A Necessidade de Uma Nova Abordagem

Os métodos existentes para controle de bateria durante a arbitragem de energia muitas vezes ignoram a necessidade de uma abordagem sensível ao risco. Diferentes BRPs têm níveis variados de tolerância ao risco, e partes mais avessas ao risco podem precisar de estratégias personalizadas para se sentirem confortáveis participando do mercado. Além disso, os estudos existentes que mostram como os ciclos de bateria impactam as estratégias de arbitragem não foram explorados adequadamente.

Este artigo propõe uma nova estrutura baseada em aprendizado por reforço distribuicional. Essa técnica permite que os BRPs aprendam estratégias eficazes para gerenciar os BESS enquanto consideram riscos e restrições relacionadas à vida útil da bateria. A nova estrutura enfatiza um equilíbrio entre otimizar lucros e gerenciar riscos de forma eficaz.

#Visão Geral da Estrutura

A estrutura proposta utiliza aprendizado por reforço para derivar estratégias de arbitragem de energia com base em preços de desequilíbrio históricos. Faz isso tratando o problema como um processo de decisão de Markov (MDP), onde o estado do sistema e as ações tomadas pela bateria são modelados matematicamente. A cada passo de tempo, um agente (o tomador de decisão) observa o estado atual e escolhe uma ação com base em estratégias aprendidas.

#Representação de Estado e Ação

Nesta estrutura, o estado inclui vários fatores como a hora do dia, o estado de carga (SoC) da bateria e os preços de desequilíbrio previstos. O espaço de ação é discreto e consiste em escolhas relacionadas ao carregamento ou descarregamento da bateria. O objetivo é maximizar os lucros comprando energia quando os preços estão baixos e vendendo-a quando os preços estão altos.

#Função de Recompensa

O desempenho do agente é medido por uma função de recompensa que visa maximizar a rentabilidade. A recompensa é calculada com base no custo da energia no momento da ação, incentivando o agente a agir estrategicamente em resposta às mudanças de preço.

#Restrições de Ciclo

Para melhorar a vida útil da bateria, a estrutura incorpora uma restrição sobre o número diário de ciclos de carga/descarrega. Esse limite incentiva o agente a tomar decisões mais estratégicas sobre quando armazenar energia ou liberá-la, minimizando o desgaste da bateria.

#Métodos de Aprendizado por Reforço

A estrutura proposta emprega dois métodos de aprendizado por reforço de ponta: aprendizado por Q profundo (DQN) e ator-crítico suave (SAC). Esses métodos fornecem uma base sólida para aprender estratégias eficazes de arbitragem de energia.

#Aprendizado por Q Profundo (DQN)

O DQN é um método baseado em valor, utilizando uma rede neural para estimar o retorno esperado de diferentes ações. Essa abordagem permite que o agente aprenda com experiências e tome decisões melhores em ambientes complexos. O método utiliza técnicas como replay de experiência para melhorar a estabilidade do aprendizado, o que é essencial dada a incerteza nos preços de energia.

#Ator-Crítico Suave (SAC)

O SAC, um método de gradiente de política, aprende diretamente a política para tomar ações em vez de simplesmente estimar o valor dessas ações. Ao combinar expectativas e aleatoriedade, estimula a exploração do ambiente, levando a uma melhor tomada de decisões. Esse método é particularmente eficaz em lidar com as complexidades dos mercados de energia, onde a imprevisibilidade é a norma.

#Perspectiva Distribucional

Um aspecto importante dessa estrutura é sua abordagem distribucional. Métodos tradicionais de aprendizado por reforço se concentram em estimar valores esperados, o que pode não lidar adequadamente com riscos e incertezas significativos. Ao considerar a distribuição de probabilidade completa dos retornos, o método proposto oferece uma compreensão mais nuançada dos resultados potenciais. Essa abordagem aprimora a capacidade do agente de tomar decisões sensíveis ao risco.

#Configuração Experimental

A eficácia da estrutura proposta foi avaliada usando dados reais de preços de desequilíbrio da Bélgica. O conjunto de testes foi dividido em períodos de treinamento e validação para garantir a robustez dos resultados. O BESS usado nos experimentos tem uma potência e capacidade especificadas, com eficiência operacional considerada no processo de treinamento.

#Perguntas do Experimento

Os experimentos foram projetados para responder perguntas-chave relacionadas à estratégia de arbitragem:

1. Que estratégias o agente aprende sem restrições de ciclo?
2. Como os limites de ciclo impostos influenciam a estratégia aprendida?
3. Como adotar uma abordagem avessa ao risco afeta as decisões de arbitragem?

#Resultados e Análise

#Estratégia Sem Restrições de Ciclo

Em cenários sem limites no número diário de ciclos de bateria, o agente conseguiu aprender uma estratégia razoável de carregamento e descarregamento. Ele identificou efetivamente períodos de baixo preço para carregar e altos preços para descarregar. Os métodos distribucionais superaram significativamente os métodos padrão, demonstrando maior rentabilidade e estabilidade na tomada de decisão.

#Estratégia Com Restrições de Ciclo

A introdução de limites nos ciclos diários alterou a estratégia aprendida. O agente se tornou mais conservador, focando nas flutuações de preço mais substanciais enquanto ignorava mudanças de preço menores. Esse comportamento reflete uma abordagem prudente para gerenciar o desgaste da bateria enquanto ainda lucra com diferenças de preço significativas.

#Gestão de Risco

Nos cenários onde o agente foi treinado para ser avesso ao risco, surgiu um trade-off entre o lucro diário médio e a margem de segurança. O agente avesso ao risco tomou decisões mais cautelosas, resultando em menos usos de ciclos, mas potencialmente lucros médios por dia mais baixos. Ao carregar a bateria a preços mais baixos e descarregar durante períodos de preços mais altos, o agente avesso ao risco gerenciou efetivamente as incertezas relacionadas às previsões de preços de desequilíbrio.

#Conclusão

A estrutura de controle baseada em DRL proposta demonstra um potencial significativo para melhorar as estratégias de arbitragem de energia entre os BRPs. Ao utilizar técnicas avançadas de aprendizado por reforço que levam em conta riscos e restrições, os BRPs podem maximizar seus lucros enquanto minimizam os riscos relacionados a preços de desequilíbrio flutuantes. A capacidade de personalizar estratégias com base nas preferências de risco individuais torna essa abordagem atraente para vários participantes do mercado.

Olhando para o futuro, os esforços futuros expandirão a estrutura para incluir interações entre os mercados de dia seguinte e de desequilíbrio. Além disso, explorar espaços de ação contínuos pode aprimorar ainda mais os processos de tomada de decisão na arbitragem de energia. No geral, essa pesquisa abre caminho para práticas de negociação de energia mais eficientes e resilientes em um cenário energético em evolução.