Optimizando Redes de Distribución Eléctrica con DRL

La red de distribución es una parte vital de nuestro sistema eléctrico. Conecta el suministro de energía a hogares y negocios. Cuando hay interrupciones, puede causar problemas grandes para todos los que dependen de la electricidad. Mejorar la fiabilidad de estas redes es clave para asegurar que el suministro de energía se mantenga estable y constante.

Una forma de mejorar la fiabilidad es reconfigurando la red de distribución. Esto significa cambiar la forma en que la energía fluye a través del sistema para que cuando una parte falle, la energía aún pueda llegar a todos los usuarios. Sin embargo, encontrar la mejor manera de reconfigurar la red puede ser complicado, especialmente cuando la demanda de energía cambia. Los métodos tradicionales usados para analizar y determinar la mejor configuración pueden ser lentos y no siempre ofrecen la mejor solución.

Los avances recientes en tecnología han llevado al desarrollo de nuevos enfoques que utilizan el Aprendizaje por refuerzo profundo (DRL). El DRL es un tipo de aprendizaje automático donde un agente aprende a tomar decisiones al interactuar con un entorno, recibiendo recompensas o penalizaciones según sus acciones. Este método puede ayudar a encontrar configuraciones rápidas y efectivas para las redes de distribución, incluso cuando las condiciones cambian.

#La Importancia de Sistemas de Distribución Fiables

Las compañías eléctricas buscan ofrecer una fuente de energía confiable a sus clientes mientras mantienen los costos razonables. Las fallas en el sistema de distribución pueden causar interrupciones en el suministro, lo cual es incómodo para los consumidores. Mejorar la fiabilidad se puede lograr a través de:

1. Uso Óptimo de Recursos: Esto implica usar tecnologías de red inteligente para aprovechar al máximo los recursos disponibles.
2. Instalación de Recursos de Respaldo: Aunque los recursos adicionales pueden ayudar, a menudo son caros y desperdiciados. Por lo tanto, las tecnologías inteligentes que se centran en optimizar los recursos actuales son más prácticas.

Entre estas tecnologías inteligentes está la reconfiguración de la red de distribución (DNR). La DNR permite a las compañías ajustar cómo fluye la energía a través de la red, asegurando que los recursos disponibles funcionen de manera eficiente.

#Enfoques Tradicionales para la DNR

Se han utilizado diferentes métodos para abordar el problema de la DNR. Algunos de estos incluyen:

• Algoritmos Genéticos: Se utilizan para mejorar la calidad y fiabilidad de la energía simulando la selección natural.
• Programación Entera Mixta: Este enfoque matemático ayuda a minimizar las pérdidas de energía mientras se considera la fiabilidad.
• Algoritmos de Búsqueda de Vecinos: Estos buscan reducir la pérdida de energía examinando configuraciones cercanas.

Aunque efectivos, estos métodos tradicionales tienen sus desafíos. Los métodos analíticos pueden estar limitados por la precisión de sus modelos, que a menudo requieren un conocimiento profundo sobre todo el sistema. Por otro lado, los métodos basados en poblaciones pueden ser lentos y requieren recursos computacionales significativos, especialmente a medida que el tamaño del sistema crece.

#El Cambio a Enfoques Basados en Aprendizaje

A medida que la tecnología avanza, los enfoques basados en el aprendizaje están ganando atención para optimizar la DNR. Estos métodos aprovechan el aprendizaje profundo y el aprendizaje por refuerzo para mejorar la eficiencia del proceso. Pueden adaptarse rápidamente a los cambios en el sistema sin necesidad de rehacer todos los cálculos.

Por ejemplo, se han desarrollado métodos que utilizan el aprendizaje por refuerzo por lotes, centrados en minimizar los costos operativos. Otros enfoques han aplicado el aprendizaje profundo para minimizar tanto la pérdida de energía como el número de acciones de conmutación necesarias en la red de distribución. El DRL, específicamente, se ha incorporado para reducir las acciones de conmutación mientras se realiza la DNR, demostrando ser más rápido y escalable que los métodos tradicionales.

#Marco Propuesto para la Mejora de la DNR

Este documento presenta un marco basado en DRL que se centra en mejorar la fiabilidad de los sistemas de distribución a través de una reconfiguración efectiva de la red. El marco emplea un enfoque de aprendizaje Q profundo, donde un agente aprende a encontrar la configuración óptima para la red.

#Función Objetivo

La fiabilidad en los sistemas de distribución se puede medir usando diferentes índices. Uno de esos índices es la potencia media restringida, que refleja la cantidad de energía que no se suministra a los usuarios durante las interrupciones. El objetivo del marco propuesto es minimizar esta potencia media restringida con el tiempo.

#Restricciones

Para asegurar que la red de distribución funcione eficazmente, deben cumplirse ciertas restricciones:

• Restricción de Radialidad: La red debe mantener una estructura radial, lo que significa que la energía fluye en una dirección desde la fuente hacia los usuarios sin bucles.
• Restricción de Todos los Nodos: La red debe configurarse de tal manera que se cumplan todas las demandas de energía sin interrupciones.

Al adherirse a estas restricciones mientras se busca una configuración óptima, el marco mejora la fiabilidad del sistema.

#Aprendizaje Q Profundo Explicado

El Aprendizaje Q Profundo es un tipo especial de aprendizaje por refuerzo. En este sistema, un agente aprende a tomar decisiones basadas en el entorno con el que interactúa. El agente recibe recompensas por tomar las acciones correctas y penalizaciones por elecciones malas. Esto ayuda al agente a aprender las mejores estrategias con el tiempo.

En el contexto de la DNR, los estados representan el estado de la red (como qué interruptores están abiertos), mientras que las acciones corresponden a los cambios hechos a la configuración (como abrir o cerrar ciertas ramas). El marco utiliza una red neuronal profunda para aproximar los valores de las acciones y tomar decisiones basadas en experiencias pasadas.

#Entrenando al Agente

Entrenar al agente de DRL involucra ejecutar numerosos episodios, durante los cuales el agente aprende a mejorar su proceso de toma de decisiones. Al principio, el agente comienza con un conjunto básico de reglas y gradualmente refina su comprensión del entorno a través de prueba y error.

A medida que el agente interactúa con el sistema, recopila retroalimentación, lo que le ayuda a mejorar su rendimiento. Con el tiempo, aprende las mejores configuraciones que conducen al suministro de energía más fiable, optimizando así la red de distribución.

#Estudio de Casos

Para demostrar la efectividad del marco propuesto, se realizaron dos estudios de caso usando sistemas de prueba de distribución de 33 nodos y 69 nodos.

#Estudio de Caso 1: Sistema de Distribución de 33 Nodos

En este sistema de prueba, los agentes fueron entrenados durante muchos episodios para encontrar la mejor configuración. Al principio, la potencia media restringida era alta, pero a medida que avanzaban los episodios, disminuyó constantemente. El valor final alcanzado fue de 23.96 MWh/año, indicando una mejora significativa en la fiabilidad.

#Estudio de Caso 2: Sistema de Distribución de 69 Nodos

Se realizó un entrenamiento similar para este sistema más grande. Nuevamente, el proceso comenzó con una alta potencia media restringida. Después de un extenso entrenamiento, el resultado final fue de 28.48 MWh/año, demostrando que el marco mejoró con éxito la fiabilidad en un entorno más complejo.

#Conclusión

Este trabajo presenta un marco innovador basado en DRL diseñado para optimizar la configuración de las redes de distribución para mejorar la fiabilidad. A través del entrenamiento, el marco aprende a minimizar efectivamente la potencia media restringida. Los resultados de los estudios de caso indican que el método propuesto puede mejorar con éxito la fiabilidad de los sistemas de distribución.

Con el continuo avance de la tecnología, es probable que estos enfoques basados en el aprendizaje se vuelvan esenciales para las compañías eléctricas, asegurando un suministro de energía estable y fiable para los clientes.