[en] DEEP REINFORCEMENT LEARNING FOR VOLTAGE CONTROL IN POWER SYSTEMS

• Other Authors: MARCUS VINICIUS SOLEDADE POGGI DE ARAGAO
• Language: en
• Published: MAXWELL 2021
• Subjects: [pt] APRENDIZADO POR REFORCO; [pt] SISTEMAS DE POTENCIA; [pt] CONTROLE DE TENSAO; [en] REINFORCEMENT LEARNING; [en] POWER SYSTEMS; [en] VOLTAGE CONTROL
• Online Access: https://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=53484@1; https://www.maxwell.vrac.puc-rio.br/Busca_etds.php?strSecao=resultado&nrSeq=53484@2; http://doi.org/10.17771/PUCRio.acad.53484

[pt] Os sistemas de potência são sistemas cyber-físicos responsáveis pela geração e transporte da energia elétrica desde sua fonte geradora até os consumidores finais. Durante este percurso, existem diversos processos que devem ser seguidos para se manter a qualidade do serviço e a segurança e estabilidade do sistema. Um destes processos envolve o controle de diversos equipamentos de maneira que a tensão dos barramentos do sistema se mantenha dentro de faixas pré-estabelecidas. Este controle, normalmente realizado pelos operadores do sistema em tempo real e por equipamentos automáticos de controle, envolve um número muito grande de considerações que dificilmente serão avaliadas no momento da decisão. Para contornar este problema, propõe-se a utilização de uma ferramenta inteligente que seja capaz de escolher as melhores ações a serem tomadas para que a tensão do sistema se mantenha nos níveis adequados levando em consideração as variadas condições do sistema. A metodologia utilizada pela ferramenta consiste na técnica de Deep Reinforcement Learning juntamente com três novas variações: windowed, ensemble e windowed ensemble Q-Learning, que consistem na divisão do processo otimizado em janelas de treinamento, utilização de múltiplos agentes inteligentes para um mesmo processo e a combinação destas duas metodologias. As variações são testadas em circuitos consagrados na literatura e são capazes de obter resultados expressivos quando comparados com a abordagem de Deep Reinforcement Learning tradicional utilizada em outros estudos e com o controle intrínseco do próprio sistema, mantendo a tensão sob controle ao longo do dia. === [en] Electrical Power Systems are cyber-physical systems responsible for the generation and transportation of energy from its generating source to the final customers. During this process many different activities must be conducted in order to keep quality of service and the system s safety and stability. One of these activities regards control of various equipment in order to keep the voltage level on each system bus between specified limits. This control, which is usually conducted by system s operators in real time and by automatic control equipment involves many different constraints and considerations that are hardly ever taken into account during the decision process. In order to mitigate this problem a smart agent capable of deciding which action is best in order to keep the voltages in adequate levels taking into account system s conditions is proposed. The proposed methodology consists on the Deep Reinforcement Learning technique along with three novel variations: windowed, ensemble and windowed ensemble Q-Learning, which consist on the division of the problem in training windows, the usage of multiple learning agents for the same process and on the combination of both these techniques. The variations are tested on academically consecrated test circuits and are capable of attaining expressive results when compared to the traditional Deep Reinforcement Learning approach which is used in other academic studies and also with the systems intrinsic control, keeping voltage under control along the day.