基于双智能体深度强化学习的电力系统静态安全预防控制方法

“N-1”静态安全校验是电力系统安全稳定分析的重要内容,当系统不满足静态安全性时,需要采取预防控制,而调整发电机出力是最重要的预防控制措施。传统的方法是依据专家知识和经验做尝试性进行发电机功率调整,需耗费较多时间;深度强化学习具有“离线训练、在线端对端形成策略”优点,在电力系统预防控制中有很好的应用前景,但如何缩小搜索空间、提高训练速度,是需要解决的问题。该文提出一种基于柔性动作-评价深度强化学习算法的双智能体发电机调整方法。考虑到输电网具有PQ可解耦这一特点,设计了集中式训练的合作型双智能体结构,由两个智能体分别承担发电机有功功率调整和电压调整任务,相互合作,有效减少了搜索空间,提高了模型的稳定性,并根据不同运行方式下全网“N-1”校验时线路负载和节点电压判断系统安全性,且结合效用理论设计了奖励函数,进一步提高了收敛速度。IEEE 39节点系统算例表明,所提方法得到的智能体在多种运行方式下可快速有效生成预防控制策略,验证了所提方法的有效性。