考虑分区与模仿学习的深度强化学习配电网电压优化策略

现有深度强化学习(deep reinforcement learning,DRL)方法在解决配电网电压优化问题时,存在信用分配难、探索效率低等问题,在模型训练速度和优化效果等方面表现欠佳。为此,结合配电网分区降损与模仿学习的思想,提出一种基于指导信号的多智能体深度确定性策略梯度(guidance signal based multi-agent deep deterministic policy gradient,GS-MADDPG)的电压优化方法。首先,将电动汽车(electric vehicles,EV)集群、分布式电源(distributed generations,DG)和无功调节装置作为决策智能体,构建强化学习优化模型。然后,通过配电网分区,解耦多智能体的外部奖励,并结合模仿学习,利用指导信号引入内部奖励,帮助智能体快速寻优。最后,基于改进IEEE33节点系统进行算例测试。结果表明,所提电压优化策略较传统DRL方法具有更高的样本利用率,实现了更稳定的收敛及更高的模型训练效率,提升了配电网电压的优化效果。

基于深度强化学习的配电网实时电压优化控制方法

大规模分布式电源的接入使得配电网电压优化控制策略与传统配电网差异较大。针对就地控制中光伏逆变器调压之间缺乏协同的问题,该文提出了一种基于多智能体深度强化学习的配电网实时电压控制方法。首先根据电压控制模型设计了部分可观测的马尔科夫决策过程,然后采用多智能体双延迟深度确定性策略梯度算法求解,根据中心化训练、分散式执行的框架实现光伏逆变器的无功协同控制。该方法能智能决策各个逆变器的无功调节量,且能够根据源荷的随机变化实时给出电压控制策略,具有较好的实时性和控制经济性。最后通过仿真算例验证了所提方法的有效性。