Improved Proximal Policy Optimization Algorithm for Sequential Security-constrained Optimal Power Flow Based on Expert Knowledge and Safety Layer

In recent years,reinforcement learning(RL)has emerged as a solution for model-free dynamic programming problem that cannot be effectively solved by traditional optimization methods.It has gradually been applied in the fields such as economic dispatch of power systems due to its strong selflearning and self-optimizing capabilities.However,existing economic scheduling methods based on RL ignore security risks that the agent may bring during exploration,which poses a risk of issuing instructions that threaten the safe operation of power system.Therefore,we propose an improved proximal policy optimization algorithm for sequential security-constrained optimal power flow(SCOPF)based on expert knowledge and safety layer to determine active power dispatch strategy,voltage optimization scheme of the units,and charging/discharging dispatch of energy storage systems.The expert experience is introduced to improve the ability to enforce constraints such as power balance in training process while guiding agent to effectively improve the utilization rate of renewable energy.Additionally,to avoid line overload,we add a safety layer at the end of the policy network by introducing transmission constraints to avoid dangerous actions and tackle sequential SCOPF problem.Simulation results on an improved IEEE 118-bus system verify the effectiveness of the proposed algorithm.

应用于北美电网的自动电压控制系统设计与实现

随着电网运行对电压控制和无功管理水平要求的提高,自动电压控制(automatic voltage control,AVC)日渐成为研究的热点。由于管理模式的制约,其应用性研究在北美电网仍属空白。文中设计并实现了适用于美国东北部某互联电网特殊管理模式和在线运行要求的自动电压控制系统。该系统扩展了移相器元件模型的处理,并在利用最优潮流(optimal power flow,OPF)计算控制策略的过程中考虑预想故障后的静态安全约束。长时间的在线试运行数据及其评估结果表明,文中所设计和实现的自动电压控制系统应用于该电网可显著改善该电网的无功电压水平,提高电网的安全性和经济性。

考虑柔性交流输电系统设备控制的校正型安全约束最优潮流

为提升安全约束最优潮流调度的经济性与安全性,提出一种基于直流潮流的考虑柔性交流输电系统(FACTS)设备控制的校正型安全约束最优潮流模型。在线路故障发生后,通过FACTS设备校正措施,将线路潮流控制在其容许范围内。由于所提模型为大规模的非凸、非线性优化问题,难以直接求解,因此先采用大M法,将原非线性优化模型转换为混合整数线性规化模型,并采用Benders分解算法将转换后的模型分解为基态最优潮流主问题与N-1故障校验子问题。通过固定整数变量的方法,将非凸的混合整数优化子问题转换为线性规划子问题,从而能向主问题返回对应的Benders割。6节点系统与IEEE RTS-79节点系统算例验证了所提模型与算法的有效性。结果表明,考虑FACTS设备校正控制的安全约束最优潮流能有效提升调度运行的经济性。

能源互联网中基于多微网校正控制的安全约束最优潮流（英文）

近年来,能源互联网因其具有双向按需传输和智能分配能源的优点受到了高度重视。基于Benders分解的求解算法,提出了在能源互联网中通过多微网实现校正控制的安全约束最优潮流模型;在此基础上,提出了利用协调多个微网和系统机组解决故障后线路过载的激励控制策略。不同于直接负荷控制,该方法能够更好地促进主网与多微网之间的双向潮流以利于故障后电网的恢复。通过IEEE118节点标准系统验证了模型与算法的可行性与有效性。

考虑输电线路动态增容的增强型安全约束最优潮流

在复杂内外部风险的影响下,输变电设备的随机故障已成为影响电网安全运行的重要因素。针对现有安全约束最优潮流存在的灵活性或安全性不足的问题,提出了一种增强型安全约束最优潮流(ESCOPF)模型,采用输电线路动态增容技术,保证电网在预想事故发生后至校正控制生效前的运行安全性。并给出了一种基于Benders分解的求解算法,将原问题分解为预防控制主问题、动态增容校验子问题和校正控制可行性校验子问题。通过不断向主问题返回Benders割修正机组发电计划,最终得到满足所有子问题校验的最优发电计划。算例分析结果表明,ESCOPF模型能够充分利用线路输电能力,扩大电网安全运行范围,从而提升系统运行的经济性。