基于深度强化学习的孤立多微电网系统频率和电压综合控制

分布式电源出力不确定性和负荷功率扰动给孤立多微电网系统稳定带来较大威胁。提出基于多智能体柔性动作评价(MA-SAC)算法的孤立多微电网负荷频率控制器(LFC),同时采用柔性动作评价(SAC)算法对自动电压调节器(AVR)的比例积分(PI)控制参数进行优化调整。建立了多微电网LFC和AVR组合模型。对于电压和频率控制器的设计,分别根据SAC算法和多智能体深度强化学习(MA-DRL)框架建立各自的状态、动作空间与奖励函数。选择合适的神经网络与训练参数经过预学习生成深度强化学习控制器。最后通过仿真分析,基于SAC算法优化的PI控制器能更快跟踪电压参考值;多微电网系统遭遇功率扰动时,MASAC控制器可以快速维持频率稳定。

基于可进化模型预测控制的含电动汽车多微电网智能发电控制策略

多微电网中的环境状态、控制资源及偶然事件均具有强不确定性,而电动汽车在参与电网削峰填谷的同时也给发电控制带来了挑战。为此,该文提出一种基于可进化模型预测控制(LBMPC)的含电动汽车多微电网发电控制策略。首先,基于控制器交互的多微电网互联结构,考虑了发电机端电压调节和负荷频率控制(LFC)之间的耦合关系,建立含电动汽车多微电网的发电控制模型;然后,设计了一种基于多智能体的控制器参数自适应算法:频率控制器以实时频偏和EV站输出功率边界为状态集,以模型预测控制(MPC)控制器的可调参数矩阵Q_(x)作为动作集,以频率偏差为奖励函数指标,电压控制器同理,从而实现MPC与PI控制器权重参数的自适应调整;最后,仿真结果表明,自动调压(AVR)回路增加了有功功率干扰,对LFC控制器提出了更高的要求,与传统控制和MPC算法相比,应用于控制器互联结构的可进化模型预测控制器能够在子微电网之间进行信息交换,并且根据环境状态实时更新控制器参数,显著提高了多微电网频率控制过程的鲁棒性和快速性。同时,与纯深度确定性策略梯度(DDPG)控制器相比,该文提出的双层控制结构在机器学习智能体出现故障无法正常输出动作时,能更好地保证系统的安全稳定运行。

基于改进虚拟同步机的风储微网综合控制

微电网中负荷变化与风电等分布式电源出力不确定性给整个微网稳定带来很大困难。针对风电出力波动问题,采用虚拟同步发电机控制结合深度强化学习对电池储能系统输出进行控制:首先搭建包含风电、电池储能、负荷、外部电网的微网模型,其次利用深度确定策略梯度算法对虚拟调速器进行设计,结合奖励函数通过反复学习训练生成调速器实现对虚拟同步发电机的改进。最后,在MATLAB/Simulink软件中搭建对应的仿真模型,与下垂控制、传统虚拟同步发电机控制进行对比,仿真验证了并网到离网切换场景与孤岛运行场景下,所提出的控制方法对微网频率与电压有良好的稳定效果,可以实现对负荷有功功率与无功功率的快速追踪。