基于双智能体深度强化学习的交直流配电网经济调度方法

随着大量直流电源和负荷的接入,交直流混合的配电网技术已成为未来配电网的发展趋势.然而,源荷不确定性及可调度设备的类型多样化给配电网调度带来了巨大的挑战.本文提出了基于分支决斗深度强化网络(branching dueling Q-network,BDQ)和软演员-评论家(soft actor critic,SAC)双智能体深度强化学习的交直流配电网调度方法.该方法首先将经济调度问题与两智能体的动作、奖励、状态相结合,建立经济调度的马尔可夫决策过程,并分别基于BDQ和SAC方法设置两个智能体,其中,BDQ智能体用于控制配电网中离散动作设备,SAC智能体用于控制连续动作设备.然后,通过集中训练分散执行的方式,两智能体与环境进行交互,进行离线训练.最后,固定智能体的参数,进行在线调度.该方法的优势在于采用双智能体能够同时控制离散动作设备电容器组、载调压变压器和连续动作设备变流器、储能,同时通过对双智能体的集中训练,可以自适应源荷的不确定性.改进的IEEE33节点交直流配电网算例测试验证了所提方法的有效性.

基于深度信念网络的日前电价预测

随着我国电力体制改革的不断深入,电力市场建设取得重大进展。电价是电力市场的关键影响因素,每个参与者都基于电价进行电力交易。因此,提高电价预测的精度对于电力市场中每个参与者而言都十分重要。采用单层神经网络预测的预测精度有限。为此,根据机器学习在预测方面展示出的精准度,采用深度信念网络的方法对日前电价进行预测。在算例部分,采用美国PJM电力市场的真实数据进行仿真预测,并与其他神经网络的预测模型进行比较。算例结果表明,采用的深度信念网络模型的预测精度更高,使用深度信念网络可以为我国售电公司进行电价预测提供一种有效的方法。

基于DQN和DDPG算法的交直流配电网多设备协同电压控制方法

分布式光伏大规模接入配电网,推动了交直流配电网的发展。然而,这也带来了电压越限问题,限制了光伏高比例接入的进一步发展。为解决此问题,提出一种基于深度Q网络(deep Q-network,DQN)和深度确定性策略梯度算法(deep deterministic policy gradient,DDPG)的交直流配电网深度强化学习电压控制方法。首先,构建了交直流配电网电压控制问题的马尔科夫决策过程;接着,在深度强化学习框架中,利用DQN和DDPG设计了2个智能体,基于DQN的智能体用于控制有载调压变压器和电容器组,而基于DDPG的智能体用于控制变流器的有功功率和无功功率;然后,在此基础上提出了一种多智能体的训练方法,通过与环境不断交互,智能体可以更新网络的参数,从而获得最优电压控制策略;最后,通过对改进的IEEE 33节点算例进行仿真,结果表明所提方法能有效降低电压偏差,解决光伏接入导致的电压越限问题,并实现精确快速的电压控制。

考虑不确定性的综合能源系统日前市场申报策略

风力发电具有低碳的特性,可以促进能源行业的减排,然而中国弃风问题依然很严重。为了促进风电的消纳,使风力发电商获取尽可能高的利润,文章建立了综合能源系统日前市场中风电申报与市场出清双层规划模型,风电申报以利润的期望值最大为目标函数,出清模型以社会福利最大化为目标函数,模型对市场机制进行了优化改进,引入碳交易以促进减排。针对风力发电的不确定性,采用场景法进行处理,使计算更加迅速。对提出的模型进行了仿真,探究了市场机制与申报策略对风电商利润及风电消纳量的影响。