近似动态规划在电力系统优化运行中的应用综述

高比例可再生能源的接入和日益扩大的系统规模给电力系统优化运行带来了巨大挑战。近似动态规划(ADP)能够有效处理维数灾问题,在求解复杂系统动态优化问题上具备强大优势,近年来成为运筹学领域的一大研究热点。文中对ADP及其在电力优化运行中的应用进行了综述。首先,阐述了ADP的基本思想、主要特点及其近似策略。其次,介绍了不同类型的ADP在电力系统优化运行中的应用现状。最后,讨论了当前ADP在理论和应用中的不足,并对其未来发展方向作了进一步的展望。

基于近似动态规划的多级火箭全程任务决策

针对火箭发生推力下降故障下的任务决策问题,提出了一种基于近似动态规划的多级火箭全程任务决策方法。首先,通过设置初始状态集合、决策选项、奖励函数、Q函数迭代方法等,建立了火箭任务决策分层强化学习模型,得到对火箭后续飞行进行评价的“评价网络”;然后利用基于凸优化的在线能力评估和轨迹规划方法,得到近似动态规划原理中的“决策生成”模块;最后,通过两者结合完成对火箭故障下后续飞行中连续轨迹和各级飞行段离散轨道根数等的决策。仿真结果表明该方法能够在非致命推力下降故障下实现火箭全程飞行任务决策并给出飞行轨迹。

基于改进近似动态规划的安全约束机组组合算法

针对电力系统的安全约束机组组合问题,提出了一种基于改进近似动态规划的求解算法。考虑到安全约束机组组合是一个多时段混合整数非线性规划问题,难以直接求解,所提算法将其建模成马尔可夫决策过程,并利用近似动态规划实现解耦求解。为了处理近似动态规划决策空间过大的问题,所提算法通过决策空间缩减技术提前获得大部分机组的开停机状态,有效提高求解效率。在IEEE 39节点系统和一个实际系统上进行了算例分析,验证了所提算法的有效性。

基于近似动态规划的建筑能量管理系统日内优化调度方法

为了维持建筑内部温度和应对随机量的波动,提出了一种建筑能量管理系统的日内优化调度方法。首先考虑建筑围护结构热平衡关系,得出与室温相关的人体舒适度函数,并以经济性最优为目标建立了建筑能量管理系统日内调度优化模型。然后提出近似动态规划(ADP)与模型预测控制(MPC)相结合的求解方法,采用历史数据作为训练集以应对新能源出力和温度、辐照等大量不确定性因素,将离线训练得到的分段线性函数作为日内调度的未来值函数。最后,算例分析表明所提出的MPC-ADP算法可以通过不断迭代得到近似最优的日内调度方案,并大幅提升人体舒适度。

基于并行多维近似动态规划的综合能源系统动态经济调度

针对随机动态经济调度模型难以高效求解的问题,提出一种用于快速求解电-气-热综合能源系统(IES)随机动态经济调度问题的并行多维近似动态规划算法。该算法将原有的高维状态空间中的状态变量聚合到IES的电储能系统(ESS)的可用容量和蓄热罐(HST)的可用热量中,实现了状态空间的降维,进而解决了动态规划中“维数灾”的问题。此外,利用ESS和HST的运行约束,将无效状态剔除,降低了问题的求解规模。在风电、电价和负荷等不确定场景充分训练后的值表模型中,通过近似值函数的迭代寻优,将含有经验知识的值表应用于在线测试中,实现应对不确定性的IES最优调度决策。以改进的2个系统为例,验证了所提模型和算法的有效性。

近似动态规划求解随机需求分批配送车辆路径问题

本文针对现实生活中固体废弃物收集等需求随机的分批配送车辆路径问题,建立双层马尔科夫决策模型,使用基于动态分区的全局修正策略和基于部分重优化算法的近似动态规划进行求解。通过算例测试和分析表明模型和算法的有效性。得到以下结论:1)SDVRPSD的最优解中车辆数略高于最小期望车辆数的1.2倍,接近使用进化算法得到的最优解中的车辆数,这两者平均约相差0.6辆。2)与静态分区相比,动态分区以花费较多时间为代价,能显著提升服务范围、降低服务费用,并增加分批配送点数量。3)算法最优解与使用固定路径算法得到的初始解相比,期望服务需求量平均提高约2.6%,期望行驶费用平均降低约1.9%;分批配送点数平均多2.5个。

求解大规模机组组合问题的策略迭代近似动态规划

针对动态规划存在的“维数灾”问题，提出了一种求解大规模电力系统机组组合（unit commitment，UC）问题的策略迭代近似动态规划（policy iteration-approximate dynamicprogramming，PI．ADP）方法。采用策略迭代对动态规划过程中的值函数进行近似，替代了从可行状态中精确计算值函数的过程，避免了“维数灾”的发生。在值函数的近似过程中，利用了实际系统的运行约束有效压缩状态空间，减少可选择的启停动作，进一步降低了计算量。10－1000机96时段系统的计算结果表明，所提方法能在较少时间内获得高质量的解，从而为求解大规模电力系统UC问题提供了参考。

基于近似动态规划的动态车辆调度算法

针对物流配送服务业中,车辆调度问题日渐呈现任务规模大,车辆类型多、属性多,调度实时性要求越来越高等特点,提出了基于近似动态规划的动态车辆调度算法。根据当前的任务需求与车辆状态以及相应的约束条件作出相应的调度,并且对一些样本进行训练,得到了一个近似价值函数。通过该价值函数,即可对任务迅速作出相应的决策。仿真模拟实验证明了该算法的有效性和优越性。

一种改进的近似动态规划方法及其在SVC的应用

近似动态规划的基本思想是通过近似计算代价函数,从而避免动态规划中的"维数灾"问题。随机选取初值使得近似动态规划方法需要多次的学习才能最终收敛,极大地限制了在实际系统中的应用。针对上述问题,提出一种基于改进PID神经网络的直接启发式动态规划算法,将初始执行网络与PID控制器之间建立起一种等价关系,因此可以利用已经设计好的PID控制器来指导其初值选取,从而使算法收敛性大大提高。改进的神经网络与常规PID神经网络相比,结构简单且具有更好的扩展性,性能上具有更强的鲁棒性。对4机2区系统的静止无功补偿器附加阻尼控制进行仿真测试,仿真结果表明基于改进PID神经网络的直接启发式动态规划算法和初值选取方法的有效性,并且在部分状态反馈和延时两种情况下有着很好的控制效果。

应用近似动态规划算法求解安全约束随机动态经济调度问题

针对大电网安全约束随机动态经济调度(DED)问题的求解时间太长,提出了应用近似动态规划算法快速求解不含抽水蓄能电站电网的安全约束随机DED问题的方法。建立了随机DED问题的虚拟存储器模型,以系统的正旋转备用容量作为存储变量,构建系统相邻时段的状态转移方程,并考虑了各输电线路和断面的安全约束。以风电场日前功率预测曲线为基础,通过拉丁超立方抽样产生风电场出力的误差场景,并逐一场景递推求解每个时段的二次规划模型以对各个时段的值函数进行训练,形成收敛的值函数,再代入预测场景求解以获得最终的优化调度方案。该方法实现了对随机DED模型各个场景和各个时段的解耦求解,将一个大规模优化问题分解为一系列的小规模优化问题,有效提高了对大电网随机DED模型的求解速度。以某一实际省级电网为算例,通过与场景法和鲁棒优化调度方法的比较验证了所提出模型和求解方法的正确有效性。

基于近似动态规划的微粒群系统参数优化研究

从系统最优控制的角度对微粒群参数的动态优化问题进行探讨.针对离散动态规划的"维数灾"问题,将群体启发式随机搜索机制引入动态规划的最优策略求解,提出了一种群体智能近似动态规划模式;基于该模式给出简化的确定型微粒群反馈控制系统参数优化的近似计算方法,并扩展应用于具有随机变量的微粒群系统;仿真计算得到了微粒群加速因子的近似最优动态规律,并将所得策略与一种时变加速因子(Time-varying acceleration coefficients,TVAC)策略进行了函数优化性能的比较与分析,初步实验结果表明该近似动态规划模式可有效地用于微粒群系统参数的动态优化设置.

随机动态经济调度问题的存储器建模及近似动态规划算法

将含有风电场和抽水蓄能电站的电力系统随机动态经济调度问题描述为随机型存储器问题,以考虑风电场出力所具有的随机性。该模型含数学期望的计算,且实际问题状态空间、决策空间都是高维的,难以对其准确求解。因此,采用近似动态规划算法将值函数近似表示成分段线性函数的逼近形式,从而将随机存储器问题转化为一系列多阶段线性规划问题。通过扫描误差场景并相应求解所对应的线性规划问题,可实现对值函数进行训练,逐次修正各分段斜率值,直至值函数收敛后,再用来对预测场景下的线性规划问题进行求解,即得动态经济调度结果。该算法避免了求解准确解时面临的"维数灾"问题,具有较快的计算速度。以含风电场和抽水蓄能电站的小型测试系统和某省级实际电力系统为例,验证了所提模型与算法的可行性与有效性。

大规模机组组合问题的量子近似动态规划

该文用量子近似动态规划解大规模机组组合问题。利用量子叠加态可表示海量信息的特性,把大规模的0-1机组组合状态用量子叠加态表示,将量子旋转门作为量子叠加态的搜索策略,实现了近似动态规划对海量机组组合状态空间的全局搜索。使用量子测量塌缩原理解Bellman方程,提高了方程的求解效率。用量子平均收敛概率改进迭代中断条件,避免了算法的过度迭代。10~1000机系统的计算结果表明：该文算法能有效地搜索大规模状态空间,产生解Bellman方程所必须的预决策状态;可在多项式时间内获取高质量的解,与外–内逼近法相比最优值的平均偏差小于1/100;所解系统的规模较传统动态规划法增加10倍以上,克服了＂维数灾＂问题。用量子计算理论克服近似动态规划遇到的状态空间搜索难等问题是可行的,算法具有广阔的应用前景。

基于近似动态规划的模具项目调度

模具制造工程中普遍存在任务工期不确定,以及多并行项目共享和竞争企业有限资源的情形,目前尚缺乏求解这类项目调度问题的方法。鉴于此,考虑了部分任务工期服从已知离散分布下的模具项目调度问题,基于马尔可夫决策过程理论构建了以总加权拖期成本期望最小为优化目标的数学模型。针对传统随机动态规划在求解大规模问题时面临的维数灾,分别提出了基于经典优先规则、遗传算法和近似动态规划的求解方法。通过随机生成的项目算例验证了所构建模型和方法的有效性。结果表明,所提近似方法能够在耗费较少计算资源的情形下获得可接受的次优或最优解,可用于求解工程实际问题。

基于近似动态规划与零和博弈的空战机动决策

为应对机动策略未知的空中目标,针对以往机动决策建模通常存在"维数灾难"的不足,提出了一种结合近似动态规划与零和博弈的在线积分策略迭代算法。首先描述了近似动态规划存在问题及求解方法,提出了双人零和微分对策的近似动态规划算法,然后分析了博弈双方的均衡策略和在线策略迭代的求解方法,并结合空战应用场景设计了评价函数,最后进行了空战格斗的算例仿真。仿真结果表明,该算法通过运用函数逼近可以解决动态规划中难以处理的大规模模型"维数灾难"问题。

基于近似动态规划的目标追踪控制算法

在目标跟踪问题中,针对飞行器控制算法难以适应目标大机动飞行甚至与我方博弈等难度较大任务的问题,提出了基于近似动态规划的目标追踪控制算法。该算法通过使用博弈策略对我方无人机进行训练形成经验,将双方位置等状态作为已知量,滚转方向作为控制量,利用两物体的相对位置得出其特征,并形成近似值函数;最终利用rollout算法进行最优跟踪决策求解,实现对跟踪目标甚至是博弈目标的灵活有效精确跟踪。仿真结果验证了近似动态规划用于控制算法的有效性。

一种近似动态规划的无人机机动决策方法

针对空战机动决策时出现的"维数爆炸"问题,该文提出一种基于近似动态规划的群智能空战机动决策方法。首先建立无人机空气动力学模型和空战态势优势指标函数。其次,利用近似动态规划的思想,将空战过程按时间域划分为多个规划时域,在每个规划时域内,提出人工势场引导下的改进蚁狮优化算法快速逼近最优控制量,有效裁减搜索空间。通过与专家系统法进行仿真对比,表明所提方法解决高动态、实时性强的无人机机动决策问题的有效性和可行性。

近似动态规划在双容水箱预测控制中的应用

在双容水箱液位优化控制的研究中,由于双容水箱液位控制系统是一个典型的具有大滞后、非线性特征的难控系统,造成系统液位控制不稳定。为解决上述问题,提出一种近似动态规划的预测控制算法,建立反映系统预测时域内参考轨迹与预测输出偏差的性能指标函数J。将函数J的优化问题看作动态规划问题,为了避免"维数灾",采用近似动态规划求解J的近似值,获得最(次)优控制策略。算法包括评价网络、模型网络和执行网络三部分。评价网络近似性能指标函数,模型网络近似系统输入输出关系,执行网络给出相应控制策略。通过不断在线调整各网络参数,使系统输出逼近参考液位。仿真结果表明,与经典PID算法相比,改进算法表现出更好的控制效果。

基于近似动态规划的神经网络控制及在电力系统中应用

对基于近似动态规划(ADP)的神经网络控制的原理、分类和实现等进行了较全面的论述。介绍了基于ADP的神经网络控制方法在电力系统中的应用。对基于APD的神经网络控制的未来研究发展方向进行了展望。

防治公交串车的近似动态规划法

公交串车是公交系统运行失效的集中体现。为防治公交串车,建立了公交线路运行的近似动态规划模型,从而实现公交线路的动态自适应式控制。利用Q学习算法和基于人工神经网络近似的价值函数求解上述模型可以得到公交线路控制的最优策略,即基于系统状态确定站点滞留时间的状态价值函数。新的防治方法不仅可以利用仿真模型细致刻画公交线路的实际运行过程,而且可以动态整合在线和离线数据实现控制策略的动态优化调整。数值分析验证了新方法的有效性,与无控制情景相比,新方法不仅能防止公交串车发生,而且可有效降低公交车头时距的波动。