基于改进近似动态规划的安全约束机组组合算法

针对电力系统的安全约束机组组合问题,提出了一种基于改进近似动态规划的求解算法。考虑到安全约束机组组合是一个多时段混合整数非线性规划问题,难以直接求解,所提算法将其建模成马尔可夫决策过程,并利用近似动态规划实现解耦求解。为了处理近似动态规划决策空间过大的问题,所提算法通过决策空间缩减技术提前获得大部分机组的开停机状态,有效提高求解效率。在IEEE 39节点系统和一个实际系统上进行了算例分析,验证了所提算法的有效性。

基于近似动态规划的建筑能量管理系统日内优化调度方法

为了维持建筑内部温度和应对随机量的波动,提出了一种建筑能量管理系统的日内优化调度方法。首先考虑建筑围护结构热平衡关系,得出与室温相关的人体舒适度函数,并以经济性最优为目标建立了建筑能量管理系统日内调度优化模型。然后提出近似动态规划(ADP)与模型预测控制(MPC)相结合的求解方法,采用历史数据作为训练集以应对新能源出力和温度、辐照等大量不确定性因素,将离线训练得到的分段线性函数作为日内调度的未来值函数。最后,算例分析表明所提出的MPC-ADP算法可以通过不断迭代得到近似最优的日内调度方案,并大幅提升人体舒适度。

凸近似避障及采样区优化的智能车辆轨迹规划

针对结构化道路下作匀速运动的智能车辆避障轨迹规划问题,提出一种基于凸近似避障原理及采样区域优化的智能车辆轨迹规划方法。引入凸近似避障原理,得到轨迹可行域范围;将采样区域分为静态采样区、动态采样区两部分,并根据障碍物运动状态,另外划分动态、静态障碍物采样区;采用“动态规划(DP)+二次规划(QP)”思想求解轨迹:利用五次多项式对采样点依次连接,建立动态规划代价函数并筛选得到粗略轨迹;通过二次规划及约束条件的构造,对粗略轨迹进行平滑,最终得到最优轨迹。仿真结果表明:对于静态、低速、动态三种障碍物,该车能够有效地得到平滑轨迹并避开障碍物。

基于并行多维近似动态规划的综合能源系统动态经济调度

针对随机动态经济调度模型难以高效求解的问题,提出一种用于快速求解电-气-热综合能源系统(IES)随机动态经济调度问题的并行多维近似动态规划算法。该算法将原有的高维状态空间中的状态变量聚合到IES的电储能系统(ESS)的可用容量和蓄热罐(HST)的可用热量中,实现了状态空间的降维,进而解决了动态规划中“维数灾”的问题。此外,利用ESS和HST的运行约束,将无效状态剔除,降低了问题的求解规模。在风电、电价和负荷等不确定场景充分训练后的值表模型中,通过近似值函数的迭代寻优,将含有经验知识的值表应用于在线测试中,实现应对不确定性的IES最优调度决策。以改进的2个系统为例,验证了所提模型和算法的有效性。

近似动态规划求解随机需求分批配送车辆路径问题

本文针对现实生活中固体废弃物收集等需求随机的分批配送车辆路径问题,建立双层马尔科夫决策模型,使用基于动态分区的全局修正策略和基于部分重优化算法的近似动态规划进行求解。通过算例测试和分析表明模型和算法的有效性。得到以下结论:1)SDVRPSD的最优解中车辆数略高于最小期望车辆数的1.2倍,接近使用进化算法得到的最优解中的车辆数,这两者平均约相差0.6辆。2)与静态分区相比,动态分区以花费较多时间为代价,能显著提升服务范围、降低服务费用,并增加分批配送点数量。3)算法最优解与使用固定路径算法得到的初始解相比,期望服务需求量平均提高约2.6%,期望行驶费用平均降低约1.9%;分批配送点数平均多2.5个。

基于近似动态规划的动态车辆调度算法

针对物流配送服务业中,车辆调度问题日渐呈现任务规模大,车辆类型多、属性多,调度实时性要求越来越高等特点,提出了基于近似动态规划的动态车辆调度算法。根据当前的任务需求与车辆状态以及相应的约束条件作出相应的调度,并且对一些样本进行训练,得到了一个近似价值函数。通过该价值函数,即可对任务迅速作出相应的决策。仿真模拟实验证明了该算法的有效性和优越性。

求解大规模机组组合问题的策略迭代近似动态规划

针对动态规划存在的“维数灾”问题，提出了一种求解大规模电力系统机组组合（unit commitment，UC）问题的策略迭代近似动态规划（policy iteration-approximate dynamicprogramming，PI．ADP）方法。采用策略迭代对动态规划过程中的值函数进行近似，替代了从可行状态中精确计算值函数的过程，避免了“维数灾”的发生。在值函数的近似过程中，利用了实际系统的运行约束有效压缩状态空间，减少可选择的启停动作，进一步降低了计算量。10－1000机96时段系统的计算结果表明，所提方法能在较少时间内获得高质量的解，从而为求解大规模电力系统UC问题提供了参考。

应用近似动态规划算法求解安全约束随机动态经济调度问题

针对大电网安全约束随机动态经济调度(DED)问题的求解时间太长,提出了应用近似动态规划算法快速求解不含抽水蓄能电站电网的安全约束随机DED问题的方法。建立了随机DED问题的虚拟存储器模型,以系统的正旋转备用容量作为存储变量,构建系统相邻时段的状态转移方程,并考虑了各输电线路和断面的安全约束。以风电场日前功率预测曲线为基础,通过拉丁超立方抽样产生风电场出力的误差场景,并逐一场景递推求解每个时段的二次规划模型以对各个时段的值函数进行训练,形成收敛的值函数,再代入预测场景求解以获得最终的优化调度方案。该方法实现了对随机DED模型各个场景和各个时段的解耦求解,将一个大规模优化问题分解为一系列的小规模优化问题,有效提高了对大电网随机DED模型的求解速度。以某一实际省级电网为算例,通过与场景法和鲁棒优化调度方法的比较验证了所提出模型和求解方法的正确有效性。

随机动态经济调度问题的存储器建模及近似动态规划算法

将含有风电场和抽水蓄能电站的电力系统随机动态经济调度问题描述为随机型存储器问题,以考虑风电场出力所具有的随机性。该模型含数学期望的计算,且实际问题状态空间、决策空间都是高维的,难以对其准确求解。因此,采用近似动态规划算法将值函数近似表示成分段线性函数的逼近形式,从而将随机存储器问题转化为一系列多阶段线性规划问题。通过扫描误差场景并相应求解所对应的线性规划问题,可实现对值函数进行训练,逐次修正各分段斜率值,直至值函数收敛后,再用来对预测场景下的线性规划问题进行求解,即得动态经济调度结果。该算法避免了求解准确解时面临的"维数灾"问题,具有较快的计算速度。以含风电场和抽水蓄能电站的小型测试系统和某省级实际电力系统为例,验证了所提模型与算法的可行性与有效性。

一种改进的近似动态规划方法及其在SVC的应用

近似动态规划的基本思想是通过近似计算代价函数,从而避免动态规划中的"维数灾"问题。随机选取初值使得近似动态规划方法需要多次的学习才能最终收敛,极大地限制了在实际系统中的应用。针对上述问题,提出一种基于改进PID神经网络的直接启发式动态规划算法,将初始执行网络与PID控制器之间建立起一种等价关系,因此可以利用已经设计好的PID控制器来指导其初值选取,从而使算法收敛性大大提高。改进的神经网络与常规PID神经网络相比,结构简单且具有更好的扩展性,性能上具有更强的鲁棒性。对4机2区系统的静止无功补偿器附加阻尼控制进行仿真测试,仿真结果表明基于改进PID神经网络的直接启发式动态规划算法和初值选取方法的有效性,并且在部分状态反馈和延时两种情况下有着很好的控制效果。

复杂动态环境下无人飞行器动态避障近似最优轨迹规划

针对复杂动态环境下无人飞行器的动态障碍规避问题,基于合理假设建立了无人飞行器和动态障碍的运动学模型,并综合考虑无人飞行器飞行过程中的终端约束、控制输入约束、安全避障约束等,以能量最少为性能指标构建动态避障问题数学描述。之后,针对终端约束和控制输入约束,依据优化模型预测静态规划算法(OMPSP)生成初始轨迹;针对动态避障问题的不等式约束,引入松弛变量并结合滑模变结构控制方法设计松弛变量动力学,实现对一个、多个或同时多个动态障碍的安全规避;最后,依据有限时间微分动态规划(RHDDP)算法进行轨迹优化,获得满足上述各种约束并能规避动态障碍的近似最优轨迹。

基于迭代神经动态规划的数据驱动非线性近似最优调节

利用数据驱动控制思想,建立一种设计离散时间非线性系统近似最优调节器的迭代神经动态规划方法.提出针对离散时间一般非线性系统的迭代自适应动态规划算法并且证明其收敛性与最优性.通过构建三种神经网络,给出全局二次启发式动态规划技术及其详细的实现过程,其中执行网络是在神经动态规划的框架下进行训练.这种新颖的结构可以近似代价函数及其导函数,同时在不依赖系统动态的情况下自适应地学习近似最优控制律.值得注意的是,这在降低对于控制矩阵或者其神经网络表示的要求方面,明显地改进了迭代自适应动态规划算法的现有结果,能够促进复杂非线性系统基于数据的优化与控制设计的发展.通过两个仿真实验,验证本文提出的数据驱动最优调节方法的有效性.

基于近似动态规划的微粒群系统参数优化研究

从系统最优控制的角度对微粒群参数的动态优化问题进行探讨.针对离散动态规划的"维数灾"问题,将群体启发式随机搜索机制引入动态规划的最优策略求解,提出了一种群体智能近似动态规划模式;基于该模式给出简化的确定型微粒群反馈控制系统参数优化的近似计算方法,并扩展应用于具有随机变量的微粒群系统;仿真计算得到了微粒群加速因子的近似最优动态规律,并将所得策略与一种时变加速因子(Time-varying acceleration coefficients,TVAC)策略进行了函数优化性能的比较与分析,初步实验结果表明该近似动态规划模式可有效地用于微粒群系统参数的动态优化设置.

大规模机组组合问题的量子近似动态规划

该文用量子近似动态规划解大规模机组组合问题。利用量子叠加态可表示海量信息的特性,把大规模的0-1机组组合状态用量子叠加态表示,将量子旋转门作为量子叠加态的搜索策略,实现了近似动态规划对海量机组组合状态空间的全局搜索。使用量子测量塌缩原理解Bellman方程,提高了方程的求解效率。用量子平均收敛概率改进迭代中断条件,避免了算法的过度迭代。10~1000机系统的计算结果表明：该文算法能有效地搜索大规模状态空间,产生解Bellman方程所必须的预决策状态;可在多项式时间内获取高质量的解,与外–内逼近法相比最优值的平均偏差小于1/100;所解系统的规模较传统动态规划法增加10倍以上,克服了＂维数灾＂问题。用量子计算理论克服近似动态规划遇到的状态空间搜索难等问题是可行的,算法具有广阔的应用前景。

基于近似动态规划的模具项目调度

模具制造工程中普遍存在任务工期不确定,以及多并行项目共享和竞争企业有限资源的情形,目前尚缺乏求解这类项目调度问题的方法。鉴于此,考虑了部分任务工期服从已知离散分布下的模具项目调度问题,基于马尔可夫决策过程理论构建了以总加权拖期成本期望最小为优化目标的数学模型。针对传统随机动态规划在求解大规模问题时面临的维数灾,分别提出了基于经典优先规则、遗传算法和近似动态规划的求解方法。通过随机生成的项目算例验证了所构建模型和方法的有效性。结果表明,所提近似方法能够在耗费较少计算资源的情形下获得可接受的次优或最优解,可用于求解工程实际问题。

基于近似动态规划与零和博弈的空战机动决策

为应对机动策略未知的空中目标,针对以往机动决策建模通常存在"维数灾难"的不足,提出了一种结合近似动态规划与零和博弈的在线积分策略迭代算法。首先描述了近似动态规划存在问题及求解方法,提出了双人零和微分对策的近似动态规划算法,然后分析了博弈双方的均衡策略和在线策略迭代的求解方法,并结合空战应用场景设计了评价函数,最后进行了空战格斗的算例仿真。仿真结果表明,该算法通过运用函数逼近可以解决动态规划中难以处理的大规模模型"维数灾难"问题。

一种近似动态规划的无人机机动决策方法

针对空战机动决策时出现的"维数爆炸"问题,该文提出一种基于近似动态规划的群智能空战机动决策方法。首先建立无人机空气动力学模型和空战态势优势指标函数。其次,利用近似动态规划的思想,将空战过程按时间域划分为多个规划时域,在每个规划时域内,提出人工势场引导下的改进蚁狮优化算法快速逼近最优控制量,有效裁减搜索空间。通过与专家系统法进行仿真对比,表明所提方法解决高动态、实时性强的无人机机动决策问题的有效性和可行性。

近似动态规划在双容水箱预测控制中的应用

在双容水箱液位优化控制的研究中,由于双容水箱液位控制系统是一个典型的具有大滞后、非线性特征的难控系统,造成系统液位控制不稳定。为解决上述问题,提出一种近似动态规划的预测控制算法,建立反映系统预测时域内参考轨迹与预测输出偏差的性能指标函数J。将函数J的优化问题看作动态规划问题,为了避免"维数灾",采用近似动态规划求解J的近似值,获得最(次)优控制策略。算法包括评价网络、模型网络和执行网络三部分。评价网络近似性能指标函数,模型网络近似系统输入输出关系,执行网络给出相应控制策略。通过不断在线调整各网络参数,使系统输出逼近参考液位。仿真结果表明,与经典PID算法相比,改进算法表现出更好的控制效果。

基于近似动态规划的相邻两交叉口信号协调控制算法(英文)

为减少路网机动车尾气排放,建立了基于近似动态规划的相邻两交叉口信号协调控制算法.以捷达车作为试验车辆,在长春市长春大街进行实车实验,采集了完全停车以及匀速行驶2种状态下的机动车排放因子;以进口道排队长度、信号灯色作为系统状态的表达变量,以绿灯切换方案作为决策变量集,采用近似动态规划中的基函数方法,建立了规划时间窗内优化目标计算模型;并采用时域差分算法对基函数中的权重向量进行动态更新.在Matlab环境中验证了该算法的有效性,结果表明:所建立的算法较传统协调算法能够减少协调相位机动车排放8.2%.同时仿真验证了规划时间窗长度对协调算法控制效益的敏感性,发现最佳规划时间窗长度随着交通负荷的增加而增加.

基于近似动态规划的目标追踪控制算法

在目标跟踪问题中,针对飞行器控制算法难以适应目标大机动飞行甚至与我方博弈等难度较大任务的问题,提出了基于近似动态规划的目标追踪控制算法。该算法通过使用博弈策略对我方无人机进行训练形成经验,将双方位置等状态作为已知量,滚转方向作为控制量,利用两物体的相对位置得出其特征,并形成近似值函数;最终利用rollout算法进行最优跟踪决策求解,实现对跟踪目标甚至是博弈目标的灵活有效精确跟踪。仿真结果验证了近似动态规划用于控制算法的有效性。