动态规划启发式算法求解时变车辆调度问题

时变网络中车辆在任意两节点间的行驶时间不仅与节点间的距离有关,还与所处的时段有关.对时变车辆调度问题提出一种满足先入先出准则的跨时段处理方法,直接推导出跨时段对应的车辆行驶时间.在此基础上建立了数学模型,并构造动态规划启发式算法进行求解.该算法能够通过设置参数H平衡求解质量和运行时间.通过对10组随机产生的数据进行测试,结果表明动态规划启发式算法能够在很短时间内改进最近邻算法.当H=2时,求解质量改进11%,平均运算时间为1.34秒;当H=3时,在不到2秒的运算时间内求解质量改进17%.

基于多层次启发式动态规划算法的电力系统动态等值

针对电力系统运行工况变化后动态等值系统响应精度不够的问题,提出一种基于多层次启发式动态规划(Global representation heuristic dynamic programming,Gr HDP)算法的动态等值方法。该方法在基于同调等值得到的模型的基础上,在等值边界上加入基于Gr HDP算法的动态补偿环节,实时补偿同调等值系统与原系统间动态特性的差额,从而实现精确跟踪原系统的动态特性。以10机39节点系统为例进行仿真研究,结果表明:在不同运行工况、故障方式和故障地点下,基于所提算法的动态等值系统相比传统的同调等值能更精确地跟踪原系统的动态特性。

基于启发式动态规划方法的发电商最优竞价策略

电力市场环境下的购销竞价策略是一个复杂的动态问题,传统的数学解析方法很难对其进行分析计算,这在中长期交易时间段尤为突出。文章提出了以最优潮流为基础的双层中长期最优竞价策略学习模型。采用启发式动态规划方法,将动态规划的策略行为和奖惩因子迭代过程看作智能体(agent),将外界不确定因素当作该智能体的"外部环境"。在所处的环境条件下,agent通过评价环境作出判断来选择可行的策略方案,通过学习以往的报价经验和对手的行为来指导自身达到最优生产效益。在标准IEEE5节点6支路系统中进行实例计算,证明了所提出方法的适应性和优越性。

启发式动态规划在污水处理过程控制中的应用

针对溶解氧及硝态氮浓度的跟踪控制问题,提出了一种基于回声状态网络的启发式动态规划控制方法,该方法首先对当前策略进行评价,然后根据评价结果对当前策略进行调整,这个过程交替进行,直至发现最优的控制策略.评价函数及控制策略的逼近均采用回声状态网络实现.为保证控制器的可用性,对控制器学习过程的参数选择范围进行了分析.污水处理过程的控制实验表明,该方法能够显著提高系统控制的平稳性及控制精度.

基于执行依赖启发式动态规划的紧急电压控制

针对长期电压稳定场景,应用执行依赖启发式动态规划方法设计紧急电压控制器,协调各种不同类型的控制手段来维持系统的长期电压稳定.利用每个控制周期节点的电压偏差二次型构建效用函数,对未来控制时间的效用函数累加建立代价函数,建立长期电压稳定控制的动态规划模型,采用BP神经网络建立评价网络和执行网络,根据Bellman最优化原理来训练评价网络,用于近似出代价函数,并由执行网络产生最优控制量,进而求解问题.最后,以新英格兰10机39节点系统为例,建立基于PSAT的仿真算例,结果表明所提的控制方案可行且有效.

水泥预分解窑系统的启发式动态规划控制

水泥预分解窑具有参数众多、大惯性、大滞后、非线性等特点,其生产参数调节大多以人工调节为主,为稳定水泥生产,采用BP神经网络对水泥预分解窑系统进行建模,提出了基于启发式动态规划算法的水泥预分解窑的优化控制。控制结果表明:启发式动态规划算法具有良好的控制效果,提高了水泥生产稳定性。

基于启发式动态规划的盾构土压平衡优化控制

为了避免盾构施工造成地表变形而引发安全事故,建立有效的密封舱土压平衡自动控制方法是至关重要的.为此,提出了一种新的基于启发式动态规划(heuristic dynamic programming,HDP)的盾构土压平衡优化控制方法,该方法能够实现盾构机多参数实时协调优化控制.基于神经网络,构建组成密封舱土压HDP控制器的执行网络、模型网络和评价网络,采用梯度下降算法对网络权值进行在线训练;利用评价网络迭代逼近密封舱土压优化控制代价函数,将多级优化问题简化为单级优化,从而显著降低实时计算负荷;执行网络以最小化代价函数为目标,对多参数同步协调优化,获得推进速度、刀盘扭矩、总推力、螺旋输送机转速的最优值.仿真结果表明,该方法能够有效控制密封舱土压平衡,HDP控制器具有较强的抗干扰能力,并且控制过程更加快速、稳定.

移动机器人自主寻路避障启发式动态规划算法

用启发式动态规划算法解决移动机器人自主寻路、避障问题。提出了传感器检测环境状态的方法,以及对传感器检测信息进行归一化处理的方案。对输入、输出量以及学习系统的强化信号进行定义,设计了机器人自主学习寻路、避障的控制策略。定义了连续型强化信号,使机器人通过学习,对优先寻路还是优先避障做出决策判断。为验证启发式动态规划算法在移动机器人寻路、避障问题上的学习能力,设计了3种不同的寻路、避障仿真实验:同目标、不同起始点,同起始点、不同目标,和移动目标仿真实验。仿真结果表明,对于不同的寻路、避障要求,基于启发式动态规划算法的移动机器人具有良好的学习及适应能力。

基于执行依赖启发式动态规划的预分解窑优化控制

水泥预分解窑系统(PCK)参数较多,且难以建立精确的数学模型。为了提高水泥生产稳定性及水泥熟料质量,本文介绍了一种基于自适应动态规划的执行依赖启发式动态规划(ADHDP)的优化控制算法,建立了水泥预分解窑系统的人工神经网络模型,研究了执行依赖启发式动态规划在水泥预分解窑系统中的优化控制。仿真结果表明:执行依赖启发式动态规划算法提高了水泥生产的稳定性,达到了优化控制的效果。

基于极大代数的阻塞流水车间启发式动态规划调度算法

基于极大代数理论,引入任务排序函数与时间D子集,建立阻塞流水车间排序与调度代数模型,并提出启发式动态规划调度算法,实例计算表明算法十分有效.

永磁同步风力发电机的双启发式动态规划控制

永磁同步风力发电机(PMSG)的功率控制一般基于线性控制理论,致使其动态性能难以完全满足风电场运行的需要。本文采用双启发式动态规划(DHP)对PMSG的输出功率进行控制。首先阐述PMSG的工作原理,然后搭建动态模型,编制了DHP算法的C程序,创建DHP控制模块以更换动态模型中的PI控制模块,最终接入到IEEE 10机39节点系统进行时域仿真并调节参数。仿真结果表明,应用DHP算法有效实现了PMSG的功率控制,获得了较为理想的动态性能。

催化剂窑炉温度的启发式动态规划控制

针对催化剂生产过程中焙烧窑炉温度控制问题,提出了一种启发式动态规划(heuristic dynamical programming,HDP)控制方法。该方法通过策略评价及策略提升的重复进行逐渐逼近最优的控制策略。采用人工神经网络建立了被控系统和评价指标模型,基于梯度下降原理阐明了控制器各模块的在线学习方法。对某催化剂公司的窑炉温度控制实验表明,与常规PID控制相比,HDP控制方案具有较强的工况适应能力,其控制精度较常规控制提高约70%,加热电流均值减小约5%。

执行依赖启发式动态规划在同步发电机励磁系统中的应用

介绍了一种控制同步发电机励磁系统的新方法,即执行依赖启发式动态规划(ADHDP)对同步发电机励磁电压的自适应控制。执行依赖启发式动态规划是近似动态规划(ADP)的一种算法,ADP利用非线性函数拟合方法逼近动态规划的性能指标函数,以获得最优解或次优解。仿真结果表明,基于执行依赖启发式动态规划算法的励磁控制效果优于传统励磁控制的控制效果。

柔性机器人多层启发式动态规划平衡认知研究

针对柔性自平衡机器人的稳定自平衡认知问题,提出一种基于多层启发式动态规划认知(Multi-level heuristic dynamic programming,Ml HDP)模型的平衡认知方法,将这种认知方法用于柔性自平衡机器人自平衡学习中。通过引入取向奖赏模块,把原有离散形式的奖赏机制转化为连续形式,以转化后的连续奖赏信号作为评价的主要依据。该方案使得机器人在自主认知的过程中能够记录更多信息量,提高其认知能力。通过机器人的自平衡认知实验可以看出,在机器人具有柔性关节的条件下仍然具备良好的认知能力,学习效果优于传统方法,鲁棒性强。

基于执行依赖启发式动态规划的风电场电压协调控制

提出了一种变速恒频双馈电机风电场与静止同步补偿器的电压协调控制方法。介绍了执行依赖启发式动态规划(ADHDP)方法的原理,设计了基于ADHDP的电压协调控制器,控制器以风电场送端母线电压偏差为输入,采用神经网络模型构造执行网络和评价网络,通过最小化评价网络输出的代价函数来决定执行网络产生双馈风电场与静止同步补偿器的附加电压指令值。对不同风速、故障程度的各种故障情形进行仿真,仿真结果表明,ADHDP控制器可起到附加阻尼控制作用,能够协调双馈风电场与静止同步补偿器支撑电网电压,并对故障后的电压振荡有良好的抑制能力,验证了所提方法的有效性。

启发式动态规划在糖厂澄清工段pH值控制中的应用

糖厂澄清工艺是一个复杂的物理化学反应过程,具有强非线性、时变大时滞、多输入输出等特点,对其建立精确的数学模型和实现pH值的稳定控制非常困难。为此,基于模糊神经网络和启发式动态规划(HDP)控制器,构建了模糊神经网络模型。该模型的具体实现过程是将HDP优化方法应用于澄清工段,模拟试验装置中的中和pH值控制。试验表明,该控制系统取得了很好的控制效果,具有很强的鲁棒性。

基于双启发式动态规划的PHEV能量管理策略

为提高插电式混合动力汽车(PHEV)燃油经济性和排放性能,提出一种基于双启发式动态规划(DHP)的能量管理控制策略。采用3层BP神经网络分别设计了DHP能量管理控制器的执行网络、模型网络和评价网络。利用Matlab/Simulink与ADVISOR平台,在CYC_NDEC循环工况下对DHP能量管理控制策略进行联合仿真验证,并与执行依赖启发式动态规划(ADHDP)控制算法设计的能量管理控制策略进行对比分析。结果表明,CYC_NEDC循环工况经过1个、2个与3个循环周期后,DHP能量管理控制策略的蓄电池组荷电状态SOC维持在0.63以上,燃油消耗量分别降低了6.9%、4.1%与2.7%,尾气有害物排放量均有一定程度的降低。该方法可有效提升整车的燃油经济性和环保性。

基于双重启发式动态规划算法的列车运行调整研究

通过对列车行车组织特点及运行调整策略的研究,采用自适应动态规划体系中的双重启发式动态规划算法,建立了列车运行调整模型。双重启发式动态规划算法适合处理具有实时性、约束性、非线性、随机性等特点的列车运行调整复杂动态系统的优化控制问题,通过仿真验证,该算法求解速度快、精度高,对列车晚点的调整起到了良好的控制作用。为列车运行调整的深入研究提供了一定的参考价值。

基于启发式动态规划的履带机器人路径跟随控制方法

针对移动机器人传统路径跟随控制方法需要人工调校参数、缺乏自主优化能力的问题,提出了一种基于启发式动态规划(Heuristic dynamic programming,HDP)的路径跟随控制方法。首先,设计履带式机器人路径跟随控制系统结构,建立了误差状态方程;其次,提出了一种基于HDP算法的路径跟随控制方法,综合误差性能指标和跟随稳定性指标设计了回报函数,采用多层前馈神经网络逼近评价器和执行器,并推导了网络参数的在线优化规则;最后,通过数值仿真和系统试验验证了HDP方法的路径跟随性能。试验结果证明,基于HDP算法的控制器跟随直线的平均误差绝对值为0.04 m、均方根误差为0.06 m;跟随钝角转向曲线的平均误差绝对值为0.01 m、均方根误差为0.06 m;跟随锐角转向曲线的平均误差绝对值为0.03 m、均方根误差为0.09 m。该方法不需要对控制参数进行反复调试就能够获得较好的控制效果,提高了移动机器人路径跟随控制方法的环境适应性和自主优化能力。

执行依赖启发式动态规划PMSM控制策略研究

永磁同步电机算法中的PID参数固定不变,自适应能力较差;近似动态规划具有自学习能力,能动态调整参数,增强系统的自适应能力;文章将近似动态规划中的代表性算法——执行依赖启发式动态规划与类PI网络相结合,根据环境反馈对各个策略进行评价,选取评价最优的策略在线调整动作网络参数,对永磁同步电机进行自适应最优控制;仿真结果表明,执行依赖启发式动态规划加PI控制算法在系统速度变化和负载变化过程中,动态效果和稳态精度优于传统PID控制。