基于近端策略优化算法含碳捕集的综合能源系统低碳经济调度

为了实现园区综合能源系统(PIES)的低碳化经济运行和多能源互补,解决碳捕集装置耗电与捕碳需求之间的矛盾,以及不确定性源荷实时响应的问题,提出了基于近端策略优化算法含碳捕集的综合能源系统低碳经济调度方法。该方法通过在PIES中添加碳捕集装置,解决了碳捕集装置耗电和捕碳需求之间的矛盾,进而实现了PIES的低碳化运行;通过采用近端策略优化算法对PIES进行动态调度,解决了源荷的不确定性,平衡了各种能源的供给需求,进而降低了系统的运行成本。实验结果表明:该方法实现了不确定性源荷的实时响应,并相比于DDPG(deep deterministic policy gradient)和DQN(deep Q network)方法在低碳化经济运行方面具有有效性及先进性。

基于近端策略优化算法的燃料电池混合动力系统综合价值损耗最小能量管理方法

为了降低市域动车组燃料电池混合动力系统运行燃料经济成本,提升燃料电池耐久性,该文提出一种基于近端策略优化算法的能量管理方法。该方法将混合动力系统能量管理问题建模为马尔可夫决策过程,以综合考虑燃料经济性和燃料电池耐久性的综合价值损耗最小为优化目标设置奖励函数,采用一种收敛速度较快的深度强化学习算法—近端策略优化算法求解,实现负载功率在燃料电池和锂电池间的合理有效分配,最后,采用市域动车组实际运行工况进行实验验证。实验结果表明,在训练工况下,所提方法相较基于等效氢耗最小能量管理方法和基于Q-learning能量管理方法,综合价值损耗分别降低19.71%和5.87%;在未知工况下,综合价值损耗分别降低18.05%和13.52%。结果表明,所提方法能够有效降低综合价值损耗,并具有较好的工况适应性。

基于改进近端策略优化算法控制的应急无人机飞行控制系统研究

为进一步提高应急无人机在执行任务时的飞行控制的效果,提出利用维度裁剪技术,优化解决近端策略优化算法(PPO)的零梯度问题,在保持良好采样效率的同时,加快收敛速率,从而提高控制性能。仿真试验结果表明,改进PPO算法在不同迭代次数的准确率均大于90%,最高准确率为92%,而k-NN算法的准确率在不同迭代次数上存在一定波动,最高准确率为90%,最低准确率仅为80%。且改进PPO算法和PPO算法的总计算时间成本基本相同,均为1 932.4 s,但改进PPO算法在训练过程中能使损失值收敛得更快。

基于近端策略优化算法的新能源电力系统安全约束经济调度方法

针对高比例新能源接入导致电力系统安全约束经济调度难以高效求解的问题,该文提出了一种基于近端策略优化算法的安全约束经济调度方法。首先,建立了新能源电力系统安全约束经济调度模型。在深度强化学习框架下,定义了该模型的马尔科夫奖励过程。设计了近端策略优化算法的奖励函数机制,引导智能体高效生成满足交流潮流以及N-1安全约束的调度计划。然后,设计了调度模型与近端策略优化算法的融合机制,建立了调度训练样本的生成与提取方法以及价值网络和策略网络的训练机制。最后,采用IEEE 30节点和IEEE 118节点2个标准测试系统,验证了本文提出方法的有效性和适应性。

基于分配策略优化算法的智能防空任务分配

针对分配策略最优算法在大规模场景中求解速度不足的问题,基于马尔可夫决策过程,将深度强化学习与其相结合,将大规模防空任务分配问题进行智能化求解。根据大规模防空作战特点,利用马尔可夫决策过程对智能体进行建模,构建数字战场仿真环境;设计防空任务分配智能体,通过近端策略优化算法,在数字战场仿真环境中进行训练。以大规模防空对抗任务为例,验证了该方法的可行性和优越性。

自调整的捕鱼策略优化算法

针对基本捕鱼策略优化算法(FSOA)在优化过程中存在易陷入局部最优、求解高维的复杂优化问题时优化性能不好的不足,对基本捕鱼策略优化算法(FSOA)进行了改进,提出了自调整的捕鱼策略优化算法(ADFSOA):算法采用时变的搜索半径,每个渔夫可根据自己所处的状态自我调整搜索策略。通过与基本FSOA、RFSOA和标准PSO算法的数值实验对比,表明了所提算法的优化性能具有显著的优势,可用于求解高维的复杂优化问题。

一种多策略改进鲸鱼优化算法的混沌系统参数辨识

针对混沌系统参数辨识精度不高的问题,以鲸鱼优化算法(whale optimization algorithm,WOA)为基础,提出一种多策略改进鲸鱼优化算法(multi-strategy improved whale optimization algorithm,MIWOA)。采用Chebyshev混沌映射选取高质量初始种群,采用非线性收敛因子和自适应权重,提高算法收敛速度,为了避免算法陷入局部最优,动态选择自适应t分布或蚁狮优化算法更新后期位置,提高处理局部极值的能力。通过对10个基准函数和高维测试函数进行仿真试验,表明MIWOA具有良好的稳定性和收敛精度。将MIWOA应用于辨识Rossler和Lu混沌系统参数,仿真结果优于现有成果,表明本文MIWOA辨识混沌系统参数的高效性和实用性。

基于样本优化的PPO算法在单路口信号控制的应用

优化交通信号的控制策略可以提高道路车辆通行效率,缓解交通拥堵.针对基于值函数的深度强化学习算法难以高效优化单路口信号控制策略的问题,构建了一种基于样本优化的近端策略优化(MPPO)算法的单路口信号控制方法,通过对传统PPO算法中代理目标函数进行最大化提取,有效提高了模型选择样本的质量,采用多维交通状态向量作为模型观测值的输入方法,以及时跟踪并利用道路交通状态的动态变化过程.为了验证MPPO算法模型的准确性和有效性,在城市交通微观模拟软件(SUMO)上与值函数强化学习控制方法进行对比.仿真实验表明,相比于值函数强化学习控制方法,该方法更贴近真实的交通场景,显著加快了车辆累计等待时间的收敛速度,车辆的平均队列长度和平均等待时间明显缩短,有效提高了单路口车辆的通行效率.

基于改进鲸鱼优化算法的分数阶PID参数整定

该文提出了一种自适应混合策略鲸鱼优化算法(adaptive mixed strategy whale optimization algorithm,AMSWOA)用于分数阶PID控制器的参数整定。该算法基于鲸鱼优化算法进行改进,引入Tent混沌序列用以提高WOA的种群多样性、全局搜索能力和收敛速度;同时,采用了收敛因子非线性变化策略,并引入自适应权重以克服算法陷入局部最优解的问题;高斯变异的加入则有助于提高算法的搜索精度和寻优性能。通过在MATLAB/Simulink环境下验证整数阶和分数阶系统的被控对象,并与鲸鱼算法、灰狼优化算法及粒子群优化算法进行比较,证实了该文的AMSWOA算法对求解分数阶PID控制器参数整定问题的有效性和实用性。

基于DP-MSCAOA算法的梯级水库多目标防洪优化调度研究

为提高梯级水库联合防洪能力,针对不同频率洪水,综合考虑大坝防洪安全和下游防护区防洪安全,以调度期水库最高运行水位最低、下游防洪控制断面最大削峰和下游防护区超额洪量最小为目标,建立梯级水库多目标防洪联合优化调度模型,设计融合动态规划、多策略协同阿基米德优化算法优势的DP-MSCAOA嵌套优化算法,并以资水某梯级水库为例,针对不同频率洪水进行多目标防洪联合优化调度,与常规调度结果和粒子群优化结果进行对比。结果表明,多目标联合优化调度模型削峰和错峰效果更优,验证了多目标联合优化调度模型的适用性及DP-MSCAOA嵌套优化算法的有效性,可为降低洪灾风险、缓解防洪压力提供技术支撑。

基于A-SA-WOA算法的直流微电网全钒液流电池储能系统功率分配策略

全钒液流储能系统能够平抑直流微电网中光伏、风力发电引起的功率波动,该系统中功率的合理分配问题可以通过有效的控制策略去解决,进而实现提高储能系统运行效率的目的。首先,在荷电状态和功率平衡的约束条件下,建立以储能系统总成本及平均损耗率最低,荷电状态均衡度最好的优化目标函数;然后,提出基于自适应权重和模拟退火策略的鲸鱼优化算法(A-SA-WOA)功率分配策略;最后,将分配策略应用在场景1和场景2算例下运行仿真,并与传统策略进行对比分析。结果表明,该优化分配策略有效地降低了储能电池单元的运行成本和折损率,电池充放电次数明显减少,且荷电状态一致性较好。A-SA-WOA分配策略比传统策略下的目标值收敛速度快,验证了所提优化方法的准确性和模型的适用性。

深度强化学习之近端策略优化研究

随着信息技术的不断发展,机器的智能化成为热点研究问题。深度学习能有效地提取出环境中的特征信息,强化学习能有效地提出行为策略,将二者进行融合形成深度强化学习是人工智能研究领域的必然趋势,多种深度强化学习算法也随之发展。其中近端策略优化算法稳定性好、采样率高,在连续控制问题中有良好表现,在飞行器及机器人控制、机器博弈、无人驾驶等领域得到广泛应用。围绕深度强化学习的发展历程,总结深度强化学习常用算法的分类及各个算法的特点,包括基于值函数的方法、基于策略的方法、基于模型的方法和基于分层的方法,并重点介绍近端策略优化算法的原理、优化路径,涉及加入分布式计算、改进优势函数、分层优化等方向及相关优化算法的适用场景。

基于注意力的循环PPO算法及其应用

针对深度强化学习算法在部分可观测环境中面临信息掌握不足、存在随机因素等问题,提出了一种融合注意力机制与循环神经网络的近端策略优化算法(ARPPO算法)。该算法首先通过卷积网络层提取特征;其次采用注意力机制突出状态中重要的关键信息;再次通过LSTM网络提取数据的时域特性;最后基于Actor-Critic结构的PPO算法进行策略学习与训练提升。基于Gym-Minigrid环境设计了两项探索任务的消融与对比实验,实验结果表明ARPPO算法较已有的A2C算法、PPO算法、RPPO算法具有更快的收敛速度,且ARPPO算法在收敛之后具有很强的稳定性,并对存在随机因素的未知环境具备更强的适应力。

面向无人机集群察打场景的PPO算法设计

无人机集群决策问题是智能化战争的重要研究方向。以构建的典型无人机集群侦察打击的任务场景为例,研究复杂不确定条件下的无人机集群任务分配与运动规划问题。针对该问题,从战场环境模型参数化设计与典型集群侦察打击任务角度,阐述任务决策的复杂性与战场环境不确定性。设计通用性较强的状态空间、奖励函数、动作空间和策略网络,其中,为捕捉多元态势信息,设计并处理了多种类型特征作为状态空间,同时设计与察打任务紧密相关的多种类型奖励;动作策略输出采取主谓宾的形式,更好表达复杂操作;策略网络设计了编码器-时序聚合-注意力机制-解码器结构,充分融合特征信息,促进了训练效果。基于近端策略优化算法(proximal policy optimization,PPO)的深度强化学习(deep reinforcement learning,DRL)进行求解。最后,通过仿真环境实验验证了无人机集群在复杂不确定条件下实现察打任务决策的可行性和有效性,展现了集群任务分配与运动规划的智能性。

深度强化学习方法求解梯级水库随机优化问题

深度强化学习(deep reinforcement learning,DRL)是将强化学习与深度神经网络相结合的方法,近年来已广泛应用于求解组合优化问题.论文提出深度强化学习方法求解梯级水库多阶段随机优化问题,将问题建模为马尔科夫决策过程,构建基于梯级水库调度计算的强化学习训练环境,基于梯级水库调度模型定义强化学习的动作、状态、收益函数,通过与强化学习训练环境进行交互学习,采用邻近策略优化算法(proximal policy optimization,PPO)求解得到梯级水库随机优化策略.以西南流域梯级水库为例计算,实例表明,深度强化学习方法能够处理梯级水库随机优化中的随机性,通过强化训练学习可以解决梯级水库随机优化问题,梯级水库随机优化策略可用于实时调度运行决策.深度强化学习方法具备强大的计算和学习能力,理论上可以解决不同尺度的梯级水库随机优化调度问题,基于深度强化学习的梯级水库随机优化调度有可能改变梯级水库的管理和运营方式.

战争策略算法与变色龙算法优化极限学习机的输沙量时间序列预测

以云南省龙潭寨汛期与枯期输沙量时间序列预测为例,建立战争策略优化(WSO)算法、变色龙群算法(CSA)与极限学习机(ELM)相融合的组合模型。首先,在不同维度下选取4个基准函数对WSO、CSA进行仿真测试;其次,利用2层WPT将实例汛期与枯期输沙量时序数据分解为4个更具规律的子序列分量;最后,通过各分量训练样本构建ELM适应度函数,利用WSO、CSA对适应度函数进行寻优,利用寻优获得的最佳ELM超参数建立WPT-WSO-ELM、WPT-CSA-ELM模型对各子序列分量进行预测。将预测结果加和重构得到最终预测结果,并构建WPT-ELM模型及基于小波变换(WT)的WT-WSO-ELM、WT-CSA-ELM、WT-ELM模型作对比分析。对于基准函数及ELM适应度函数,WSO寻优效果优于CSA,具有较好的寻优精度及全局搜索能力;对汛期与枯期输沙量预测WPT-WSO-ELM模型预测精度优于WPT-CSA-ELM、WT-WSO-ELM、WT-CSA-ELM模型。

基于近端策略优化算法的电化学/氢混合储能系统双层配置及运行优化

针对电化学储能和氢储能的互补特性,提出了一种包含电化学和氢储能的混合储能系统配置和运行的综合优化模型,并提出了智能算法进行求解。该模型基于双层决策优化问题,将混合储能系统配置及运行2个不同时间维度的问题分上下层进行综合求解,并考虑了两者间的相互影响,采用强化学习近端策略优化(proximal policy optimization,PPO)算法求解该双层优化模型。以甘肃省某地区的风光数据,通过对比应用多种传统算法求解结果,验证了所用算法在复杂环境下适应度最高且收敛速度最快。研究结果表明,应用该模型最大可降低24%的弃风、弃光率,有效提升系统综合效益。氢储能作为容量型储能配置不受地形因素限制,适用于多样的应用场景,从而为氢储能这一新型储能形态在全国的广泛配置提供了应用示范。

一种基于全局劣汰策略的混合粒子群优化算法

提出一种改进的粒子群优化算法——基于全局劣汰策略的混合粒子群优化算法(GTPSO)。GTPSO在保持PSO算法快速收敛的基础上,以郭涛算法(GuoA)的寻优机制确保种群的多样性和算法的坚韧性。数值计算结果表明,对于高维(维数≥10)复杂非凸多峰函数的数值优化问题,GTPSO算法的计算结果均优于GuoA算法和粒子群优化算法。

基于PPO的异构UUV集群任务分配算法

无人水下航行器(Unmanned Underwater Vehicle,UUV)集群的任务分配问题是UUV集群形成水下功能的重要问题之一,但是,受限于通信以及探测能力,UUV在水下只能获取有限的信息,不能得到很好的应用。提出一种基于深度强化学习的任务分配算法,针对水下信息缺失、奖励稀少的问题,在近端策略优化算法的基础上加入Curiosity模块,给智能体一种减小环境中不确定性的期望,鼓励UUV探索环境中不可预测的部分,实现UUV集群的最优任务分配。最后的仿真实验表明,相较于传统智能算法,该方法收敛更快,可靠性更强。

利用精英策略ST-ACO算法对UA-FLP的优化求解

针对制造业中常见的不等面积设施布局优化问题(UA-FLP),提出了一种精英策略蚁群优化算法(ACO)。该算法的主要特点是采用基于切片树(ST)的编码方法,将解分成三部分,即一只蚂蚁代表一个解,它有三部分的信息素;然后结合启发式信息,进行更新寻优,得到最小的物流费用;同时采用比较新颖的边界曲线(BC)回溯方法求出最小物流费用所对应的设施布局尺寸,并确定设施之间最优的输入、输出点(I、O)位置;最后,通过算例对比证明了该方法在解决中小规模实际问题中的有效性及相比于某些现存方法的优越性。