基于改进APF-QRRT^(*)策略的移动机器人路径规划

针对Q-RRT^(*)算法在路径规划过程中无法兼顾可达性和安全性的问题,提出一种改进APF-QRRT^(*)(IAPF-QRRT^(*))路径规划策略。IAPF-QRRT^(*)策略通过Q-RRT^(*)算法获得一组连接起点到终点的离散关键路径点,较传统的快速搜索随机树(RRT^(*))算法具备更好的初始解和更快的收敛速度。改进传统人工势场(APF)方法获得一种新的无势正交向量场,在一定条件下使整体排斥向量场与吸引向量场正交,并将其作用于关键路径点,从而提高路径的安全性。将IAPF-QRRT^(*)策略与其他算法比较,通过数值模拟实验证明了所提策略的有效性。

A collision recovery algorithm using optimal Q parameter based on BIBD in RFID

In this work,an optimal Q algorithm based on a collision recovery scheme is presented. Tags use BIBD-( 16,4,1) codes instead of RN16 s. Therefore,readers can make a valid recognition even in collision slots. A way of getting the optimal slot-count parameter is studied and an optimal Q algorithm is proposed. The theoretical and simulation results show that the proposed algorithm can improve reading efficiency by 100% more than the conventional Q algorithm. Moreover,the proposed scheme changes little to the existing standard. Thus,it is easy to implement and compatible with ISO 18000-6C.

基于改进DQN算法的应召搜潜无人水面艇路径规划方法

针对应召反潜中无人水面艇航向和航速机动的情形,提出一种基于改进深度Q学习(Deep Q-learning,DQN)算法的无人艇路径规划方法。结合应召搜潜模型,引入改进的深度强化学习(Improved-DQN,I-DQN)算法,通过联合调整无人水面艇(Unmanned Surface Vessel,USV)的动作空间、动作选择策略和奖励等,获取一条最优路径。算法采用时变动态贪婪策略,根据环境和神经网络的学习效果自适应调整USV动作选择,提高全局搜索能力并避免陷入局部最优解;结合USV所处的障碍物环境和当前位置设置分段非线性奖惩函数,保证不避碰的同时提升算法收敛速度;增加贝塞尔算法对路径平滑处理。仿真结果表明,在相同环境下新方法规划效果优于DQN算法、A^(*)算法和人工势场算法,具有更好的稳定性、收敛性和安全性。

基于规则与Q学习的作业车间动态调度算法

为了在特定的作业条件下找到最优调度规则,提高调度规则在不确定动态条件下的自适应、自寻优能力,提出一种调度规则与Q学习算法集成的作业车间动态调度算法。考虑车间中作业随机到达的动态情况,以最小化最大延迟时间为调度目标,在Q学习框架下设计了新的状态特征、奖励机制以及以Boltzmann采样函数为主体的搜索策略,提高了算法探索和利用规则的能力;以最短加工时间优先和最早交货期等经典调度规则构成动作集,继承了调度规则的可解释性,使智能体能实时处理随机到达的作业任务,通过持续学习和迭代更新获得不同作业场景下的最优调度规则。仿真研究和对比测试验证了所提算法的优越性。

改进Q-Learning的路径规划算法研究

针对Q-Learning算法学习效率低、收敛速度慢且在动态障碍物的环境下路径规划效果不佳的问题,本文提出一种改进Q-Learning的移动机器人路径规划算法.针对该问题,算法根据概率的突变性引入探索因子来平衡探索和利用以加快学习效率;通过在更新函数中设计深度学习因子以保证算法探索概率;融合遗传算法,避免陷入局部路径最优同时按阶段探索最优迭代步长次数,以减少动态地图探索重复率;最后提取输出的最优路径关键节点采用贝塞尔曲线进行平滑处理,进一步保证路径平滑度和可行性.实验通过栅格法构建地图,对比实验结果表明,改进后的算法效率相较于传统算法在迭代次数和路径上均有较大优化,且能够较好的实现动态地图下的路径规划,进一步验证所提方法的有效性和实用性.

基于改进Q学习算法和组合模型的超短期电力负荷预测

单一模型在进行超短期负荷预测时会因负荷波动而导致预测精度变差,针对此问题,提出一种基于深度学习算法的组合预测模型｡首先,采用变分模态分解对原始负荷序列进行分解,得到一系列的子序列。其次,分别采用双向长短期记忆网络和优化后的深度极限学习机对每个子序列进行预测。然后,利用改进Q学习算法对双向长短期记忆网络的预测结果和深度极限学习机的预测结果进行加权组合,得到每个子序列的预测结果。最后,将各个子序列的预测结果进行求和,得到最终的负荷预测结果。以某地真实负荷数据进行预测实验,结果表明所提预测模型较其他模型在超短期负荷预测中表现更佳,预测精度达到98%以上。

基于改进Q-Learning的移动机器人路径规划算法

随着移动机器人在生产生活中的深入应用,其路径规划能力也需要向快速性和环境适应性兼备发展。为解决现有移动机器人使用强化学习方法进行路径规划时存在的探索前期容易陷入局部最优、反复搜索同一区域,探索后期收敛率低、收敛速度慢的问题,本研究提出一种改进的Q-Learning算法。该算法改进Q矩阵赋值方法,使迭代前期探索过程具有指向性,并降低碰撞的情况;改进Q矩阵迭代方法,使Q矩阵更新具有前瞻性,避免在一个小区域中反复探索;改进随机探索策略,在迭代前期全面利用环境信息,后期向目标点靠近。在不同栅格地图仿真验证结果表明,本文算法在Q-Learning算法的基础上,通过上述改进降低探索过程中的路径长度、减少抖动并提高收敛的速度,具有更高的计算效率。

改进的Q-learning蜂群算法求解置换流水车间调度问题

针对置换流水车间调度问题,提出了一种基于改进的Q-learning算法的人工蜂群算法。该算法设计了一种改进的奖励函数作为人工蜂群算法的环境,根据奖励函数的优劣来判断下一代种群的寻优策略,并通过Q-learning智能选择人工蜂群算法的蜜源的更新维度数大小,根据选择的维度数大小对编码进行更新,提高了收敛速度和精度,最后使用不同规模的置换流水车间调度问题的实例来验证所提算法的性能,通过对标准实例的计算与其它算法对比,证明该算法的准确性。

演化算法的DQN网络参数优化方法

为了解决DQN(Deep Q Network)在早期会出现盲目搜索、勘探利用不均并导致整个算法收敛过慢的问题,从探索前期有利于算法训练的有效信息获取与利用的角度出发,以差分演化(Differential Evolution)算法为例,提出了一种基于演化算法优化DQN网络参数以加快其收敛速度的方法(DE-DQN)。首先,将DQN的网络参数编码为演化个体;其次,分别采用“运行步长”和“平均回报”两种适应度函数评价方式;利用CartPole控制问题进行仿真对比,验证了两种评价方式的有效性。最后,实验结果表明,在智能体训练5 000代时所提出的改进算法,以“运行步长”为适应度函数时,在运行步长、平均回报和累计回报上分别提高了82.7%,18.1%和25.1%,并优于改进DQN算法;以“平均回报”为适应度函数时,在运行步长、平均回报和累计回报上分别提高了74.9%,18.5%和13.3%并优于改进DQN算法。这说明了DE-DQN算法相较于传统的DQN及其改进算法前期能获得更多有用信息,加快收敛速度。

基于改进联邦竞争深度Q网络的多微网能量管理策略

目前,基于联邦深度强化学习的微网(MG)能量管理研究未考虑多类型能量转换与MG间电量交易的问题,同时,频繁交互模型参数导致通信时延较大。基于此,以一种包含风、光、电、气等多类型能源的MG为研究对象,构建了支持MG间电量交易和MG内能量转换的能量管理模型,提出基于正余弦算法的联邦竞争深度Q网络学习算法,并基于该算法设计了计及能量交易与转换的多MG能量管理与优化策略。仿真结果表明,所提能量管理策略在保护数据隐私的前提下,能够得到更高奖励且最大化MG经济收益,同时降低了通信时延。

基于d-q变换及WOA-LSTM的异步电机定子匝间短路故障诊断方法

为了实现对异步电机定子绕组匝间短路故障的可靠在线诊断,提出一种基于d-q变换及鲸鱼优化算法(WOA)优化的长短期记忆网络(LSTM)的故障诊断方法。通过理论推导可知,d-q变换可有效提取定子电流中的特征频谱数据。采用鲸鱼优化算法对长短期记忆网络中的3个关键参数进行优化,建立WOA-LSTM故障分类模型。为了验证基于d-q变换和WOA-LSTM故障诊断方法的有效性,分别以小波变换、快速傅里叶变换及d-q变换提取电流频谱数据作为输入数据集,以一台YE2-100L1-4型异步电机为实验对象进行实验验证。研究结果表明:相比于小波变换及快速傅里叶变换,采用d-q变换能更准确的提取出定子电流中的故障特征,更精确地反映电机故障状态,有助于提高故障分类准确率;相比于传统的LSTM算法,经WOA优化后的LSTM算法分类准确率可达98.3%,能可靠地实现不同程度匝间短路故障的诊断。

不确定环境下基于多智能体Q学习的海上风电输电工程电压调整降损优化

为了达到海上风电输电工程降损的目的,该文首先详细推导海上风电输电工程海缆传输效率函数,分析海缆传输效率影响因素和有载变压器分接头挡位优化降损原理,建立海缆输电工程日损耗优化模型;其次,考虑降损优化中风电场出力及并网点电压的波动,鉴于随机变量时间序列自相关性分析,提出一种基于预测数据驱动的高维凸包不确定集合建模方法,获得极限场景,降低决策保守性的同时提升计算效率;然后,采用Q学习算法进行训练,并结合多智能体系统优化方法求解优化模型,分接头挡位优化和调整时刻优化交替进行,智能体在动作策略与风电场运行状态的交互中不断学习,形成海上风电场日最佳分接头挡位及分接头挡位最佳调整时刻策略。最后,通过对某一海上风电场220 kV交流海缆输电工程的仿真分析,验证所提模型的合理性以及方法的有效性。

基于Q学习算术优化算法的无人机三维航迹规划

针对传统方法求解无人机三维航迹规划易导致规划代价高、精度差和容易陷入局部最优的不足,提出基于Q学习算术优化算法的无人机三维航迹规划算法。为了提升算术优化算法的寻优精度,引入Circle混沌映射提高初始种群多样性和分布均匀性,引入Q学习根据个体状态自适应调整数学优化加速函数更新,均衡算法全局搜索与局部开发,设计最优解邻域扰动优化全局搜索能力。通过建立无人机三维航迹规划模型,将航迹规划转化为多目标函数优化问题,并利用改进算法求解无人机三维航迹规划,以综合考虑航迹代价、地形代价和边界代价的目标函数评估粒子适应度,对航迹规划迭代寻优。仿真实验结果表明,所提算法规划的航迹具有更低的总代价和适应不同复杂地形环境的稳定性。

多无人机辅助边缘计算场景下基于Q-learning的任务卸载优化

引入多无人机辅助边缘计算系统,由多个无人机和原有边缘服务器共同为移动用户提供通信和计算资源;将优化问题建模为资源竞争和卸载决策约束下的系统总效用最大化问题,系统总效用由用户满意度、任务延迟和系统能耗3个因素组成.由于优化模型是一个具有NP难属性的非凸问题,故采用强化学习方法求解得到使系统总效用最大的最优任务卸载决策集.仿真实验结果表明,与贪心顺序调优卸载方案和随机选择卸载方案相比,该文提出的Q-learning方案的系统总效用分别提高了15%和43%以上.

基于改进Q-learning算法移动机器人局部路径研究

针对局部路径规划时因无法提前获取环境信息导致移动机器人搜索不到合适的路径,以及在采用马尔可夫决策过程中传统强化学习算法应用于局部路径规划时存在着学习效率低下及收敛速度较慢等问题,提出一种改进的Q-learn-ing(QL)算法。首先设计一种动态自适应贪婪策略,用于平衡移动机器人对环境探索和利用之间的问题;其次根据A*算法思想设计启发式学习评估模型,从而动态调整学习因子并为搜索路径提供导向作用;最后引入三阶贝塞尔曲线规划对路径进行平滑处理。通过Pycharm平台仿真结果表明,使得改进后的QL算法所规划的路径长度、搜索效率及路径平滑性等特性上都优于传统Sarsa算法及QL算法,比传统Sarsa算法迭代次数提高32.3%,搜索时间缩短27.08%,比传统QL算法迭代次数提高27.32%,搜索时间缩短17.28%,路径规划的拐点大幅度减少,局部路径优化效果较为明显。

Q学习差分进化算法求解热电动态经济排放调度

热电联产动态经济排放调度同时考虑了燃料成本花费和污染气体排放两个目标值,且下一时间段的热电产量受当前时间段热电产量的影响,这是近年来电力系统运行中的一个重要问题。文中提出一种基于Q学习强化多目标差分进化(Q Learning Multi-Objective Differential Evolution,QLMODE)算法,以此求解热电联产动态经济排放调度(Combined Heat and Power Dynamic Economic Emission Dispatch,CHPDEED)问题。在QLMODE中,采用Q学习技术调整算法的比例因子参数,即在迭代过程中利用子代解和父代解之间的支配关系确定动作奖励和惩罚,并通过Q学习调整参数值,以获得最适合环境模型的算法参数。文中将所提QLMODE用于求解11机组和33机组的热电联产动态经济排放调度问题。仿真结果表明,与4种成熟的多目标优化算法相比,QLMODE算法燃料成本最小,污染气体排放最少,收敛性和多样性指标优于其他4种算法,且QLMODE在两组问题上都获得了更好的Pareto最优前沿。

融合Q学习算法和人工势场算法的无人机航迹规划方法

针对基于Q学习算法规划出的航线存在与静态障碍物发生碰撞危险的问题,提出融合Q学习算法和人工势场算法的航迹规划方法。该方法首先利用Q学习算法规划出一条航线,其次根据地图统计该航线每个航段内包含的障碍物,最后对每个包含障碍物的航段采用改进的人工势场法进行重新规划。实验结果显示,提出的融合方法能够在牺牲少量轨迹长度和时间的情况下,得到与静态障碍物避免发生碰撞的最短路径。

基于时序Q-learning算法的主网变电站继电保护故障快速定位方法

主网变电站继电保护故障通常是突发性的,不会持续一段时间,暂态性质不明显,快速定位效果受限,基于此,提出基于时序Q-learning算法的故障快速定位方法。在时序Q-learning中,使用不同多项式函数参数表示不同主网变电站继电保护动作,采用贪婪策略选择主网变电站继电保护动作,根据继电保护状态反馈结果更新权重,使用时序Q-learning算法进行参数训练。构建故障暂态网络的节点导纳矩阵,计算支路电压、电流,确定故障关联域。按照拓扑图论方式时序Q-learning算法搭建快速定位拓扑结构,通过分析支路电流与故障电流之间距离,计算故障相关度,完成故障快速定位。由实验结果可知,该方法故障相序与实际一致,可以分析主网变电站继电保护暂态性质,适用于复杂多变的继电保护装置。

基于改进DQN算法的考虑船舶配载图的翻箱问题研究

为了满足船舶配载图的要求,减少场桥翻箱次数,提高码头运行效率,对考虑船舶配载图的集装箱翻箱问题进行了研究。此问题是在传统集装箱翻箱问题的基础上,又考虑到船舶配载图对翻箱的影响。为了求解此问题的最小翻箱次数,设计了DQN算法进行求解,同时为了提高算法求解的性能,又在原算法的基础上设计了基于启发式算法的阈值和全新的奖励函数以改进算法。通过与其它文献中的实验结果进行对比,结果显示:在计算结果上,改进的DQN算法在各个算例上的结果均优于目前各个启发式算法的最优结果,并且规模越大,结果越好;在训练时间上,改进的DQN算法极大的优于未改进的DQN算法,并且规模越大,节省的时间也更显著。

基于启发式Q学习的输电线路无人机避障导航巡检

为提高无人机在输电线路巡检中的安全性,设计一种基于启发式Q学习算法的输电线路无人机自动避障巡检方法。运用多传感器采集外界环境变化信息,经信息融合获得有价值的路径感知信息,得到障碍物位置和可通行路径;采用Q学习算法与启发式函数计算信息强度,提前预测分析飞行动作的重要程度,得出最佳飞行动作和位置,完成巡检中的无人机自动避障导航。实验结果表明:在静态环境中,所提方法在训练次数较少的情况下达到收敛,不仅能成功绕过静态与动态障碍物,且飞行避障导航路径短。