基于改进Q-learning算法移动机器人局部路径研究

针对局部路径规划时因无法提前获取环境信息导致移动机器人搜索不到合适的路径,以及在采用马尔可夫决策过程中传统强化学习算法应用于局部路径规划时存在着学习效率低下及收敛速度较慢等问题,提出一种改进的Q-learn-ing(QL)算法。首先设计一种动态自适应贪婪策略,用于平衡移动机器人对环境探索和利用之间的问题;其次根据A*算法思想设计启发式学习评估模型,从而动态调整学习因子并为搜索路径提供导向作用;最后引入三阶贝塞尔曲线规划对路径进行平滑处理。通过Pycharm平台仿真结果表明,使得改进后的QL算法所规划的路径长度、搜索效率及路径平滑性等特性上都优于传统Sarsa算法及QL算法,比传统Sarsa算法迭代次数提高32.3%,搜索时间缩短27.08%,比传统QL算法迭代次数提高27.32%,搜索时间缩短17.28%,路径规划的拐点大幅度减少,局部路径优化效果较为明显。

基于改进Q-learning算法的移动机器人路径规划

针对传统Q-learning算法应用在路径规划中存在收敛速度慢、运行时间长、学习效率差等问题,提出一种将人工势场法和传统Q-learning算法结合的改进Q-learning算法。该算法引入人工势场法的引力函数与斥力函数,通过对比引力函数动态选择奖励值,以及对比斥力函数计算姿值,动态更新Q值,使移动机器人具有目的性的探索,并且优先选择离障碍物较远的位置移动。通过仿真实验证明,与传统Q-learning算法、引入引力场算法对比,改进Q-learning算法加快了收敛速度,缩短了运行时间,提高了学习效率,降低了与障碍物相撞的概率,使移动机器人能够快速地找到一条无碰撞通路。

基于改进Q-learning算法和DWA的路径规划

针对传统Q-learning算法出现的规划路线转折点多,探索效率低,以及无法实现动态环境下的路径规划问题,提出一种基于改进Q-learning算法和动态窗口法(DWA)的融合算法。首先,改变传统Q-learning算法的搜索方式,由原先的8方向变成16方向;利用模拟退火算法对Q-learning进行迭代优化;通过路径节点优化算法进行节点简化,提高路径平滑度。然后,提取改进Q-learning算法规划路径的节点,将其作为DWA算法的临时目标,前进过程中,能够实时躲避环境中出现的动静态障碍物。最终实验结果表明:融合算法具有较好的路径规划能力,实现了全局最优和有效避障的效果。

基于改进Q-learning算法的移动机器人局部路径规划

针对Q-learning算法在移动机器人局部路径规划中存在的学习速度慢、效率低等问题,提出一种改进的IQ-learning算法。首先设计了栅格地图,建立机器人八连通的运行环境。其次基于栅格地图设计了状态、动作、Q值表、奖惩函数和动作选择策略;在Q-learning算法的基础上,IQ-learning在奖惩函数中增加了对角线运动奖励值,鼓励机器人向八个方向探索路径,将平移运动和对角线运动相结合,减少规划路径长度和在初始阶段的盲目搜索,加快算法的收敛速度。最后利用设计的IQ-learning算法学习策略,分别在离散型、一字型、U型和混合型等障碍物环境下,学习移动机器人的局部路径规划任务,并与Q-learning的规划结果相比较,得出IQ-learning算法能够在更少的学习次数中以较少的步数找到最短路径,规划效率有所提高。

改进Q-learning算法的柔性上料系统研究

现有振动式给料柔性上料系统的工作效果多数依靠出厂前人工手动调试,手动振动参数调试存在耗时长、费人力问题,且调试结果有较强针对性,导致系统柔性能力不足。提出一种基于改进Q-learning算法的柔性上料系统,结合柔性上料系统自身特性对传统Q-learning算法的奖励函数和ε-贪婪策略进行改进,令柔性上料系统自学习寻找一组有较优料件振动效果的振动参数。由实验可得,所提算法能减少人工在柔性上料系统调试上的参与度,证明了该算法在柔性上料系统中的可行性和有效性,且与传统Q-learning算法相比较,改进Q-learning算法更符合柔性上料系统的实际应用。

改进Q-Learning算法在路径规划中的应用

针对Q-Learning算法在离散状态下存在运行效率低、学习速度慢等问题,提出一种改进的Q-Learning算法。改进后的算法在原有算法基础上增加了一层学习过程,对环境进行了深度学习。在栅格环境下进行仿真实验,并成功地应用在多障碍物环境下移动机器人路径规划,结果证明了算法的可行性。改进Q-Learning算法以更快的速度收敛,学习次数明显减少,效率最大可提高20%。同时,该算法框架对解决同类问题具有较强的通用性。

改进Q-Learning的路径规划算法研究

针对Q-Learning算法学习效率低、收敛速度慢且在动态障碍物的环境下路径规划效果不佳的问题,本文提出一种改进Q-Learning的移动机器人路径规划算法.针对该问题,算法根据概率的突变性引入探索因子来平衡探索和利用以加快学习效率;通过在更新函数中设计深度学习因子以保证算法探索概率;融合遗传算法,避免陷入局部路径最优同时按阶段探索最优迭代步长次数,以减少动态地图探索重复率;最后提取输出的最优路径关键节点采用贝塞尔曲线进行平滑处理,进一步保证路径平滑度和可行性.实验通过栅格法构建地图,对比实验结果表明,改进后的算法效率相较于传统算法在迭代次数和路径上均有较大优化,且能够较好的实现动态地图下的路径规划,进一步验证所提方法的有效性和实用性.

改进的Q-learning蜂群算法求解置换流水车间调度问题

针对置换流水车间调度问题,提出了一种基于改进的Q-learning算法的人工蜂群算法。该算法设计了一种改进的奖励函数作为人工蜂群算法的环境,根据奖励函数的优劣来判断下一代种群的寻优策略,并通过Q-learning智能选择人工蜂群算法的蜜源的更新维度数大小,根据选择的维度数大小对编码进行更新,提高了收敛速度和精度,最后使用不同规模的置换流水车间调度问题的实例来验证所提算法的性能,通过对标准实例的计算与其它算法对比,证明该算法的准确性。

基于改进Q-Learning的移动机器人路径规划算法

随着移动机器人在生产生活中的深入应用,其路径规划能力也需要向快速性和环境适应性兼备发展。为解决现有移动机器人使用强化学习方法进行路径规划时存在的探索前期容易陷入局部最优、反复搜索同一区域,探索后期收敛率低、收敛速度慢的问题,本研究提出一种改进的Q-Learning算法。该算法改进Q矩阵赋值方法,使迭代前期探索过程具有指向性,并降低碰撞的情况;改进Q矩阵迭代方法,使Q矩阵更新具有前瞻性,避免在一个小区域中反复探索;改进随机探索策略,在迭代前期全面利用环境信息,后期向目标点靠近。在不同栅格地图仿真验证结果表明,本文算法在Q-Learning算法的基础上,通过上述改进降低探索过程中的路径长度、减少抖动并提高收敛的速度,具有更高的计算效率。

改进麻雀算法和Q-Learning优化集成学习轨道电路故障诊断

无绝缘轨道电路的故障具有复杂性与随机性,采用单一的模型进行故障诊断,其性能评价指标难以提高。而采用集成学习方式,则存在各基学习器结构、参数设计盲目,集成模型中各基学习器组合权重难以分配的问题。针对以上问题,提出一种改进麻雀算法和Q-Learning优化集成学习的轨道电路故障诊断新方法,该方法有机地将集成学习与计算智能和强化学习相结合,充分挖掘轨道电路故障特征,提高性能评价指标。首先,使用卷积神经网络、长短期记忆网络和多层感知器深度学习模型,以及支持向量机和随机森林传统机器学习模型,共同构成集成学习基学习器,解决单一学习模型的不足,不同基学习器的使用保证集成学习的多样性。从自动化机器学习角度出发,采用改进麻雀算法优化该集成学习模型的结构和参数,克服其结构和参数难以确定的问题。在此之上,引入强化学习Q-learning对集成模型中各基学习器组合权重进行优化,智能地确定集成学习各基学习器的组合权重。最后,将集成学习模型的预测结果与真实结果比较后得到误差,再采用BP神经网络对预测结果进行补偿修正,进一步提高轨道电路的故障诊断性能评价指标。仿真结果表明,利用所提方法进一步改善了轨道电路故障诊断的准确度、精确度、召回率和F1值等性能评价指标。

基于时序Q-learning算法的主网变电站继电保护故障快速定位方法

主网变电站继电保护故障通常是突发性的,不会持续一段时间,暂态性质不明显,快速定位效果受限,基于此,提出基于时序Q-learning算法的故障快速定位方法。在时序Q-learning中,使用不同多项式函数参数表示不同主网变电站继电保护动作,采用贪婪策略选择主网变电站继电保护动作,根据继电保护状态反馈结果更新权重,使用时序Q-learning算法进行参数训练。构建故障暂态网络的节点导纳矩阵,计算支路电压、电流,确定故障关联域。按照拓扑图论方式时序Q-learning算法搭建快速定位拓扑结构,通过分析支路电流与故障电流之间距离,计算故障相关度,完成故障快速定位。由实验结果可知,该方法故障相序与实际一致,可以分析主网变电站继电保护暂态性质,适用于复杂多变的继电保护装置。

改进Q-Learning输电线路超声驱鸟设备参数优化研究

超声波驱鸟是一种解决输电设备鸟害的重要手段,但现场使用超声波驱鸟器工作模式较单一,易产生鸟类适应问题。提出了一种改进Q-Learning输电线路超声驱鸟设备参数优化方法,针对涉鸟故障历史数据量少以及鸟类的适应性问题,将强化学习算法应用于输电线路超声驱鸟设备参数优化;针对传统强化学习算法在设备终端应用中存在收敛慢、耗时长的缺点,提出一种基于动态学习率的改进Q-Learning算法,对不同频段超声波的权重进行自适应优化。实验结果显示,改进Q-Learning算法最优参数的迭代收敛速度大幅提高,优化后驱鸟设备的驱鸟成功率达到了76%,优于传统强化学习算法模式,较好地解决了鸟类适应性问题。

考虑载客状态的改进孤立森林浮动车异常数据检测算法

为提高浮动车数据中异常数据检测能力及不同载客状态下的模型检测分析能力,提出基于S-DTA-IIForest(Summation&Difference Third Order Average&Improvement-Isolation Forest)的浮动车数据异常检测算法。构建由相邻两项求和(S)、三阶求和平均差分(DTA)的二维度空间SDTA特征向量;提出差额累计更新和动态区分辨识的改进孤立森林IIForest算法,通过设置停止阈值参数,避免当出现新样本异常值分数大于停止阈值时,仅更新样本不更新孤立森林模型的问题,设计每个二叉树区分辨识度参数,区分辨识度位于停止区间时停止二叉树生长,提高算法收敛性能,以ROC(Receiver Operating Characteristic)曲线下面积AUC(Area Under ROC Cure)、F1-score为指标对模型精度进行对比分析,并以重庆市中心城区学府大道开展实例验证。结果表明:本文S-DTA-IIForest组合算法AUC、F1-score分别为86.63%、0.89,AUC较传统孤立森林IForest(Isolation Forest)提高32.4%,运行效率提高1.29%,具有收敛速度更快、精度更高的优势,载客条件下模型AUC、F1-score较未载客分别提高7.7%、10.8%,组合算法对载客数据有更高的检测精度,且未载客状态数据异常率较载客状态增加71.4%,未载客数据异常率更高。

基于改进NSGA-Ⅱ算法的梯级水库多目标优化调度

针对在时间步长较小、计算时段数目较多时,传统智能优化算法在求解梯级水库联合优化调度问题上效率低甚至无可行解的问题,提出了一种改进NSGA-Ⅱ算法。该算法基于NSGA-Ⅱ算法框架,引入参考目标值、潜力目标值、偏移度以及变异引导算子来优化种群进化过程,强化迭代中的种群质量,使获得的解集更加接近真实的Pareto前沿。福建省金溪流域梯级水库多目标优化调度实例验证结果表明,改进NSGA-Ⅱ算法相对其他算法运算效率更高,优化结果更好,具有较好的实用性。

基于改进蚁群算法的机器人全局路径规划

针对传统蚁群算法存在初始信息素缺乏、收敛速度慢以及无法有效躲避障碍物等问题,文中提出了一种基于改进蚁群算法的全局路径规划。引入正态分布函数改进传统启发函数,提高了算法效率,缩短了算法收敛所需时间。自适应调整信息素挥发系数,限定信息素范围,避免过早收敛。对算法路径平滑处理,缩短路径长度,从而实现机器人的全局路径规划。仿真结果表明,在20×20环境下,文中算法平均迭代次数比传统蚁群算法减少了28代,收敛速度更快。平均拐点减少了33.3%,使路径更为平滑,克服了初始信息素缺乏,加快了收敛速度,减少了拐点数量,能够有效躲避环境中的障碍物,证明了该算法的可行性。

基于改进引力搜索算法的水轮机调节系统仿真

针对现阶段水电机组存在多种复杂工况、工程计算受限于算法本身的复杂性等问题,提出一种改进的引力搜索算法(改进PSOGSA),以此提高水轮机控制参数的优化性能,弥补传统控制策略难以满足动态需求的不足.首先,结合PSO算法,在GSA的速度更新公式中引入学习因子进行改进.其次,应用一种权重系数优化其位置更新公式,提高算法的自适应性.最后,结合相关仿真建模试验,使用所提改进PSOGSA对水轮机调节系统PID参数进行优化调节.仿真结果表明,在5%空载频率扰动下,改进PSOGSA的PID控制器明显优于上述传统算法,所调节的模型系统能在更短时间内趋于稳定,此时的超调量远低于传统算法,表明此改进PSOGSA在后续迭代中具备更高的迭代效率,并且改善了常规算法中易陷入局部最优的问题,从而证明了改进PSOGSA的合理有效性,水轮机调节系统的控制效果在一定程度上得到优化.

基于改进蚁群算法的外卖配送路径规划研究

从外卖配送员角度出发提出一种改进蚁群算法(Improved Ant Colony Optimization,IACO),在此基础上进行外卖配送路径规划研究.首先通过蚁群算法(Ant Colony Optimization,ACO)求解得到初始规划路径,然后通过大规模邻域搜索算法(Large Neighborhood Search,LNS)优化初始规划路径,通过将ACO和LNS算法结合,提高求解质量.为了验证方法的有效性,对外卖配送过程进行仿真,并且选用不同订单数量场景进行对照分析.根据最优配送方案路线图和目标罚函数的最优值可以得出,IACO算法是有效的,且可以提高外卖配送员外卖配送的效率.IACO算法不但能够提升配送的智能化水平,还从外卖配送员的角度提出一种更为人性化的配送方法,支持网络互联外卖平台派送系统的可持续化发展.

基于集成改进蚁群算法的作战环推荐方法

作战环推荐是依靠优化算法从作战网络中为指挥员推荐最优的作战环,以对目标形成高质量打击。未来作战中的作战环推荐面临体系规模大、决策节奏快的特点。对此,提出了一种集成改进的蚁群算法,能够实现高效、高质的作战环推荐优化求解。首先,将作战环推荐问题转换为一种基于多仓库路径规划的数学模型。然后,针对原始蚁群算法前期收敛速度慢、算法参数对结果影响大和容易陷入局部最优的问题分别提出了3种改进策略:基于边权重信息的信息素初始化、基于差分进化的蚁群算法参数自适应优化和基于遗传算子的全局搜索能力提升,并进行了集成改进。最后,在案例分析中对集成改进蚁群算法进行了分析和对比,验证了所提算法在不需要大幅提高耗时的情况下,优化结果要优于未集成改进的蚁群算法,且相比于原始蚁群算法提升效果显著。

基于改进KNN算法的新能源发电单元运行状态识别

目前识别发电单元运行状态的研究较少,数据来源以数据采集与监控系统为主,采集速度较慢。为此,提出了一种基于发电单元机端电气量数据并融合改进k近邻(KNN)算法的新能源发电单元状态识别方法,直接采集机端电气量数据用于快速判断发电单元状态。提出KNN算法的改进策略,克服了传统KNN算法准确度低、识别速度慢的缺点。利用电力系统分析综合程序获取用于状态识别的发电单元机端电气量数据,利用改进策略对数据进行预处理,并对比传统KNN算法、逐条使用改进策略的KNN算法对新能源发电单元状态识别的耗时与准确度。结果表明所提算法较传统算法的识别准确度和速度明显提升,能满足稳定控制过程中对新能源发电单元的状态感知需求。

改进灰狼算法优化GBDT在PM_(2.5)预测中的应用

针对灰狼算法易陷入局部最优解和全局搜索能力不足的问题,通过霍尔顿序列(Halton Sequence)搜索算法初始化狼群位置,避免灰狼算法陷入局部最优解和重复运算;引入莱维飞行和随机游动策略对灰狼算法的寻优过程进行优化,以增加算法的全局搜索能力;利用粒子群算法模拟灰狼种群得出的最佳适应度以用于惩罚项改进灰狼算法中的头狼更新策略。使用改进算法优化的梯度提升树(Gradient Boosting Decision Trees,GBDT)模型对北京市大气污染物监测数据中PM_(2.5)质量浓度进行预测,采用3种评估函数对各模型以及混合模型预测效果得分进行评估。结果显示,本文改进的灰狼算法对梯度提升树的优化效果优于其他算法,均方根误差E RMS为6.65μg/m^(3),平均绝对值误差E MA为3.20μg/m^(3),拟合优度(R^(2))为99%,比传统灰狼算法优化结果的均方根误差减少了19.19μg/m^(3),平均绝对值误差降低了10.03μg/m^(3),拟合优度增加了9百分点;与霍尔顿序列和莱维飞行改进的(Levy Flight-Halton Sequence,LHGWO)相比,改进的灰狼算法预测得分的均方根误差降低了10.39μg/m^(3),平均绝对值误差减小了6.71μg/m^(3),拟合优度提高了5百分点。研究表明了预测模型优化的有效性,为未来城市改善空气质量提供了科学依据和技术支持。