改进Q-Learning的路径规划算法研究

针对Q-Learning算法学习效率低、收敛速度慢且在动态障碍物的环境下路径规划效果不佳的问题,本文提出一种改进Q-Learning的移动机器人路径规划算法.针对该问题,算法根据概率的突变性引入探索因子来平衡探索和利用以加快学习效率;通过在更新函数中设计深度学习因子以保证算法探索概率;融合遗传算法,避免陷入局部路径最优同时按阶段探索最优迭代步长次数,以减少动态地图探索重复率;最后提取输出的最优路径关键节点采用贝塞尔曲线进行平滑处理,进一步保证路径平滑度和可行性.实验通过栅格法构建地图,对比实验结果表明,改进后的算法效率相较于传统算法在迭代次数和路径上均有较大优化,且能够较好的实现动态地图下的路径规划,进一步验证所提方法的有效性和实用性.

改进Q-Learning输电线路超声驱鸟设备参数优化研究

超声波驱鸟是一种解决输电设备鸟害的重要手段,但现场使用超声波驱鸟器工作模式较单一,易产生鸟类适应问题。提出了一种改进Q-Learning输电线路超声驱鸟设备参数优化方法,针对涉鸟故障历史数据量少以及鸟类的适应性问题,将强化学习算法应用于输电线路超声驱鸟设备参数优化;针对传统强化学习算法在设备终端应用中存在收敛慢、耗时长的缺点,提出一种基于动态学习率的改进Q-Learning算法,对不同频段超声波的权重进行自适应优化。实验结果显示,改进Q-Learning算法最优参数的迭代收敛速度大幅提高,优化后驱鸟设备的驱鸟成功率达到了76%,优于传统强化学习算法模式,较好地解决了鸟类适应性问题。

基于改进Q-Learning的移动机器人路径规划算法

随着移动机器人在生产生活中的深入应用,其路径规划能力也需要向快速性和环境适应性兼备发展。为解决现有移动机器人使用强化学习方法进行路径规划时存在的探索前期容易陷入局部最优、反复搜索同一区域,探索后期收敛率低、收敛速度慢的问题,本研究提出一种改进的Q-Learning算法。该算法改进Q矩阵赋值方法,使迭代前期探索过程具有指向性,并降低碰撞的情况;改进Q矩阵迭代方法,使Q矩阵更新具有前瞻性,避免在一个小区域中反复探索;改进随机探索策略,在迭代前期全面利用环境信息,后期向目标点靠近。在不同栅格地图仿真验证结果表明,本文算法在Q-Learning算法的基础上,通过上述改进降低探索过程中的路径长度、减少抖动并提高收敛的速度,具有更高的计算效率。

基于改进Q-learning算法的移动机器人路径规划

针对传统Q-learning算法应用在路径规划中存在收敛速度慢、运行时间长、学习效率差等问题,提出一种将人工势场法和传统Q-learning算法结合的改进Q-learning算法。该算法引入人工势场法的引力函数与斥力函数,通过对比引力函数动态选择奖励值,以及对比斥力函数计算姿值,动态更新Q值,使移动机器人具有目的性的探索,并且优先选择离障碍物较远的位置移动。通过仿真实验证明,与传统Q-learning算法、引入引力场算法对比,改进Q-learning算法加快了收敛速度,缩短了运行时间,提高了学习效率,降低了与障碍物相撞的概率,使移动机器人能够快速地找到一条无碰撞通路。

基于改进Q-learning算法移动机器人局部路径研究

针对局部路径规划时因无法提前获取环境信息导致移动机器人搜索不到合适的路径,以及在采用马尔可夫决策过程中传统强化学习算法应用于局部路径规划时存在着学习效率低下及收敛速度较慢等问题,提出一种改进的Q-learn-ing(QL)算法。首先设计一种动态自适应贪婪策略,用于平衡移动机器人对环境探索和利用之间的问题;其次根据A*算法思想设计启发式学习评估模型,从而动态调整学习因子并为搜索路径提供导向作用;最后引入三阶贝塞尔曲线规划对路径进行平滑处理。通过Pycharm平台仿真结果表明,使得改进后的QL算法所规划的路径长度、搜索效率及路径平滑性等特性上都优于传统Sarsa算法及QL算法,比传统Sarsa算法迭代次数提高32.3%,搜索时间缩短27.08%,比传统QL算法迭代次数提高27.32%,搜索时间缩短17.28%,路径规划的拐点大幅度减少,局部路径优化效果较为明显。

改进Q-Learning算法在路径规划中的应用

针对Q-Learning算法在离散状态下存在运行效率低、学习速度慢等问题,提出一种改进的Q-Learning算法。改进后的算法在原有算法基础上增加了一层学习过程,对环境进行了深度学习。在栅格环境下进行仿真实验,并成功地应用在多障碍物环境下移动机器人路径规划,结果证明了算法的可行性。改进Q-Learning算法以更快的速度收敛,学习次数明显减少,效率最大可提高20%。同时,该算法框架对解决同类问题具有较强的通用性。

改进Q-Learning的WRSN充电路径规划算法

针对传统无线传感器网络节点能量供应有限和网络寿命短的瓶颈问题,依据无线能量传输技术领域的最新成果,提出了一种基于改进Q-Learning的无线可充电传感器网络的充电路径规划算法。基站根据网络内各节点能耗信息进行充电任务调度,之后对路径规划问题进行数学建模和目标约束条件设置,将移动充电车抽象为一个智能体(Agent),确定其状态集和动作集,合理改进ε-greedy策略进行动作选择,并选择相关性能参数设计奖赏函数,最后通过迭代学习不断探索状态空间环境,自适应得到最优充电路径。仿真结果证明:该充电路径规划算法能够快速收敛,且与同类型经典算法相比,改进的Q-Learning充电算法在网络寿命、节点平均充电次数和能量利用率等方面具有一定优势。

基于改进Q-Learning的智能船舶局部路径规划

局部路径规划是智能船舶在未知环境下航行的重要组成部分。本文基于Q-Learning强化学习算法,提出改进QLearning算法,用于解决传统算法在局部路径规划中存在的收敛速度慢、计算复杂度高、易陷入局部优化的问题。在该算法中,运用势场信息对Q值表进行简单初始化,使其对目标点有一定的基础导向。此外,考虑到船舶艏向角,在二维的位置信息中加入角度信息,使其扩展为三维。针对传统奖励函数单一的问题,对奖励函数进行改进,引入传感器获取的艏向信息与障碍物信息,并加入环境影响,使其在获得最优路径的同时,在一定程度上降低船舶的能耗。最后,通过仿真实验验证算法的实时性和有效性。

基于改进Q-learning算法和DWA的路径规划

针对传统Q-learning算法出现的规划路线转折点多,探索效率低,以及无法实现动态环境下的路径规划问题,提出一种基于改进Q-learning算法和动态窗口法(DWA)的融合算法。首先,改变传统Q-learning算法的搜索方式,由原先的8方向变成16方向;利用模拟退火算法对Q-learning进行迭代优化;通过路径节点优化算法进行节点简化,提高路径平滑度。然后,提取改进Q-learning算法规划路径的节点,将其作为DWA算法的临时目标,前进过程中,能够实时躲避环境中出现的动静态障碍物。最终实验结果表明:融合算法具有较好的路径规划能力,实现了全局最优和有效避障的效果。

一种差分演化Q表的改进Q-Learning方法

针对Q-Learning算法在路径搜索应用中的盲目性而导致收敛速度慢、回报效率低的问题,文中提出了一种差分演化Q表的改进Q-Learning方法(DE-Q-Learning)。改进算法利用差分演化算法的全局搜索优势,将由Q表个体组成的演化种群通过变异、交叉和选择操作选择出较好的初始Q表,以此提升Q-Learning前期回报与探索能力。文中在OpenAI的Gym环境中验证了DE-Q-Learning方法的有效性,并进一步在复杂迷宫环境和强化学习环境Pacman中实验了其在复杂路径搜索和动态避障问题上的性能。实验结果表明,DE-Q-Learning在Pacman环境中相比于改进算法Double-Q-Learning和SA-Q-Learning不仅在历史回报方面具有明显优势,而且收敛速度分别提升了42.16%和15.88%,这表明DE-Q-Learning能够显著提高历史累积回报和算法的收敛速度。

基于改进Q-Learning的路径规划算法

Q-Learning是一种经典的强化学习算法。然而,它存在着收敛速度慢的缺点,而且由于存在着一定概率的探索,该算法可能会浪费很多时间。为解决这些问题,在Q-learning基础上引入初始化Q表格,同时提出“探索引导”方法。仿真实验结果表明,该改进可以减少训练次数,加快收敛速度,例如在Gym库中的悬崖寻路场景中,改进的方法能缩短30%的训练次数。

基于改进Q-learning算法的移动机器人局部路径规划

针对Q-learning算法在移动机器人局部路径规划中存在的学习速度慢、效率低等问题,提出一种改进的IQ-learning算法。首先设计了栅格地图,建立机器人八连通的运行环境。其次基于栅格地图设计了状态、动作、Q值表、奖惩函数和动作选择策略;在Q-learning算法的基础上,IQ-learning在奖惩函数中增加了对角线运动奖励值,鼓励机器人向八个方向探索路径,将平移运动和对角线运动相结合,减少规划路径长度和在初始阶段的盲目搜索,加快算法的收敛速度。最后利用设计的IQ-learning算法学习策略,分别在离散型、一字型、U型和混合型等障碍物环境下,学习移动机器人的局部路径规划任务,并与Q-learning的规划结果相比较,得出IQ-learning算法能够在更少的学习次数中以较少的步数找到最短路径,规划效率有所提高。

基于改进Q-learning算法的AGV路径规划

为了解决智能仓储系统中自动导引车(Automated Guided Vehicle,AGV)的全局路径规划问题,提出了一种基于改进Q-learning算法的AGV全局路径优化算法。针对运用传统Q-learning算法只适用于离散状态模型或者较为简单的连续状态模型的情况,将人工神经网络引入Q-learning算法。通过仿真实验进行对比,仿真结果表明,新算法可以使AGV通过自主学习自行寻找出一条无碰撞最优路径,证明了改进后的Q-learning算法的可行性。

应用改进Q-learning算法解决柔性作业车间调度问题

柔性作业车间调度是目前加工系统中的一个重要调度问题,对于该问题的解决方法大都存在速度较慢等缺陷,提出一种改进的Q-learning算法,设计了动态的状态空间及动作集,通过引入“Sigmoid”函数作为动态选择策略改进Q-learning算法,使改进后的算法前期随机选择动作,后期在随机选择动作和选择奖励值最高的动作中动态变化,有效改善了传统Q-learning算法容易陷入局部最优且收敛速度慢等缺陷。将改进Q-learning算法应用到TSP问题中,证实改进算法的普适性和可行性,再将其应用解决柔性调度问题中,证实了其改进的有效性,提升了解决柔性作业车间调度问题的速度和精度。

改进Q-learning算法的柔性上料系统研究

现有振动式给料柔性上料系统的工作效果多数依靠出厂前人工手动调试,手动振动参数调试存在耗时长、费人力问题,且调试结果有较强针对性,导致系统柔性能力不足。提出一种基于改进Q-learning算法的柔性上料系统,结合柔性上料系统自身特性对传统Q-learning算法的奖励函数和ε-贪婪策略进行改进,令柔性上料系统自学习寻找一组有较优料件振动效果的振动参数。由实验可得,所提算法能减少人工在柔性上料系统调试上的参与度,证明了该算法在柔性上料系统中的可行性和有效性,且与传统Q-learning算法相比较,改进Q-learning算法更符合柔性上料系统的实际应用。

基于改进Q-learning的移动机器人路径规划应用研究

本文针对移动机器人系统中的避障路径规划问题,采用强化学习中的Q-learning算法予以解决。原始Q-learning算法存在学习效率低的问题,继而提出一个改进的算法,在原有的基础上增加一层学习过程,尽快使移动机器人发现障碍物和目标位置,加快了路径规划的效率。最后,通过栅格法建立环境进行路径规划,将原始算法与改进算法进行对比,证明了算法学习效率的提高。

改进的Q-learning蜂群算法求解置换流水车间调度问题

针对置换流水车间调度问题,提出了一种基于改进的Q-learning算法的人工蜂群算法。该算法设计了一种改进的奖励函数作为人工蜂群算法的环境,根据奖励函数的优劣来判断下一代种群的寻优策略,并通过Q-learning智能选择人工蜂群算法的蜜源的更新维度数大小,根据选择的维度数大小对编码进行更新,提高了收敛速度和精度,最后使用不同规模的置换流水车间调度问题的实例来验证所提算法的性能,通过对标准实例的计算与其它算法对比,证明该算法的准确性。

基于改进型Q-Learning算法的路径规划系统研究

随着无人驾驶领域的兴起,人工智能、强化学习等概念开始普及。人工智能设备具有集成度高、可训练性以及可编程性等特点,在无人驾驶中的路径规划领域发挥了重要作用。论文首先介绍了现有研究中较为经典的路径规划算法,并针对Q-Learning算法效率低下等问题进行研究,提出了一种改进型Q-Learning算法。该算法首先对智能体的运动以及空间环境进行建模,其次改进了Q-Learning算法的奖励机制,最后规定了智能体的运动方式。仿真结果表明,基于改进型Q-Learning算法有效改善了智能体的运动路径以及工作效率。

基于改进Q-learning算法的移动机器人路径优化

针对多障碍复杂环境下移动机器人路径规划问题,提出了一种基于萤火虫算法的Q-learning算法。在求解算法中,为提高算法的收敛速度,使用萤火虫算法初始化Q-learning框架下Q值;为平衡算法搜索的随机性和目的性,结合贪婪搜索与玻尔兹曼搜索,设计了混合选择策略,使得算法可以动态选择搜索策略,并通过仿真实验验证所提算法的有效性。仿真实验结果表明所提算法在计算时间和路径平滑度等指标上优于Q-learning算法和Sarsa算法。

改进麻雀算法和Q-Learning优化集成学习轨道电路故障诊断

无绝缘轨道电路的故障具有复杂性与随机性,采用单一的模型进行故障诊断,其性能评价指标难以提高。而采用集成学习方式,则存在各基学习器结构、参数设计盲目,集成模型中各基学习器组合权重难以分配的问题。针对以上问题,提出一种改进麻雀算法和Q-Learning优化集成学习的轨道电路故障诊断新方法,该方法有机地将集成学习与计算智能和强化学习相结合,充分挖掘轨道电路故障特征,提高性能评价指标。首先,使用卷积神经网络、长短期记忆网络和多层感知器深度学习模型,以及支持向量机和随机森林传统机器学习模型,共同构成集成学习基学习器,解决单一学习模型的不足,不同基学习器的使用保证集成学习的多样性。从自动化机器学习角度出发,采用改进麻雀算法优化该集成学习模型的结构和参数,克服其结构和参数难以确定的问题。在此之上,引入强化学习Q-learning对集成模型中各基学习器组合权重进行优化,智能地确定集成学习各基学习器的组合权重。最后,将集成学习模型的预测结果与真实结果比较后得到误差,再采用BP神经网络对预测结果进行补偿修正,进一步提高轨道电路的故障诊断性能评价指标。仿真结果表明,利用所提方法进一步改善了轨道电路故障诊断的准确度、精确度、召回率和F1值等性能评价指标。