基于改进RRT算法的移动机器人路径规划

针对快速扩展随机树(rapidly exploring random tree,RRT)算法在移动机器人路径规划过程中存在盲目搜索、内存计算量大和冗余点较多等问题,提出了改进的RRT算法。首先,随机点进行扩展时引入动态目标采样率,引导随机点向目标点方向扩展;其次,融合A*算法中代价函数策略,在加入不同权重因子之后,选取代价值合适的节点作为待扩展节点;然后,针对初始路径过长并存在过多冗余点的问题,提出反向搜索剪枝方法,对裁剪后的路径进行三次样条插值平滑处理来改善路径质量;最后,利用Pycharm对改进的RRT算法进行仿真验证。仿真结果表明,改进的RRT算法相较于传统RRT算法、RRT*算法和基于概率P的RRT算法(P-RRT),在路径的规划长度、规划时间和扩展节点数上都具有明显优势,提高了机器人的路径规划效率。

基于APF-LSTM-DDPG算法的移动机器人局部路径规划

针对深度强化学习算法存在训练时间长、收敛速度慢的问题,将深度确定性策略梯度(deep deterministic policy gradient,DDPG)算法和人工势场(artifical potential field,APF)法相融合,引入长短期记忆(long short-term memory,LSTM)神经网络结构,提出了APF-LSTM-DDPG算法。首先在DDPG算法中添加LSTM,通过记忆单元和遗忘单元将奖励较高的样本优先学习,使模型更快地收敛;其次引入人工势场法,设计相应势场函数,解决环境奖励稀疏的缺点,加速模型收敛进程;然后通过人工势场法修正算法的动作选择,缩短路径长度;最后在机器人仿真平台(robot operating system,ROS)中搭建不同障碍物环境对算法进行了仿真验证。仿真结果表明,APF-LSTM-DDPG算法在搭建的仿真环境中训练时平均奖励能够更快地稳定,提高了算法的成功率并减少了规划路径中的冗余。

基于改进Q-learning算法的移动机器人局部路径规划

针对Q-learning算法在移动机器人局部路径规划中存在的学习速度慢、效率低等问题,提出一种改进的IQ-learning算法。首先设计了栅格地图,建立机器人八连通的运行环境。其次基于栅格地图设计了状态、动作、Q值表、奖惩函数和动作选择策略;在Q-learning算法的基础上,IQ-learning在奖惩函数中增加了对角线运动奖励值,鼓励机器人向八个方向探索路径,将平移运动和对角线运动相结合,减少规划路径长度和在初始阶段的盲目搜索,加快算法的收敛速度。最后利用设计的IQ-learning算法学习策略,分别在离散型、一字型、U型和混合型等障碍物环境下,学习移动机器人的局部路径规划任务,并与Q-learning的规划结果相比较,得出IQ-learning算法能够在更少的学习次数中以较少的步数找到最短路径,规划效率有所提高。

基于改进SAC算法的移动机器人路径规划

为解决SAC算法在移动机器人局部路径规划中训练时间长、收敛速度慢等问题,通过引入优先级经验回放(PER)技术,提出了PER-SAC算法。首先从等概率从经验池中随机抽取样本变为按优先级抽取,使网络优先训练误差较大的样本,从而提高了机器人训练过程的收敛速度和稳定性;其次优化时序差分(TD)误差的计算,以降低训练偏差;然后利用迁移学习,使机器人从简单环境到复杂环境逐步训练,从而提高训练速度;另外,设计了改进的奖励函数,增加机器人的内在奖励,从而解决了环境奖励稀疏的问题;最后在ROS平台上进行仿真测试。仿真结果表明,在不同的障碍物环境中,PER-SAC算法均比原始算法收敛速度更快、规划的路径长度更短,并且PER-SAC算法能够减少训练时间,在路径规划性能上明显优于原始算法。

基于改进PPO算法的机器人局部路径规划

利用强化学习训练机器人局部路径规划模型存在算法收敛速度慢、易陷入死锁区域导致目标不可达等问题。对传统近端策略优化(PPO)算法进行改进,引入长短期记忆(LSTM)神经网络并设计虚拟目标点法,提出LSTM-PPO算法。将PPO神经网络结构中的全连接层替换为LSTM记忆单元,控制样本信息的记忆和遗忘程度,优先学习奖励值高的样本,从而更快地累积奖励优化模型。在此基础上,加入虚拟目标点,通过雷达传感器收集的环境信息判断机器人陷入死锁区域时弃用目标点给予机器人的引导,使机器人走出陷阱区域并趋向目标点,减少在死锁区域不必要的训练。分别在特殊障碍物场景和混合障碍物场景中对LSTM-PPO算法进行仿真验证,结果表明,与传统PPO算法和改进算法SDAS-PPO相比,该算法在两种场景训练中均能最快到达奖励峰值,可加快模型收敛速度,减少冗余路段,优化路径平滑度并缩短路径长度。

基于改进人工势场法的移动机器人局部路径规划

为解决传统人工势场法在移动机器人局部路径规划中存在的缺陷,提高其路径规划的性能,提出了改进的人工势场法。将引力作用阈值引入引力势场函数,解决引力过大问题;在斥力势场函数中引入目标点与移动机器人之间的距离,解决目标不可达问题;根据环境复杂度,提出了自适应速度调节机制;针对局部极小值问题,分别提出了APF-v1和APF-v2两种构建虚拟目标点的方法,引导移动机器人走出陷阱区域。最后在ROS机器人操作系统中对改进的算法进行了对比实验,结果表明,改进的算法可以克服目标不可达、局部极小值等问题,并且在计算量、路径规划时间和步数等方面具有一定的优越性。