基于请求与应答通信机制和局部注意力机制的多机器人强化学习路径规划方法

为降低多机器人在动态环境下路径规划的阻塞率,基于深度强化学习方法框架Actor-Critic,设计一种基于请求与应答通信机制和局部注意力机制的分布式深度强化学习路径规划方法(DCAMAPF)。在Actor网络,基于请求与应答通信机制,每个机器人请求视野内的其他机器人的局部观测信息和动作信息,进而规划出协同的动作策略。在Critic网络,每个机器人基于局部注意力机制将注意力权重动态地分配到在视野内成功应答的其他机器人局部观测和动作信息上。实验结果表明,与传统动态路径规划方法D*Lite、最新的分布式强化学习方法MAPPER和最新的集中式强化学习方法AB-MAPPER相比,DCAMAPF在离散初始化环境,阻塞率均值均约降低了6.91、4.97、3.56个百分点;在集中初始化环境下能更高效地避免发生阻塞,阻塞率均值均约降低了15.86、11.71、5.54个百分点,并减少占用的计算缓存。所提方法确保了路径规划的效率,适用于求解不同动态环境下的多机器人路径规划任务。

智能扫地机器人的全覆盖路径规划

全覆盖路径规划是智能扫地机器人重要的功能之一,但是基于单元分解方法的全覆盖路径规划对复杂的凹多边形环境分解过于细碎,规划的路径转弯多、调头多,优化效果常未达到最佳.结合扫地机器人的实际应用,在代价函数中加入了转弯和调头的开销;在单元分解时保留可合并规划的凹区域不再分解;单元内路径优化考虑了相邻区域的统一规划和单元间转移,单元间采用全搜索结合蚁群算法得到最佳转移路径,实现了可适用于复杂环境的全覆盖路径性能优化.仿真实验结果表明该方法有效减少了路径的转弯、调头次数和合计总开销,提高了扫地机器人的全覆盖清扫效率.

基于改进强化学习的模块化自重构机器人编队

针对传统强化学习算法在训练初期缺乏对周围环境的先验知识,模块化自重构机器人会随机选择动作,导致迭代次数浪费和算法收敛速度缓慢的问题,提出一种两阶段强化学习算法。在第一阶段,利用基于群体和知识共享的Q-learning训练机器人前往网格地图的中心点,以获得一个最优共享Q表。在这个阶段中,为了减少迭代次数,提高算法的收敛速度,引入了曼哈顿距离作为奖赏值,以引导机器人向有利于中心点方向移动,减小稀疏奖励的影响。在第二阶段,机器人根据这个最优共享Q表和当前所处的位置,找到前往指定目标点的最优路径,形成指定的队形。实验结果表明,在50×50的网格地图中,与对比算法相比,该算法成功训练机器人到达指定目标点,减少了将近50%的总探索步数。此外,当机器人进行队形转换时,编队运行时间减少了近5倍。