深度强化学习(DRL)已被成功应用于移动机器人路径规划中,基于DRL的移动机器人路径规划算法适用于高维环境,是实现移动机器人自主学习的重要方法。而训练DRL模型需要大量的环境交互经验,这意味着更高的计算成本。此外,DRL算法的经验池容...深度强化学习(DRL)已被成功应用于移动机器人路径规划中,基于DRL的移动机器人路径规划算法适用于高维环境,是实现移动机器人自主学习的重要方法。而训练DRL模型需要大量的环境交互经验,这意味着更高的计算成本。此外,DRL算法的经验池容量有限,无法确保经验的有效利用。作为类脑计算重要工具之一的脉冲神经网络(Spiking Neural Networks,SNNs)以其独有的生物似真性,能同时融入时空信息,适用于机器人环境感知及控制。结合SNNs、卷积神经网络(CNNs)和策略融合,针对基于DRL的移动机器人路径规划算法进行研究,完成了以下工作:1)提出SCDDPG(SCDDP)算法。该算法利用CNNs对输入状态进行多通道特征提取,利用SNNs对提取的特征进行时空学习。2)在SCDDPG的基础上,提出SC2DDPG(SC2DDPG)算法。SC2DDPG通过设计状态约束策略对机器人运行状态进行约束,避免了不必要的环境探索,提升了SC2DDPG中DRL的收敛速度。3)在SCDDPG的基础上,提出了PFTDDPG(Policy Fusion and Transfer SCDDPG,PFTDDPG)算法。该算法采用分阶控制模式与DRL算法融合,针对环境中的楔形障碍物实施沿墙行走策略,并引入迁移学习对先验知识进行策略迁移。PFTDDPG算法不仅完成了单纯依靠RL不能完成的路径规划任务,还可以得到最优无碰路径。此外PFTDDPG提升了模型的收敛速度和路径规划性能。实验结果证明了所提出的3种路径规划算法的有效性,对比实验结果表明:在SpikeDDPG,SCDDPG,SC2DDPG和PFTDDPG算法中,PFTDDPG算法在路径规划成功率、训练收敛速度、规划路径长度等性能指标上表现最佳。本工作为移动机器人路径规划提出了新思路,丰富了DRL在移动机器人路径规划中的解决方案。展开更多
为从宏、细观角度揭示常法向刚度(Constant Normal Stiffness,CNS)条件下锯齿状砂岩-混凝土结构面剪切机制,首先采用湖南大学自主改造的CNS岩石直剪仪开展3组砂岩-混凝土结构面室内剪切试验.在此基础上,采用刚性墙替代法建立与室内试验...为从宏、细观角度揭示常法向刚度(Constant Normal Stiffness,CNS)条件下锯齿状砂岩-混凝土结构面剪切机制,首先采用湖南大学自主改造的CNS岩石直剪仪开展3组砂岩-混凝土结构面室内剪切试验.在此基础上,采用刚性墙替代法建立与室内试验相应的离散元数值模型,并引入3个显式运动学方程控制砂岩试样运动轨迹从而实现CNS条件加载,将数值模拟与试验结果对比验证了模型的合理性.随后,开展16个工况的数值剪切试验,通过观察剪切裂纹扩展和力链演化形态,从细观角度揭示结构面破坏模式和荷载传递机制,并从宏观角度分析锯齿几何尺寸(半波长λ、起伏角θ)和加载边界条件(初始法向应力σn0、法向刚度K)对剪切强度和法向膨胀的影响.结果表明:剪切裂纹按照“平稳增加—急剧增加—增幅减小”的发展趋势由结构面区域逐渐向岩石内部扩展,结构面破坏模式随起伏角的增大由滑移磨损向剪断破坏过渡,剪切强度随λ、θ、σn0和K的增加呈指数函数型增加.展开更多
文摘深度强化学习(DRL)已被成功应用于移动机器人路径规划中,基于DRL的移动机器人路径规划算法适用于高维环境,是实现移动机器人自主学习的重要方法。而训练DRL模型需要大量的环境交互经验,这意味着更高的计算成本。此外,DRL算法的经验池容量有限,无法确保经验的有效利用。作为类脑计算重要工具之一的脉冲神经网络(Spiking Neural Networks,SNNs)以其独有的生物似真性,能同时融入时空信息,适用于机器人环境感知及控制。结合SNNs、卷积神经网络(CNNs)和策略融合,针对基于DRL的移动机器人路径规划算法进行研究,完成了以下工作:1)提出SCDDPG(SCDDP)算法。该算法利用CNNs对输入状态进行多通道特征提取,利用SNNs对提取的特征进行时空学习。2)在SCDDPG的基础上,提出SC2DDPG(SC2DDPG)算法。SC2DDPG通过设计状态约束策略对机器人运行状态进行约束,避免了不必要的环境探索,提升了SC2DDPG中DRL的收敛速度。3)在SCDDPG的基础上,提出了PFTDDPG(Policy Fusion and Transfer SCDDPG,PFTDDPG)算法。该算法采用分阶控制模式与DRL算法融合,针对环境中的楔形障碍物实施沿墙行走策略,并引入迁移学习对先验知识进行策略迁移。PFTDDPG算法不仅完成了单纯依靠RL不能完成的路径规划任务,还可以得到最优无碰路径。此外PFTDDPG提升了模型的收敛速度和路径规划性能。实验结果证明了所提出的3种路径规划算法的有效性,对比实验结果表明:在SpikeDDPG,SCDDPG,SC2DDPG和PFTDDPG算法中,PFTDDPG算法在路径规划成功率、训练收敛速度、规划路径长度等性能指标上表现最佳。本工作为移动机器人路径规划提出了新思路,丰富了DRL在移动机器人路径规划中的解决方案。
文摘为从宏、细观角度揭示常法向刚度(Constant Normal Stiffness,CNS)条件下锯齿状砂岩-混凝土结构面剪切机制,首先采用湖南大学自主改造的CNS岩石直剪仪开展3组砂岩-混凝土结构面室内剪切试验.在此基础上,采用刚性墙替代法建立与室内试验相应的离散元数值模型,并引入3个显式运动学方程控制砂岩试样运动轨迹从而实现CNS条件加载,将数值模拟与试验结果对比验证了模型的合理性.随后,开展16个工况的数值剪切试验,通过观察剪切裂纹扩展和力链演化形态,从细观角度揭示结构面破坏模式和荷载传递机制,并从宏观角度分析锯齿几何尺寸(半波长λ、起伏角θ)和加载边界条件(初始法向应力σn0、法向刚度K)对剪切强度和法向膨胀的影响.结果表明:剪切裂纹按照“平稳增加—急剧增加—增幅减小”的发展趋势由结构面区域逐渐向岩石内部扩展,结构面破坏模式随起伏角的增大由滑移磨损向剪断破坏过渡,剪切强度随λ、θ、σn0和K的增加呈指数函数型增加.