安全强化学习及其在机器人系统中的应用综述

强化学习是一类通过与环境交互实现序贯优化决策的机器学习方法,已经在游戏、推荐系统及自然语言处理等任务中得到了应用.然而,强化学习算法应用于真实世界中的机器人系统时,如何保证安全性仍然面临挑战.近年来,针对机器人系统的安全强化学习方法研究已经成为热点方向,获得了机器人和强化学习领域的广泛关注.本文结合现有的工作,综述了安全强化学习理论和方法的重要成果和发展趋势,并重点关注了现有方法在机器人领域的适用性.本文首先给出了安全强化学习的一般问题描述.其次,从方法和性能的角度重点介绍了该领域的最新重要进展,包括约束策略优化、控制障碍函数、安全过滤器和对抗性博弈训练等方法,以及安全强化学习方法在地面移动机器人系统、无人飞行器和其他机器人系统中的应用情况.最后,对该领域的未来研究方向进行了展望和探讨.

基于高斯过程建模的移动机器人学习预测控制方法

移动机器人在复杂地形条件下面临环境和模型不确定性的挑战,例如草地、陡坡等环境会对移动机器人的高精度控制造成影响.本文提出了一种基于高斯过程建模的移动机器人学习预测控制方法,能够对环境和模型不确定性进行实时的建模和预测,并将该模型用于最优控制策略的学习中,完成在模型和环境不确定下的机器人运动控制.该方法利用高斯过程回归对环境和模型不确定性进行建模,并结合系统运动学方程得到误差状态模型,并将该模型用于滚动时域强化学习中,通过迭代优化学习最优控制策略.最后,针对移动机器人在椭圆和8字形轨迹上的横向跟踪控制问题,进行了仿真实验,并与非线性模型预测控制进行比较.结果表明,本文提出的方法能够有效提升复杂地形条件下控制器的控制性能,在性能指标上相比未采用高斯过程建模的滚动时域强化学习方法提高20%,比非线性模型预测控制方法提高36%,验证了所提方法的有效性和优越性.