基于强化学习控制三连杆双足机器人实现节能周期步态

由于双足机器人有着强非线性和非光滑性的响应特性,为双足机器人设计高性能的步态控制器依旧是一个开放的研究领域.为了克服这些挑战,本文首先提出了一个包含躯干,并考虑碰撞与摩擦的三连杆双足机器人模型.随后,采用双延迟深度确定性策略梯度算法为该机器人设计了强化学习控制器.为了同时在下坡和上坡中实现节能周期步态,本文基于庞家莱截面法和幂函数构建了能为控制器提供学习指引的奖励函数.因此,所提出的控制器能够在不依赖于预先设计的参考轨迹或嵌入的不稳定周期步态的情况下,学会自适应输出精确的余弦力矩来实现控制目标.通过和神经网络比例微分控制器的对比研究表明,在不同的斜坡上,所提出的强化学习控制器均能实现精确、高效的周期步态,并具有较强的适应性和鲁棒性.