基于深度强化学习分层控制的双足机器人多模式步态系统研究

提出一种基于深度强化学习(DRL)分层控制的双足机器人多模式步态生成系统.首先采用优势型演员-评论家框架作为高级控制策略,引入近端策略优化(PPO)算法、课程学习(CL)思想对策略进行优化,设计比例-微分(PD)控制器为低级控制器;然后定义机器人观测和动作空间进行策略参数化,并根据对称双足行走步态周期性的特点,设计步态周期奖励函数和步进函数;最后通过生成足迹序列,设计多模式任务场景,并在Mujoco仿真平台下验证方法的可行性.结果表明,本方法能够有效提高双足机器人在复杂环境下行走的稳定性以及泛化性.