基于DDPG的变外形航天飞行器碰撞规避的轨迹规划方法

针对变外形航天飞行器制导与变形决策强耦合问题,提出了基于深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)变外形碰撞规避的轨迹规划方法。依托变形参量建立变外形航天飞行器运动学模型,设计具有射程误差校正功能的纵向制导律和基于视线角偏差的横向制导律,实现绕飞障碍物并保证制导精度。建立适用于连续变外形的马尔可夫决策模型,以攻角、马赫数以及飞行器与障碍物的相对距离为状态空间,设计考虑碰撞的势场惩罚函数及满足制导精度的奖励函数,并构建DDPG网络实现状态空间到动作的尺度变换,得到最优外形决策指令。仿真结果表明:与固定外形航天飞行器相比,通过对外形最优决策,提高了航天飞行器制导精度和横向避障能力,降低了对机载雷达感知能力的要求,节省了感知成本。

基于强化学习的无人机安全避障与围捕制导

针对无人机在受约束环境下面临绕飞障碍物与跟踪目标相互掣肘的问题,提出了一种基于强化学习的无人机安全避障与围捕制导方法。根据极坐标原理设计环绕跟踪控制器,驱使无人机在GPS拒止的情况下到达预设的圆形轨道。将环绕约束和障碍物约束转化为马尔可夫过程,以速度、径向误差、角速度误差和碰撞函数为状态空间,以控制器的补偿量为动作空间,设计考虑跟踪误差和碰撞概率的奖励函数,利用深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法对智能体进行训练,增强跟踪效果并获得避碰能力,实现无人机对静止/运动目标的环绕跟踪;此外,在训练过程中引入课程学习,将过去的学习策略转移到当前事件,与经典的随机参数设置相比,具有更快的收敛速度。最后仿真表明,所提算法可以引导无人机圆形环绕控制的同时高效规避障碍物。