基于深度强化学习算法的无人机智能规避决策

为提升无人机在复杂空战场景中的存活率,基于公开无人机空战博弈仿真平台,使用强化学习方法生成机动策略,以深度双Q网络(double deep Q-network, DDQN)和深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法为基础,提出单元状态序列(unit state sequence, USS),并采用门控循环单元(gated recurrent unit, GRU)融合USS中的态势特征,增加复杂空战场景下的状态特征识别能力和算法收敛能力。实验结果表明,智能体在面对采用标准比例导引算法的导弹攻击时,取得了98%的规避导弹存活率,使无人机在多发导弹同时攻击的复杂场景中,也能够取得88%的存活率,对比传统的简单机动模式,无人机的存活率大幅提高。

基于优化人工势场法的无人机航迹规划

针对传统人工势场(traditional artificial potential field,TAPF)法在无人机航迹规划中存在的局部极小值、斥力过大、无效避障等问题,提出一种优化人工势场法。首先将障碍物斥力进行分解,避免了局部极小值情况;其次重构合力计算方式,避免无人机在障碍密集区域所受斥力过大;最后引入二次碰撞预测方法,减少无人机无效避障的同时保证航迹平滑。在考虑无人机物理约束条件下进行航迹规划实验。仿真结果表明,该方法相较于TAPF法,不仅缩短了规划航线长度,且在航迹平滑性上有明显提升。

基于深度强化学习的导弹末端约束角制导律

拦截碰撞角约束制导可以增加空空导弹的毁伤能力,而传统的比例导引律无法对导弹的打击角度进行约束。为控制空空导弹的拦截碰撞角,提出了一种基于深度强化学习的偏置比例导引律,完成了以特定倾角拦截目标的任务。引入了导弹剩余飞行时间作为强化学习模型的部分状态量,提升了智能体的学习收敛速度。与传统的比例导引律和基于落角约束的最优导引律进行了仿真对比实验。仿真结果表明,所提出的制导律在保证精准拦截目标的同时,对导弹末端碰撞角的控制精度也大于其它约束角制导律。