近距空战机动决策过程的高阶重构

针对空战过程中的机动决策重构问题,构造空战机动关键决策点提取模型。基于飞机实际飞行状态数据,通过引入物理学中的急动度概念,选取俯仰角、偏航角、横滚角和速度急动度4个指标,构建关键机动决策点评价指标体系,利用信息熵理论对相关指标进行约简,获得综合评价值,然后按时间域划分机动区域,提取机动决策点,完成机动决策重构。通过空战训练中记录的客观数据对该方法进行验证,仿真结果表明,该方法获得机动决策点的重构结果与实际空战态势相符合,模型有效且具有一定的实用价值。

基于强化遗传算法的无人机空战机动决策研究

伴随着无人机技术的不断发展,在军事战场上使用无人机的趋势日益明显,但是无人机自主空战能力还有待进一步提高。空战机动决策是实现无人机自主空战的关键。遗传算法拥有较好的鲁棒性和搜索性,适用于大规模优化问题求解,但无法对没有显式目标函数的问题建模。基于强化学习思想,采用改进的强化遗传算法针对无人机的空战机动决策进行建模。根据工程应用需求,建立了典型的仿真测试场景,仿真结果表明基于强化遗传算法建立的空战机动决策模型,能够获得正确的机动决策序列,在作战中获得位置优势。

基于LSTM-PPO算法的无人作战飞机近距空战机动决策

近距空战中环境复杂、格斗态势高速变化,基于对策理论的方法因数据迭代量大而不能满足实时性要求,基于数据驱动的方法存在训练时间长、执行效率低的问题。对此,提出了一种基于深度强化学习算法的UCAV近距空战机动决策方法。首先,在UCAV三自由度模型的基础上构建飞行驱动模块,形成状态转移更新机制;然后在近端策略优化算法的基础上加入Ornstein-Uhlenbeck随机噪声以提高UCAV对未知状态空间的探索能力,结合长短时记忆网络(LSTM)增强对序列样本数据的学习能力,提升算法的训练效率和效果。最后通过设计3组近距空战仿真实验,并与PPO算法作性能对比,验证所提方法的有效性和优越性。

深度强化学习的无人作战飞机空战机动决策

无人作战飞机(unmanned combat aerial vehicle,UCAV)在进行空战自主机动决策时,面临大规模计算,易受敌方不确定性操纵的影响。针对这一问题,提出了一种基于深度强化学习算法的无人作战飞机空战自主机动决策模型。利用该算法,无人作战飞机可以在空战中自主地进行机动决策以获得优势地位。首先,基于飞机控制系统,利用MATLAB/Simulink仿真平台搭建了六自由度无人作战飞机模型,选取适当的空战动作作为机动输出。在此基础上,设计了无人作战飞机空战自主机动的决策模型,通过敌我双方的相对运动构建作战评估模型,分析了导弹攻击区的范围,将相应的优势函数作为深度强化学习的评判依据。之后,对无人作战飞机进行了由易到难的分阶段训练,并通过对深度Q网络的研究分析了最优机动控制指令。从而无人作战飞机可以在不同的态势情况下选择相应的机动动作,独立评估战场态势,做出战术决策,以达到提高作战效能的目的。仿真结果表明,该方法能使无人作战飞机在空战中自主的选择战术动作,快速达到优势地位,极大地提高了无人作战飞机的作战效率。

深度确定性策略梯度和预测相结合的无人机空战决策研究

针对无人机自主空战机动决策过程中遇到的敌方不确定性操纵问题,提出了一种目标机动指令预测和深度确定性策略梯度算法相结合的无人机空战自主机动决策方法。对空战双方的态势数据进行有效的融合和处理,搭建无人机六自由度模型和机动动作库,在空战中目标通过深度Q网络算法生成相应机动动作库指令,同时我方无人机通过概率神经网络给出目标机动的预测结果。提出了一种同时考虑了两机态势信息和敌机预测结果的深度确定性策略梯度强化学习方法,使得无人机能够根据当前空战态势选择合适的机动决策。仿真结果表明,该算法可以有效利用空战态势信息和目标机动预测信息,在保证收敛性的前提下提高无人机自主空战决策强化学习算法的有效性。

融合认知行为模型的深度强化学习框架及算法

面对高维连续状态空间或稀疏奖励等复杂任务时,仅依靠深度强化学习算法从零学习最优策略十分困难,如何将已有知识表示为人与学习型智能体之间相互可理解的形式,并有效地加速策略收敛仍是一个难题.对此,提出一种融合认知行为模型的深度强化学习框架,将领域内先验知识建模为基于信念-愿望-意图(beliefdesire-intention,BDI)的认知行为模型,用于引导智能体策略学习.基于此框架,分别提出融合认知行为模型的深度Q学习算法和近端策略优化算法,并定量化设计认知行为模型对智能体策略更新的引导方式.最后,通过典型gym环境和空战机动决策对抗环境,验证所提出算法可以高效利用认知行为模型加速策略学习,有效缓解状态空间巨大和环境奖励稀疏的影响.