基于一种改进PPO算法的无人机空战自主机动决策方法研究

深度强化学习的应用为无人机自主机动决策提供了新的可能。提出一种基于态势评估模型重构与近端策略优化(PPO)算法相结合的无人机自主空战机动决策方法,为一对一近距空战提供了有效策略选择。首先,建立高保真六自由度无人机模型与近距空战攻击模型;其次,基于空战状态划分重构角度、速度、距离和高度态势函数,提出一种描述机动潜力的新型态势评估指标;之后,基于态势函数设计塑形奖励,并与基于规则的稀疏奖励、基于状态转换的子目标奖励共同构成算法奖励函数,增强了强化学习算法的引导能力;最后,设计专家系统作为对手,在高保真空战仿真平台(JSBSim)中对本文工作进行了评估。仿真验证,应用本文方法的智能体在对抗固定机动对手与专家系统对手时算法收敛速度与胜率都得到了有效提升。

基于动态变权重的空战态势评估

针对空战态势评估中以往态势评估模型对空战高动态性和博弈过程描述不充分,以及常权重评估态势导致状态失衡的问题,提出一种基于动态变权重的态势评估方法。根据空战特点建立机动强度和机动潜力模型来量化战术意图,改进态势评估模型,解决战术意图为固定值导致战斗机动态特性以及博弈过程描述不充分的问题;基于层间相关性的重要性准则方法计算客观常权重向量,根据空战评估指标影响因素分析构建均衡函数,得到指标状态变权重向量,通过常权重向量与状态变权重向量的Hadamard乘积计算指标变权重,解决常权重评估态势状态失衡问题。仿真结果表明,该态势评估方法的评估态势结果更为客观,符合实际空战特点。