基于MATD3的视距内协同空战机动决策

为提升多无人作战飞机空战的协同作战能力,提出一种基于多智能体双延迟深度确定性策略梯度(MATD3)的协同空战机动决策方法。首先,基于无人作战飞机的三自由度动力学模型构建空战环境,并结合飞行员的操纵方式,设计以控制量的变化量表示的动作空间。其次,优化了状态空间和奖励函数的设计,将友机与敌机的相对关系引入状态空间,根据相对角度、相对距离等空战态势因素建立连续型奖励函数,将飞行约束条件融入离散型奖励函数,提升机动决策的准确性和机动飞行的安全性;采用分阶段训练、启发式引导、双探索机制、交替冻结博弈等训练方法,提高算法的收敛速度和机动策略的鲁棒性。最后,构建了二对一空战的仿真场景,结果表明我方双机能够展现出明显的配合行为,提高了对空战态势的感知能力。

基于PER-MATD3的多无人机攻防对抗机动决策

以障碍物随机分布的复杂环境下多无人机攻防对抗机动决策为研究背景,构建了攻防双方运动模型及雷达探测模型,将双延迟深度确定性策略梯度(TD3)算法扩展到多智能体领域中以解决多智能体深度确定性策略梯度(MADDPG)算法存在值函数高估的问题;在此基础上,为了提升算法学习效率,结合优先经验回放机制提出了优先经验回放多智能体双延迟深度确定性策略算法(PER-MATD3)。通过仿真实验表明本文所设计的方法在多无人机攻防对抗机动决策问题中具有较好的对抗效果,并通过对比验证了(PER-MATD3)算法相较其他算法在收敛速度和稳定性方面的优势。

M-DRL的低轨道卫星网络计算卸载和任务迁移

针对无人机网络高时延、低性能、有限带宽、难以解决复杂计算任务问题,提出了一种将低地球轨道卫星和移动边缘计算技术结合形成的MEC辅助LEO卫星网络计算卸载和任务迁移方法。首先通过建立本地计算模型、卸载模型和迁移模型,确定目标优化成本函数。然后为降低模型复杂度,引入多智能体深度强化学习模型,利用多智能体双延迟深度确定性策略梯度(MATD3)算法求解优化问题,降低系统总时延。仿真结果表明,与本地计算及随机迁移算法相比,MATD3算法的任务处理时延分别降低94.55%和83.02%,证明了MATD3算法在计算卸载和任务迁移方面的有效性和可靠性。