无人集群博弈对抗系统仿真验证及决策关键技术综述

无人集群博弈对抗是一种新兴的作战样式,在智能化战争扮演着至关重要的作用,其核心是自主生成博弈对抗决策序列,为集群“赋能”。分析了无人集群博弈对抗系统仿真验证的进展;从基于专家系统和博弈论的技术、基于群体智能和优化理论的技术,以及基于神经网络和强化学习的技术三个方面论述了自主决策关键技术,以及课题组在自主决策上开展的相关工作;提出了无人集群博弈对抗的发展方向。

无人机集群空中博弈对抗体系指挥控制模型

针对无人机集群空中博弈对抗体系的指挥控制问题,系统阐述了无人机集群协同空战典型场景的作战过程模型,分析设计了空中无人机集群博弈对抗体系的作战任务剖面,构建了空中无人机集群协同作战体系信息流程模型。研究结论能够为空中无人作战体系构建、无人集群协同空战指挥控制架构以及协同作战规划设计方法等研究提供理论支撑。

基于多智能体深度强化学习的无人艇集群博弈对抗研究

基于未来现代化海上作战背景,提出了利用多智能体深度强化学习方案来完成无人艇群博弈对抗中的协同围捕任务。首先,根据不同的作战模式和应用场景,提出基于分布式执行的多智能体深度确定性策略梯度算法,并对其原理进行了介绍;其次,模拟具体作战场景平台,设计多智能体网络模型、奖励函数机制以及训练策略。实验结果表明,文中方法可以有效应对敌方无人艇的协同围捕决策问题,在不同作战场景下具有较高的效率,为未来复杂作战场景下无人艇智能决策研究提供理论参考价值。

规则耦合下的多异构子网络MADDPG博弈对抗算法

针对多无人机博弈对抗过程中无人机数量动态衰减问题和传统深度强化学习算法中的稀疏奖励问题及无效经验抽取频率过高问题,本文以攻防能力及通信范围受限条件下的多无人机博弈对抗任务为研究背景,构建了红、蓝两方无人机群的博弈对抗模型,在多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient,MADDPG)算法的Actor-Critic框架下,根据博弈环境的特点对原始的MADDPG算法进行改进。为了进一步提升算法对有效经验的探索和利用,本文构建了规则耦合模块以在无人机的决策过程中对Actor网络进行辅助。仿真实验表明,本文设计的算法在收敛速度、学习效率和稳定性方面都取了一定的提升,异构子网络的引入使算法更适用于无人机数量动态衰减的博弈场景;奖励势函数和重要性权重耦合的优先经验回放方法提升了经验差异的细化程度及优势经验利用率;规则耦合模块的引入实现了无人机决策网络对先验知识的有效利用。

知识驱动的智能博弈对抗行动序列规划方法

针对基于深度强化学习方法解决实际博弈对抗序列规划问题中存在的探索-利用矛盾、奖赏信号稀疏、数据利用率低、难以稳定收敛等问题,分析了基于知识的学习型智能生成模式,提出基于知识驱动的方法,从用规则教、从数据中学、用问题引导等方面构建了智能博弈对抗行动序列规划模型,为提升探索-利用效率、精准奖励函数、加速算法收敛提供了理论支撑。对基于强化学习的智能博弈对抗问题求解的难点问题进行了讨论,指出下一步深度强化学习算法走向实用的发展方向。

通信时滞条件下多飞行器博弈对抗制导方法

针对网络通信时滞条件下多飞行器博弈对抗问题,提出了一种协同微分制导律。首先,基于微分对策理论在传统的范数型性能指标基础上,设计增加权重系数,推导出一种具有“bang-bang”结构的协同微分制导方法;其次,考虑到拦截器之间的网络通信存在时滞性,导致得到的目标加速度值与实际加速度值存在误差,通过引入观测目标加速度方向信息可以减少目标加速度可达域范围,减少与目标实际加速度之间的误差,从而提高拦截器的制导精度;最后通过数值仿真验证算法的有效性。仿真结果表明该制导律不需要提前假设目标的机动规律,且在信息时滞下能有效地拦截机动目标。

多任务知识交叉融合框架下智能博弈对抗策略研究

针对传统深度强化学习方法解决复杂博弈对抗任务时,存在任务关联信息丢失、学习效率低、策略泛化性差的问题,提出了面向多决策任务的深度强化学习方法,构建了知识交叉融合框架下对抗策略生成与优化模型,通过提炼多样化对抗任务之间关联信息背后的共性知识,来辅助优化博弈对抗策略。基于国际公测对抗平台下小场景分队对抗任务,验证了基于知识交叉融合框架深度强化学习方法的有效性,策略演示表明多任务知识交叉融合框架下智能博弈对抗策略具有一定泛化性。

面向博弈对抗的多智能体强化学习建模与迁移技术

多智能体博弈对抗问题涉及智能体之间的协作配合,传统基于博弈论等方法的解决方案并不适用于复杂场景的博弈对抗问题。基于强化学习的多智能体协同训练机制是近年来的研究热点。针对中国电子科技集团发布的多智能体博弈对抗问题,设计基于值分解的多智能体深度强化学习方法,为每个智能体独立构建网络模型,通过引入混合网络连接各个智能体,训练时以混合网络指导各智能体网络更新,执行时各智能体网络独立运行,实现集中式学习、分散式执行的训练模式。针对同构异构场景,设计一种高效的迁移训练技术,提升多智能体强化学习方法在不同场景下的快速训练效率。对同构和异构博弈对抗问题分别进行测试,实验结果表明基于值分解的多智能体强化学习方法和迁移技术,能够有效提升智能体的协作行为以及训练效率。

基于博弈对抗的鱼雷抗干扰攻击建模与优化方法研究

针对水下攻防作战强对抗性的特点和蒙特卡罗搜索耗时长的问题,建立基于博弈对抗的鱼雷抗干扰攻击模型,提出一种改进的遗传模拟退火算法用于优化模型求解。采用仿真分析的研究方法,在双雷齐射攻击和潜艇声抗防御模型的基础上,依据零和博弈下的纳什均衡理论构建攻防对抗模型;借鉴粒子群算法自适应放缩适应度和模拟退火算法Metropolis接受准则等思想,对遗传算法中的初始种群、适应度函数、进化策略进行改进。通过典型阵位下的仿真实验,对改进遗传模拟退火算法的性能进行验证,并定量分析了射击提前角和展开航程对鱼雷攻击效果的影响。

基于对手动作预测的智能博弈对抗算法

智能博弈对抗场景中,多智能体强化学习算法存在“非平稳性”问题,智能体的策略不仅取决于环境,还受到环境中对手(其他智能体)的影响。根据对手与环境的交互信息,预测其策略和意图,并以此调整智能体自身策略是缓解上述问题的有效方式。提出一种基于对手动作预测的智能博弈对抗算法,对环境中的对手进行隐式建模。该算法通过监督学习获得对手的策略特征,并将其与智能体的强化学习模型融合,缓解对手对学习稳定性的影响。在1v1足球环境中的仿真实验表明,提出的算法能够有效预测对手的动作,加快学习收敛速度,提升智能体的对抗水平。

基于历史回报引导探索策略的机器人智能博弈对抗研究

针对作战机器人在异构对称场景下战场环境探索不充分、不优化的问题,提出一种基于历史回报引导深度强化学习的探索策略,将元参数学习的思想应用于深度强化学习中超参数的学习,引导智能体进行探索。研究历史回报与探索策略之间的关系,提出在线学习的探索策略构建方法;将提出的基于历史回报引导探索策略应用于作战机器人博弈对抗任务中,辅助深度强化学习决策模型快速生成博弈对抗策略,优化了作战机器人在实时异构对称场景中的博弈策略。

智能博弈对抗方法:博弈论与强化学习综合视角对比分析

智能博弈对抗是人工智能认知决策领域亟待解决的前沿热点问题。以反事实后悔最小化算法为代表的博弈论方法和以虚拟自博弈算法为代表的强化学习方法,依托大规模算力支撑,在求解智能博弈策略中脱颖而出,但对两种范式之间的关联缺乏深入发掘。文中针对智能博弈对抗问题,定义智能博弈对抗的内涵与外延,梳理智能博弈对抗的发展历程,总结其中的关键挑战。从博弈论和强化学习两种视角出发,介绍智能博弈对抗模型、算法。多角度对比分析博弈理论和强化学习的优势与局限,归纳总结博弈理论与强化学习统一视角下的智能博弈对抗方法和策略求解框架,旨在为两种范式的结合提供方向,推动智能博弈技术前向发展,为迈向通用人工智能蓄力。

基于深度强化学习的智能博弈对抗关键技术

阐述了军事智能博弈对抗的发展需求和概念内涵,分析了基于强化学习的博弈对抗特点,并针对智能博弈对抗过程存在的问题,提出了基于深度逆向强化学习、多智能体强化学习、分层强化学习及元深度强化学习等手段的应用模式,展望了智能博弈对抗技术发展方向,以期为军事智能博弈对抗技术研究提供参考.

基于深度强化学习的无人艇集群博弈对抗

开展基于深度强化学习的无人艇集群动态博弈对抗中的协同围捕决策研究。建立受距离和相对角度影响的无人艇围捕环境模型,利用基于策略网络和双评价网络的深度强化学习方法求解围捕策略,立足协同围捕任务,基于距离和相对角度设计引导型奖励函数,避免奖励稀疏。仿真结果表明,基于深度强化学习的红方无人艇集群能够对蓝方无人艇进行有效的协同围捕。研究成果可为无人艇集群博弈对抗演练提供参考。

基于多智能体深度强化学习的空战博弈对抗策略训练模型

鉴于多智能体深度强化学习在解决蜂群系统、能源分配和大型团队策略游戏等高维复杂动作空间以及多智能体决策问题中的良好表现,提出了一种基于多智能体深度强化学习的空战博弈对抗策略训练模型。在对多智能体深度强化学习基本概念和对空战策略生成的可行性分析的基础上,建立了基于多智能体马尔可夫决策过程空战配合策略的框架,从而生成最优对抗策略。实践表明,该模型可生成多种双机联合对抗策略,具有较高的研究价值和实际意义。

基于博弈对抗的空战智能决策关键技术

针对空战智能决策模型生成问题,首先,分析了空战智能决策构建的意义,并对基于博弈论的方法、基于规划理论的方法以及专家系统与机器学习方法等空战决策模型生成技术进行了对比分析;然后,阐述了博弈对抗规则建模、机器学习优化、智能算法模型验证评价、大样本并行仿真推演和柔性平台集成接口设计等关键技术;最后,对智能技术空战应用的发展趋势进行了总结。

人工智能在无人战场态势预判与博弈对抗中的应用

在未来高强度火力对抗的战场环境下,具备无人协同、相互协作、优势互补及效能倍增的军事智能无人作战能力,是新时代军队取得战争胜利的关键所在。首先分析了当前智能无人作战的发展现状,然后对未来技术发展进行了研判,提出了人工智能在战场态势预判与博弈对抗中的应用,最后为智能无人作战的发展进行了总结和展望。

基于元权值学习方法的智能博弈对抗研究

针对基于传统强化学习方法的策略模型在解决博弈对抗问题时,存在初始策略模型优化的冷启动问题,提出了基于历史行动轨迹梯度的元深度强化学习方法,通过研究不同历史轨迹梯度的特点和形式,根据指挥员对不同历史轨迹数据的评价,确定网络参数梯度更新方向,在此基础上学习元知识,为初始策略模型提供一种高效的网络初始化方法。实验结果表明,该方法缩短了策略模型训练时长,提升了决策模型性能。

作战推演中智能博弈对抗算法水平评估模型研究

在作战推演中,决策者需要确定使用哪个智能博弈对抗算法参与作战推演。此时,决策者要了解智能博弈对抗算法的对抗水平,以及其做出的决策是否可用、可信。因此,需要制定一套客观、公正、完整的智能博弈对抗算法的评价标准和评价方法。论文针对智能博弈对抗算法提出了评估指标体系构建原则、评估指标体系以及评估模型,对指导智能博弈算法的改进有着现实意义。

无人机集群对抗决策算法研究综述

无人机集群博弈对抗已经成为未来战争的发展趋势,无人机对抗决策算法的选择对提升无人机集群作战能力至关重要。本文深入探讨了基于规则的、基于博弈论的和基于神经网络的三大类无人机集群博弈对抗决策算法,并对它们的优势和局限性进行了全面分析与总结。在此基础上,提出将“基于多智能体强化学习的信用分配模型”和“基于角色的多智能体强化学习模型”应用于无人机集群博弈对抗的研究思路。最后,强调了选择适当的决策算法对于提高无人机集群作战效能的重要性,并为未来无人机对抗决策的发展提出了有益的建议,为相关领域的研究和应用提供了深入见解。