稀疏异质多智能体环境下基于强化学习的课程学习框架

现代战争的战场较大且兵种较多,利用多智能体强化学习(MARL)进行战场推演可以加强作战单位之间的协同决策能力,从而提升战斗力。当前MARL在兵棋推演研究和对抗演练中的应用普遍存在两个简化:各个智能体的同质化以及作战单位分布稠密。实际战争场景中并不总是满足这两个设定,可能包含多种异质的智能体以及作战单位分布稀疏。为了探索强化学习在更多场景中的应用,分别就这两方面进行改进研究。首先,设计并实现了多尺度多智能体抢滩登陆环境M2ALE,M2ALE针对上述两个简化设定做了针对性的复杂化,添加了多种异质智能体和作战单位分布稀疏的场景,这两种复杂化设定加剧了多智能体环境的探索困难问题和非平稳性,使用常用的多智能体算法通常难以训练。其次,提出了一种异质多智能体课程学习框架HMACL,用于应对M2ALE环境的难点。HMACL包括3个模块:1)任务生成模块(STG),用于生成源任务以引导智能体训练;2)种类策略提升模块(CPI),针对多智能体系统本身的非平稳性,提出了一种基于智能体种类的参数共享(Class Based Parameter Sharing)策略,实现了异质智能体系统中的参数共享;3)训练模块(Trainer),通过从STG获取源任务,从CPI获取最新的策略,使用任意MARL算法训练当前的最新策略。HMACL可以缓解常用MARL算法在M2ALE环境中的探索难问题和非平稳性问题,引导多智能体系统在M2ALE环境中的学习过程。实验结果表明,使用HMACL使得MARL算法在M2ALE环境下的采样效率和最终性能得到大幅度的提升。

基于HLA的作战模拟系统一体化设计与实现

为了提高现有作战模拟系统的互操作性、可重用性与可扩展性,完善作战模拟系统的一体化建设,首先,分析了一体化系统建设的主要任务,归纳了其主要涉及的四类十一项关键技术。其次,重点阐述了如何利用HLA仿真技术框架来搭建海军诸兵种一体化作战模拟系统的体系结构,并详细描述了系统间信息交换协议的设计思路,定义了一个对象类、七个交互类及路径空间。最后,给出了系统仿真实现的流程图及其时钟推进机制,并用一个仿真实例验证了设计的可行性。

航路规划中数字地图综合处理技术

以中远程反舰导弹航路规划为背景,研究了数字地图应用的相关处理技术。首先介绍了数字高程模型及其相应的处理技术,其次论述了对数字海图进行网格划分的基本原则,然后分析了计算地图上每个网格单元的代价MC(Map Cost)所需考虑的主要因素,最后给出由MC生成的最小代价BC(Best Cost)的方法,为下一步航路规划算法的实现奠定了基础。

海军诸兵种综合战术训练仿真系统构建研究

如何构建诸军兵种综合战术训练仿真系统,是当前全军训练仿真领域内的研究热点。基于HLA技术框架及分层式RTI,搭建了海军诸兵种综合战术训练仿真系统的体系结构。并采用面向对象的建模与仿真方法,提出了系统公共参考FOM模型的设计思路,定义了实体类、交互类及路径空间,有效规范并减少了系统间网络传输的数据流量。最后,给出了系统仿真实现的流程图和一个仿真实例。实践证明,使用HLA仿真框架实现的海军诸兵种综合战术训练仿真系统能够满足当前海军战术训练的需求。

航路规划中不同的大地基准对目标定位的影响

分析了目前普遍使用的四种大地基准之间的差异,通过不同大地基准对求解目标定位偏差的数学模型进行仿真。得出了8054系与80系之间以及54年系与 WGS-84系之间求解目标定位偏差的仿真结果。给出了航路规划中目标指示坐标系选取的指导性结论。

通用超短波语音通信仿真模块的设计与实现

分析了超短波通信网的特点及典型的5种通信形式,归纳了超短波作战通信仿真模块涉及的3类关键技术,提出了通用超短波语音通信仿真模块的功能需求、控制流程及系统的软硬件体系结构,并给出了受限通信时相应的数学模型,使该模块具备了依据实时态势而改变通信效果的能力,提高了超短波语音通信在战术仿真使用时的逼真度。

基于星形桥接拓扑结构多联邦战术训练仿真系统研究与实现

基于HLA技术框架及星形桥接拓扑结构,搭建了海军诸兵种多联邦战术训练仿真系统的体系结构,并采用面向对象的建模与仿真方法,提出了系统公共参考FOM模型的设计思路,定义了实体类、交互类,有效规范并减少了系统间网络传输的数据流量。最后,给出了系统仿真实现的流程图和实现后的效果。实践证明,使用HLA仿真框架实现的海军诸兵种多联邦战术训练仿真系统能够满足当前海军战术训练的需求。

HLA桥接多联邦系统中时空一致性问题研究

针对HLA桥接多联邦系统,提出其时空一致性问题研究。将桥接转发的数据划分为3种数据类型,定义相应的实体类和交互类,给出3种处理方法,其中,延时补偿法解决实体属性更新时的延时,平移命中点法处理精确制导武器爆炸交互时的延时,回滚法面向非精确制导武器爆炸交互时的延时。实验结果表明,该方法可满足桥接多联邦系统中的时空一致性。

航路规划中数字地图单元格代价计算模型研究

为了解决航路规划中使用的原始数字地图信息量不够全面的问题,结合反舰导弹航路规划的实际作战背景,建立了数字地图单元格代价计算的数学模型。该模型包含了地形高程代价、威胁危险代价、战略回避代价和搜索区目标存在代价等基本模型。通过该模型可以将原始数字地图转化为包含各种相关航路规划主客观信息的综合数字地图。

航路规划中大地主题解算的简化方法

介绍了大地主题解算的精确公式:Bowring公式,给出了三种大地主题解算的简化方法,包括:椭球体到圆球体、椭球面到圆球面以及椭球面到平面的简化方法,并分析了各种简化方法的误差大小。

基于HLA的一体化战术训练仿真系统综合态势显示研究

态势显示系统是模拟仿真系统的重要组成部分之一。在HLA的基础上,针对海军诸兵种一体化战术训练仿真系统的仿真数据的特殊性以及综合态势显示需求,设计了适时在线显示与数据记录回放显示一体化的态势显示整体框架,详细介绍了各组成模块的功能,并对战场态势的数据进行了分析,最后进行了仿真实验。实践证明,该系统在实际应用过程中具有很好的态势显示效果。

航路规划算法中的航程简化模型

提出了一种新的航程简化模型,并给出了该航程简化模型的实现算法.该模型主要用于简化反舰导弹超视距攻击火控模型中航路规划任务的计算.

综合战场态势仿真系统设计与实现

为了满足海军诸兵种一体化作战模拟系统从整体上展现综合战场态势的需求,基于高层体系结构(HLA)技术,提出了综合战场态势仿真系统的设计方案,分析了系统所需的功能,阐述了系统实现时所涉及的5个关键技术,重点解决了在态势中如何显示矢量军标的难题,并优化了数据更新流程及态势显示处理方法,极大地提高了态势显示刷新的速度与效率,最后用仿真实验验证了该设计方案的可行性与合理性。

舰载直升机兵力使用方案优化建模与仿真

依据舰载直升机兵力使用计划活动的思维机制,分析了计划活动中所涉及的各种主要因素,采用定量与定性分析相结合的方法,建立了兵力使用方案优化的益损值模型,并以舰载直升机反潜作战样式为例,采用软件编程方式实现了该模型,实例表明该方法可为决策者做出科学、有效的决策提供支持。

基于滚动时域优化的机场起降动态调度

为了减少作战时军用飞机实际起降时刻与计划起降时刻产生的偏差,提出一种基于滚动时域优化原理的动态机场起降调度策略,分析军用飞机起降过程中的时间窗口约束和尾流间隔约束。对进入每个预测窗口内的飞机队列,以加权提前/延误时间和最小作为目标函数,将军用飞机起降调度模型转换为带到达时间的单机加权E/T调度模型。设计一种针对自然数域的离散粒子群算法,并应用该算法进行模型求解。通过仿真实验确定了算法的参数,仿真结果说明了模型和算法的有效性。

基于Terra Vista构建三维虚拟场景研究

作为虚拟现实的基础,三维虚拟场景建模与仿真技术受到越来越多的重视,并得到了广泛的应用。本文对基于Terra Vista软件构建三维虚拟场景的方法进行了研究。首先,阐述了Terra Vista在虚拟场景建模方面的强大特性以及Creator在三维建模方面的独特品质。然后,利用准备好的数据,具体说明了在Terra Vista中构建三维虚拟场景的流程。最后,实例验证了基于Terra Vista构建三维虚拟场景的有效性。

基于能量元的浮动阈值小波降噪方法研究

根据声音信号在陀螺电机不同运行阶段能量变化情况,将声音信号能量元的概念以及多尺度变化阈值的思想结合,研究了一种基于能量元的多尺度浮动阈值陀螺电机声音信号小波降噪方法。经实测数据验证试验表明,该方法取得了比较好的去噪效果。

国外陆空两栖平台发展研究

论文介绍了一种新型陆空两栖平台,解析了其发展历程和技术特点,分析了其对部队作战能力的影响。

基于SpeedTree工具的三维真实感树木建模研究

论文对SpeedTree建模软件进行了研究,分析了软件的基本构成、主要技术特性和树木建模的具体方法。依据建模原理,对树木整体骨架、主干、分枝、叶片等属性进行编辑设置,同时加入LOD、光照和风力效果,最后将创建好的树木模型加入到三维地形中,结果表明,创建的树木模型具有真实度高、动感效果好、操作简便的特点。