稀疏奖励下基于课程学习的无人机空战仿真

针对传统强化学习在空战环境下探索能力差和奖励稀疏的问题,提出了一种基于课程学习的分布式近端策略优化(curriculum learning distributed proximal policy optimization,CLDPPO)强化学习算法。嵌入包含专家经验知识的奖励函数,设计了离散化的动作空间,构建了局部观测与全局观测分离的演员评论家网络。通过为无人机制定进攻、防御以及综合课程,让无人机从基本课程由浅入深开始学习作战技能,阶段性提升无人机作战能力。实验结果表明:以课程学习方式训练的无人机能以一定的优势击败专家系统和主流强化学习算法,同时具有空战战术的自我学习能力,有效改善稀疏奖励的问题。

基于LSTM–PPO算法的多机空战智能决策及目标分配

针对传统多机空战中智能决效率低、难以满足复杂空战环境的需求以及目标分配不合理等问题.本文提出一种基于强化学习的多机空战的智能决策及目标分配方法.使用长短期记忆网络(Long short-term memory,LSTM)对状态进行特征提取和态势感知,将归一化和特征融合后的状态信息训练残差网络和价值网络,智能体通过近端优化策略(Proximal policy optimization,PPO)针对当前态势选择最优动作.以威胁评估指标作为分配依据,计算综合威胁度,优先将威胁值最大的战机作为攻击目标.为了验证算法的有效性,在课题组搭建的数字孪生仿真环境中进行4v4多机空战实验.并在相同的实验环境下与其他强化学习主流算法进行比较.实验结果表明,使用LSTM–PPO算法在多机空战中的胜率明显优于其他主流强化学习算法,验证了算法的有效性.

基于卷积神经网络的衣物属性分类方法

针对衣物属性分类的多样性和复杂性,传统算法和并行卷积神经网络难以准确快速地对衣物属性分类,提出了基于卷积神经网络的衣物属性分类方法,从衣物图像不同角度和不同位置特征出发,利用加入了DenseNet网络的模型自动完成特征学习,得到全面的衣物属性分类信息,然后利用cen误差函数优化softmax分类器,提高类间分散性和类内紧密性。结果表明:与并行卷积神经网络和传统算法相比,该网络结构收敛速度更快,在衣物多种属性上分类准确率更高。

基于MRAS的PMSM转速辨识

提出了一种无位置传感器精确辨识永磁同步电机(PMSM)转速的的方法。针对传统机械式位置传感器带来的种种问题,基于MRAS设计了转速辨识器,并利用Popov准则证明了稳定性和收敛性。基于MRAS建立双闭环矢量控制PMSM系统框图,并在MATLAB SIMULINK平台进行仿真。理论分析和仿真结果表明,提出的MRAS能较好地辨识转速,动态响应速度较快,在工业伺服控制及电力拖等PMSM具有一定的工程应用价值。