基于两阶段注意力层Transformer的弹道目标多站融合识别

多站弹道目标融合识别旨在利用多个雷达站点信息的互补性提升弹道目标识别性能,而传统多站下弹道目标识别方法未直接考虑多站数据间的关联特性,难以取得准确、稳健的识别性能。针对多站下基于雷达散射截面积(RCS)高速飞行目标的识别问题,提出了一种基于两阶段注意力的弹道目标多站融合识别方法。首先,在现有的Transformer模型上添加维度分段模块将多站雷达数据嵌入于二维向量中,保留站内数据时序及站间关联信息;然后,添加了两阶段注意力层,有效地捕获站内时序信息及跨站维度的依赖关系;最后,基于仿真动态RCS数据模拟多站场景开展了融合识别实验。实验结果表明该方法能够有效提升多站条件下的弹道目标识别性能。

融合语义信息与问题关键信息的多阶段注意力答案选取模型

自动问答系统可以帮助人们快速从海量文本中提取出有效信息,而答案选取作为其中的关键一步,在很大程度上影响着自动问答系统的性能.针对现有答案选择模型中答案关键信息捕获不准确的问题,本文提出了一种融合语义信息与问题关键信息的多阶段注意力答案选取模型.该方法首先利用双向LSTM模型分别对问题和候选答案进行语义表示;然后采用问题的关键信息,包括问题类型和问题中心词,利用注意力机制对候选答案集合进行信息增强,筛选Top K个候选答案;然后采用问题的语义信息,再次利用注意力机制对Top K个候选答案集合进行信息增强,筛选出最佳答案.通过分阶段地将问题的关键信息和语义信息与候选答案的语义表示相结合,有效提高了对候选答案关键信息的捕获能力,从而提升了答案选取系统的性能.在三个数据集上对本文所提出的模型进行验证,相较已知同类最好模型,最高性能提升达1.95%.

融合局部特征与两阶段注意力权重学习的面部表情识别

面部的局部细节信息在面部表情识别中扮演重要角色,然而现有的方法大多只关注面部表情的高层语义信息而忽略了局部面部区域的细粒度信息。针对这一问题,提出一种融合局部特征与两阶段注意力权重学习的深度卷积神经网络FLF-TAWL(deep convolutional neural network fusing local feature and two-stage attention weight learning),它能自适应地捕捉重要的面部区域从而提升面部表情识别的有效性。该FLF-TAWL由双分支框架构成,一个分支从图像块中提取局部特征,另一个分支从整个表情图像中提取全局特征。首先提出了两阶段注意力权重学习策略,第一阶段粗略学习全局和局部特征的重要性权重,第二阶段进一步细化注意力权重,并将局部和全局特征进行融合;其次,采用一种区域偏向损失函数鼓励最重要的区域以获得较高的注意力权重。在FERPlus、Cohn-Kanada(CK+)以及JAFFE三个数据集上进行了广泛实验,分别获得90.92%、98.90%、97.39%的准确率,实验结果验证了FLF-TAWL模型的有效性和可行性。

MSAM:针对视频问答的多阶段注意力模型

视频问答(VideoQA)任务需要理解视频和问题中的语义信息生成答案。目前,基于注意力模型的VideoQA方法很难完全理解和准确定位与问题相关的视频信息。为解决上述问题,提出一种基于注意力机制的多阶段注意力模型网络(MSAMN)。该网络将视频、音频以及文本等多模态特征输入到多阶段注意力模型(MSAM)中,通过逐阶段的定位方式精准找到与回答问题相关的视频信息,用于答案生成。为了提高特征融合的有效性,提出一种三模态压缩级联双线性(TCCB)算法计算不同模态特征之间的相关性。MASMN在ZJL数据集上进行实验,平均准确率均为54.3%,比传统方法提高了近15%,比现有方法提高了近7%。

基于多阶段注意力机制的多种导航传感器故障识别研究

导航传感器在使用过程中容易发生故障,针对传统方法对其间歇性和渐变性故障识别率低的问题提出了一种基于多阶段注意力机制的多传感器故障识别算法.该算法采用基于长短期记忆神经网络和注意力机制的编码器-解码器结构,根据多类导航传感器数据之间的空间相关性和时间相关性来进行多传感器的故障互判.经验证,该算法对多种类传感器的故障识别率高达97.5%,可以高效地实现故障的检测和分类.该方法可以准确识别出故障传感器和故障类型,具有很强的工程应用价值.

基于改进双阶段注意力机制的降水智能预报

为提高现有时间序列算法降水预报的准确率,本文提出一种基于改进双阶段注意力机制的时间序列降水预报模型(DeepAMogLSTM).该算法分为两部分,在输入注意力机制中,使用三层注意力机制对输入序列进行多重关注,选择稳定的输入特征;在时间注意力中,通过选择与目标值最相关的隐层状态,捕获时间序列的长期相关性.算法同时引入形变长短时记忆网络(Mogrifier LSTM),增强模型特征表示能力.模型使用2016-2019年预处理的自动站点特征数据和欧洲中期天气预报中心(ECMWF)气象场模式资料进行集成预报,并利用同期实况观测资料进行模式预报订正.实验结果表明:该模型在时效为2 h的降水预报中,各项数值评价指标均有改善,其中均方根误差为1.877 mm,平均绝对误差为0.727 mm,拟合优度(R^(2))为0.783;同时与其他模型预报订正效果相比,该模型较好地拟合了实际降水空间分布.

基于多阶段注意力机制的建筑空调负荷预测方法

建筑空调负荷预测对于提升建筑用电负荷和区域配电网电力负荷预测的准确性具有重要意义。为了提高建筑空调负荷预测的准确性,提出一种基于多阶段注意力机制的建筑空调负荷预测方法。首先,构建影响因素注意力模块,以充分考虑不同影响因素对于建筑空调负荷预测的重要性差异;然后,采用长短期记忆神经网络模型提取各个时刻影响因素的隐含特征;最后,构建时间注意力模块,将不同时刻的影响因素隐含特征根据建筑空调负荷预测的重要性加以区分,以求得最终的空调负荷预测结果。算例结果表明,影响因素注意力模块和时间注意力模块的构建,都有利于提高模型对建筑空调负荷的拟合能力,从而有效提升建筑空调负荷预测的准确性。

老年人情绪注意积极效应的发生机制

20世纪,许多心理学家从“厄运与苦难”视角研究人晚年遭遇的身体、认知和情绪衰老,但是近年的理论与实证研究从“老化悖论”——老年人情绪加工的积极效应——视角挑战这一“定论”。积极效应指老年人认知加工过程中比年轻人更偏好正性而非负性材料的现象。第二代社会情绪选择理论包括积极效应理论、认知控制假说和强弱整合模型3个关于认知和情绪功能年龄差异的理论模型,特别强调了认知控制在老年人积极情绪加工中的潜在作用,而自动化加工与控制性加工的区分则取决于注意资源配置。因此,认知控制在老年人对积极情绪的注意加工中起重要作用。此外,注意偏向的时间进程也是影响老年人情绪注意中积极效应的关键因素。最后,综合以往研究构建出认知控制对老年人积极效应发生作用的注意阶段模型。未来研究可从中国老年人情绪注意加工模式、不同认知控制子成分的作用机制、提高研究生态学效度和注意的治疗品质几个方面继续探索。

基于样本特征强化的APT攻击多阶段检测方法

针对高级持续性威胁(APT)攻击检测方法普遍缺乏对APT攻击多阶段流量特征多样性的感知,对持续时间较长的APT攻击序列检测效果不佳且难以检测处于不同攻击阶段的多类潜在APT攻击等不足,提出一种基于样本特征强化的APT攻击多阶段检测方法。首先,根据APT攻击特点,将恶意流量划分至不同攻击阶段并构建APT攻击标识序列。其次,通过序列生成对抗网络模拟生成APT攻击多个阶段的标识序列,增加不同阶段序列样本数量实现样本特征强化并提高多阶段样本特征的多样性。最后,提出一种多阶段检测网络模型,基于多阶段感知注意力机制对提取的多阶段流量特征与标识序列进行注意力计算,得到阶段特征向量,并作为辅助信息与标识序列进行拼接操作,增强检测模型对不同阶段感知能力并提高检测精度。实验结果表明,所提方法在2个基准数据集上均有良好的检测效果,对多类潜在APT攻击的检测效果优于其他模型。

应用特征整合理论优化基于图像符号的信息可视化设计

特征整合理论是视觉注意方面最有影响力的重要理论之一,为优化视觉沟通提供了理论基础.文中提出应用玫瑰曲线设计花形图像符号的方法,利用用户在前注意阶段的自动的、无意识的加工过程,引导用户觉察到目标信息,从而优化用户对信息可视化设计的视觉搜索过程.文中提出的图像符号在信息可视化的应用中能够映射6个变量,变量特征容易识别,并且便于表现2个变量间的比例关系.通过对2008年美国教育经费投入的案例研究,实践了基于明确信息搜索目标的信息可视化设计和探索性的信息可视化设计;通过眼动实验测试用户的首次注视时间和5 s的注视时间,探索了用户优先处理的视觉对象,提出了运用花形图像符号控制符号视觉特征相似性以优化用户视觉体验的方法.

基于EMD-DA-RNN的边坡位移预测

我国滑坡灾害高发,每年造成了巨大的人员伤亡和经济损失。依托信息技术尤其是物联网技术、人工智能等技术,滑坡的监测预警逐渐自动化、智能化,各种滑坡监测预警系统层出不穷,滑坡监测的数据量、预警的即时性都得到了极大的提升。采用深度学习技术的理论方法,充分利用监测系统获得的数据开展数据挖掘,利用已有的监测数据和各类信息预测滑坡未来一段时间的演化行为,最终实现对滑坡的安全评价。可及时提出滑坡的预防与处置方案,从而保障滑坡影响区域的人类活动。

对公共媒体信息的加工偏向:内外群体属性的调节作用

本研究采用两个实验在公共媒体信息背景下考察人们对不同效价新闻的加工偏向,以及新闻群体属性在加工偏向中的调节作用。实验1、2均以不同效价的内外群体的真实新闻为实验材料,实验1采用选择接触范式,从行为选择层面间接考察被试阅览不同新闻时的注意选择偏向;实验2采用点探测范式,增加两种SOA(200ms/500ms)条件,进一步直接地揭示被试加工新闻信息时的注意偏向特点。结果表明,实验1中被试倾向加工积极的内群体新闻以及消极的外群体新闻;同样,在实验2的注意后期,也发现人们对内群体新闻的积极注意偏向,与对外群体新闻的消极注意偏向,而在注意早期,人们对积极新闻存在注意偏向,且不受群体属性影响。结果符合社会认知加工的内群体偏好与外群体贬低偏向。

基于注意力机制的多分支特征级联图像去雨网络

针对已有去雨网络在不同环境中去雨不彻底和图像细节信息损失严重的问题,本文提出一种基于注意力机制的多分支特征级联图像去雨网络。该模型结合多种注意力机制,形成不同类型的多分支网络,将图像空间细节和上下文特征信息在整体网络中自下而上地进行传递并级联融合,同时在网络分支间构建的阶段注意融合机制,可以减少特征提取过程中图像信息的损失,更大限度地保留特征信息,使图像去雨任务更加高效。实验结果表明,本文算法的客观评价指标优于其他对比算法,主观视觉效果得以有效提升,去雨能力更强,准确性更加突出,能够去除不同密度的雨纹,并且能够更好地保留图像背景中的细节信息。

基于DAM和CNN-LSTM的辅助动力装置性能参数预测模型

针对辅助动力装置(APU,auxiliary power unit)性能参数难以准确预测的问题,提出一种基于特征与时序的双阶段注意力机制(DAM,dual-stage attention mechanism)和卷积神经网络(CNN)-长短期记忆网络(LSTM)的混合模型;所提的方法在特征提取阶段加入了通道注意力机制(CAM,channel attention mechanism);输出阶段加入了时序注意力机制(TAM,temporal attention mechanism),加强了CNN对重要特征的提取能力和历史关键信息对预测输出的影响,并利用改进的粒子群算法对模型关键参数寻优,提高预测精度;实验结果表明,所提出的新方法在多变量输入和多步长的APU排气温度(EGT,exhaust gas temperature)预测中均取得了很好的效果,预测精度大幅提高。

基于腕部穿戴传感器移位的行为识别补偿研究

穿戴人体行为识别的研究结果通常基于设定好的穿戴位置.而传感器移位因为佩戴松动或佩戴习惯不同等问题普遍存在.若不对移位进行相应补偿,行为模型的识别率可能明显下降.文章针对腕部传感器移位问题,建立腕部传感器移位数据集,构建多阶段注意力识别模型,提出局部穿戴位置数据混合补偿和跨位置微调迁移补偿2种方案.实验结果表明2种补偿方法都不同程度地改善了传感器移位对行为识别率的影响,降低了模型训练成本.

基于GAN网络的时间序列预测算法

针对双阶段注意力自编码神经网络(DA-RNN)时间序列预测算法对随机数据预测效果较差和长时间预测中存在的累积误差问题进行改进,设计了一种基于生成式对抗网络(GAN)的时间序列预测算法。该算法以DA-RNN网络为生成网络,利用生成网络和判别网络之间的互补特性,消除DA-RNN网络对于长时间预测过程中存在的累积误差问题;引入多维注意力模型改进DA-RNN网络,并利用稀疏映射函数改进多维注意力模型;改进网络优化目标,通过探索目标序列在不同分位数下分布的形式,提升网络对于随机数据的预测精度。通过在公开数据集上测试,对算法的的准确性和有效性进行验证,结果表明:本文算法与DA-RNN算法相比,累积误差有明显降低,且对于随机数据的预测精度有显著提高。

基于DAM与CNN-LSTM-XGBoost的海上风电功率并行预测

为解决单一模型预测海上风电场的风电功率并行效果不稳定、初始参数过分敏感的问题,提出一种基于双阶段注意力机制(DAM)与CNN-LSTM-XGBoost的融合模型。首先,建立一个包含双阶段注意力机制的DAM-CNNLSTM模型。然后,利用贝叶斯对XGBoost模型超参数进行寻优。最后,基于模型权重分配原理对各模型预测结果进行加权组合,得到最终预测结果。实验表明,所提模型预测准确率相较于传统模型显著增加,MAPE降低至0.26%,RMSE、R2、MAE分别为156.75、0.988、87.47,以期为海上风电功率并行预测提供参考与借鉴。

基于增强多尺度特征网络的图像去模糊

现有的多尺度多阶段图像去模糊方法存在多尺度图像特征提取利用不充分和阶段加深导致特征信息丢失的问题。针对上述问题,提出了一种基于增强多尺度特征网络的图像去模糊方法。首先,提出一个多尺度残差特征提取模块,在两个分支中使用不同大小的卷积核扩大感受野,充分提取不同分辨率大小图像的特征信息。其次,提出跨阶段注意力模块,过滤和传递图像的关键特征。最后,设计类似于跳跃连接的跨阶段特征融合模块,弥补特征损失,同时融合来自不同大小输入图像的特征信息,丰富空间特征信息,以更好地处理纹理细节。在GoPro和HIDE数据集上的实验结果表明,所提方法能够很好地重建图像。