基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络(CNN)结合端口注意力模块(PAM)和通道空间注意力模块(CBAM)的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。

基于卷积神经网络与通道和空间注意力机制的房颤预测模型研究

目的采用人工智能技术提出一种模型,以对房颤进行早期预防和诊断。方法提出一种基于卷积神经网络(convolutional neural network,CNN)与通道和空间注意力机制(convolutional block attention module,CBAM)的模型用于对房颤的诊断与预测。结果根据长期心房颤动数据库、MIT-BIH心房颤动数据库和MIT-BIH正常窦性心律数据库的数据,提出的模型在全盲的情况下总体准确率达94.2%。结论提出的模型满足了医学心电图解释的需要,为房颤的预测研究提供了新思路。

基于高效通道注意力的多阶段图像去雨网络

针对现有图像去雨算法不能更好地保留图像背景细节的问题,提出一种基于高效通道注意力的多阶段图像去雨网络。首先,网络使用3×3卷积提取雨图的浅层特征并传递给高效通道注意力模块,为不同的特征通道分配不同的权重;然后,传递给3个并行阶段,在前2个阶段中,使用编码-解码器进行多尺度特征提取,减少雨纹信息丢失,其中使用Transformer模块抑制无用信息传递;最后,在第3个阶段使用初始分辨率模块代替编码-解码器,从而保留输出图像的精细特征。实验结果表明,所提算法在Rain800、Rain12、Rain100L和Rain100H公开测试集上的结构相似性分别为0.830、0.968、0.960和0.944,峰值信噪比分别为27.33 dB、35.27 dB、36.79 dB和28.94 dB。所提算法相比于经典和新颖的图像去雨算法,在去除雨纹和恢复背景细节上具有更好的效果。

基于双向LSTM的双任务学习残差通道注意力机制手写签名认证

随着人工智能深度学习的发展,网络模型对于在线签名认证系统(Online Signature Verification, OSV)的性能有了显著的提升。然而,如何进一步提高在线手写签名认证的准确性仍然是一个需要解决的问题。为此,本文提出了一种基于双向LSTM的双任务学习残差通道注意力机制网络模型,用于改进手写签名认证。该模型使用残差通道注意力机制来学习序列特征的权重以便解决不同通道的权重分配问题,双向长短期记忆网络来缓解在深度神经网络中增加深度时可能带来的梯度消失和梯度爆炸问题。此外,引入多任务学习,包括有监督学习和深度度量学习,以更好地进行特征学习。最终,本文提出了一种基于多任务学习的训练方法,使得OSV系统的准确性进一步提高。所提出的方法在SVC-2004数据集中取得了2.33%的等错误率和97.03%的准确率。实验结果表明,所提出的方法能够有效地提高OSV系统的身份验证准确性。

基于多组多分辨率特征和小波通道注意力的环境声音分类

针对目前环境声音分类(Environmental Sound Classification, ESC)方法对音频特征提取中反映的时频维度信息不足的问题,提出基于多组多分辨率特征和小波通道注意力的分类方法。采用多组多分辨率特征组成的多特征作为网络输入,通过多组滤波器,多个频率分辨率,在时间和频率维度上实现数据增强,同时实现信息互补。为了更好地衡量各个通道的重要性,针对一维音频图像特征设计了小波通道注意力模块,采用离散小波变换(Discrete Wavelet Transform, DWT)将信号的低频子带和高频子带有效结合,得到通道标量,利用Gram-Schmidt正交化方法使网络在信道注意压缩阶段提取的信息多样化,利用长短期记忆(Long Short Term Memory, LSTM)网络长时间保存信息,提高学习的长期可靠性。实验结果表明,在ESC-10和ESC-50数据集上的分类准确度分别达到了98.7%和93.6%,取得了较好的效果,为音频特征处理提供了一种新的研究思路。

引入级联通道注意力的轻量化人体姿态估计

针对当前人体姿态估计模型在轻量化过程中精度损失严重的问题,以高分辨率网络(HRNet)为基线提出一种引入级联通道注意力的轻量化人体姿态估计模型。构建一种保持内部高分辨率特征的级联通道注意力,学习输入特征各通道的重要性来提高模型表征能力;通过设计一种基于MetaFormer结构的轻量级深度卷积变换模块来替换HRNet阶段2、3、4中运算复杂度较高的残差模块;设计一种多尺度特征融合方法减少HRNet原融合方法中的多维特征语义信息损失;采用无偏数据处理来消除关键点热力图编码过程中导致的偏移误差。COCO2017验证集的实验结果表明,所提出的模型同基准模型相比,在AP降低2个百分点的情况下,模型参数量和浮点运算量分别减少了90.2%和83.1%,并且以AP为71.4%的表现在轻量化模型中达到精度最优。

应用小波通道注意力网络的地震数据重建方法

重建缺失的地震道是地震数据处理的关键环节之一。近年来提出了多种基于深度学习理论的地震数据重建方法。然而,这些方法中常用的卷积运算只能捕捉到地震数据的局部特征,没有充分利用全局信息。另外,池化操作也会造成特征图信息的丢失,从而破坏地震反射的细节特征。为此,提出了基于小波通道注意力网络的地震数据重建方法。哈尔(Haar)小波变换能够有效提取信号的多尺度特征,并在上采样过程中避免信息的丢失;高效通道注意力模块通过对不同通道特征图之间的相关性进行建模,能实现全局信息的充分利用。合成和实际地震数据的实验结果表明,与具有代表性的深度学习方法相比,文中所提出的网络模型可以产生更准确的重建结果。

结合MGCC特征与多尺度通道注意力的环境声深度学习分类方法

环境声分类技术在家居安全监测、人机语声交互等领域具有关键作用。然而,声源的多样性与混合性给环境声分类方法设计带来了重大挑战。为提高分类准确率与节约计算资源,该文提出一种基于多尺度通道注意力机制的深度学习分类模型。所提模型由特征提取模块、多尺度卷积模块、高效通道注意力模块、输出层四部分组成。首先,通过引入加权型梅尔Gammatone频率倒谱系数(MGCC)挖掘环境声频谱幅值与相位结构信息;其次,融合多尺度卷积核与高效通道注意力机制优选出声频关键局部细节和通道特征;最后,在全连接层采用softmax函数映射特征并输出环境声类型的概率值。所提模型在6种环境声的iFLYTEK、10种环境声的Urbansound8k数据集上开展测试验证,分别取得了94%、76.52%、79.24%(iFLYTEK+Urbansound8k)的分类准确率。消融实验结果进一步表明:引入的多尺度卷积模块、通道注意力机制模块对分类准确率的提升贡献率分别接近于3.77%和1.89%。实验还详细对比了7种现有的深度学习分类方法,所提算法在分类准确率上排名第二;另外,在同级别算法中如ResNet18、GoogLeNet,所提算法在模型参数量和计算复杂度方面上实现了进一步的约减。

全局通道注意力增强的毫米波图像目标检测

针对主动毫米波图像中目标与背景纹理区分度较低导致隐匿目标漏检问题,并根据安检实时性要求,提出一种基于全局通道注意力增强的主动毫米波图像目标检测方法。该方法以YOLOv5s为载体,在坐标注意力位置方向上引入全局通道注意模块,增强对隐匿目标全局通道信息的关注,从而提升在隐匿目标与背景纹理区分度较低时的检测能力;再利用K-means++聚类算法重新生成适合毫米波图像目标检测的锚框。实验结果表明,无论是阵列图像数据集还是线扫图像数据集,该方法增强了对隐匿目标的特征注意,提高了召回率,在满足安检实时性的前提下,提升了检测性能。通过增加少量参数,在阵列图像数据集上,精度、召回率和mAP@.5达到了92.0%、90.93%和95.32%;在线扫图像数据集上,精度、召回率和mAP@.5达到了94.65%、92.67%和97.73%。平均单张图像推理时间在两个数据集上均达到1 ms,满足实时性要求。

基于高效通道注意力机制和特征融合网络的冠心病诊断算法研究

针对冠心病重要特征不确定、诊断模型预测性能低等因素而导致冠心病早期诊断精度低的问题,提出一种基于高效通道注意力机制和特征融合的网络。通过XGBoost(eXtreme Gradient Boosting)来确定冠心病重要特征,设计数据生成图片的特征组合算法以适用该模型;为提高诊断模型预测性能,采用可以提升模型学习能力和特征利用率的高效通道注意力机制模块和特征融合模块。实验结果表明,在UCI克利夫兰心脏病数据集上,与其他诊断算法相比,该算法优于传统机器学习方法,预测精度可达100%且稳定性好。

DMANet:针对空间非合作目标位姿估计的密集多尺度注意力网络

利用单目相机对空间非合作目标进行准确的姿态估计对于空间碎片清除、自主交会和其他在轨服务至关重要。然而,单目姿态估计方法缺乏深度信息,导致尺度不确定性问题,大大降低了其精度和实时性。本文首先提出了一种多尺度注意块(Multi-scale attention block, MAB),从输入图像中提取复杂的高维语义特征。其次,基于MAB模块,提出了空间非合作目标6自由度位姿估计的密集多尺度注意网络(Dense multi-scale attention network, DMANet),该网络由平面位置估计、深度位置估计和姿态估计3个分支组成,通过引入基于欧拉角的软分类方法,将位姿回归问题表述为经典分类问题。此外,设计了空间非合作目标模型,并利用Coppeliasim构建了姿态估计数据集。最后,与其他最先进的方法相比,在SPEED+、URSO数据集和本文数据集上全面评估了所提出的方法。实验结果表明,该方法具有较好的姿态估计精度。

CINO双通道结合多头注意力机制藏文情感分类方法

为了解决藏文情感分类任务中现有的模型对文本语义信息理解和深层文本特征提取能力不足的问题,该文使用CINO(Chinese Minority PLM)预训练模型来获取动态词向量,通过TextCNN和BiGRU融合的双通道情感分类模型,分别实现获取文本局部特征和深层全局特征,并引入多头自注意力机制引导模型学习更重要的信息。实验结果表明,该文提出的双通道模型准确率高达92.84%,相较于该文的其他对比模型效果更佳。

基于多尺度频率通道注意力融合的声纹库构建方法

为解决声纹识别准确性易受外部因素影响的问题,提出一种基于多尺度频率通道注意力融合时延神经网络(MFCA-TDNN)模型的声纹识别算法。MFCA-TDNN在ECAPA-TDNN(Emphasized Channel Attention Propagation Aggregation Time Delay Neural Network)的基础上作了3点改进,包括:加入了多尺度频率通道注意力前端以从话语中获得高分辨率的特征表示、添加了多尺度通道注意力模块结合局部和全局的特征以融合多尺度信息、嵌入了特征注意力融合模块为多尺度的融合特征加权。这些改进使模型更好地利用多尺度的时频信息,提高识别能力。实验结果表明,与ECAPA-TDNN模型相比,MFCA-TDNN模型等错误率(EER)和最小检测代价函数(minDCF)分别下降5.9%和7.9%;最低的EER可达到3.83%,最低的minDCF可达到0.2202。

融合空洞空间金字塔池化和注意力的轻量化遥感影像道路提取

针对高分辨率遥感影像中道路形状结构错综复杂,出现窄小型道路提取错误或漏分的问题,提出一种基于空洞空间金字塔池化和注意力机制的轻量化遥感影像道路提取方法。首先,在原始高分辨率网络(HRNet)基础上,通过引入空洞空间金字塔池化模块,实现多尺度道路信息融合;再引入挤压激励通道注意力机制,增强网络特征表征质量;最后使用深度可分离卷积方法改进网络残差模块实现模型轻量化,以降低模型计算复杂度。在公开数据集上进行了模型性能测试,实验结果表明,文章所提算法的准确率、精确率、召回率、F1分数和平均交并比,相比原始HRNet分别提升了5.35%、2.15%、4.1%、3.15%和14.34%,且减少了36.1%的参数数量;相比其他网络,该算法突出了细小道路的特征,道路预测结果连续性、完整性好,并且模型小易于部署在实时检测设备中,有效改善了道路提取任务中错分和缺失的情况,是一种适应性更强、分割精度更高、更轻量化的多尺度道路提取算法。

基于空间金字塔注意力机制残差网络的高光谱图像分类

为了提取高光谱图像的空间-光谱联合特征,本文提出了一种基于改进的空间金字塔注意力机制残差网络的高光谱图像分类模型。首先采用主成分分析法去除光谱冗余,结合空间金字塔注意力机制,改进残差网络的高光谱图像分类模型获取精细化特征。然后利用空间金字塔注意力模型实现多尺度联合特征关注,提升对联合特征的敏感性,并有效地强调并聚焦空间和光谱信息,实现信息交互。最后经过Softmax分类器获得分类标签。本文提出的方法在MUUFL和Tento数据集上进行了实验,结果表明,本文算法的总体分类精度分别达到了94.08%和98.32%。相比于其他高光谱分类模型,本文模型的收敛速度较快,在分类性能上取得了明显的提升,获得了更高的地物分类精度。

多粒度空间注意力与空间先验监督的DETR

近年来,Transformer在视觉领域的表现卓越,由于其优秀的全局建模能力以及可媲美CNN的性能表现受到了广泛关注。DETR(Detection Transformer)是在其基础上研究的首个在目标检测任务上采用Transformer架构的端到端网络,但是其全局范围内的等价建模以及目标查询键的无差别性导致其训练收敛缓慢,且性能表现欠佳。针对上述问题,利用多粒度的注意力机制替换DETR的encoder中的自注意力以及decoder中的交叉注意力,在距离近的token之间使用细粒度,在距离远的token之间使用粗粒度,增强其建模能力;并在decoder中的交叉注意力中引入空间先验限制对网络训练进行监督,使其训练收敛速度得以加快。实验结果表明,在引入多粒度的注意力机制和空间先验监督后,相较于未改进的DETR,所提改进模型在PASCAL VOC2012数据集上的识别准确度提升了16%,收敛速度快了2倍。

MEC-Net:基于运动捕捉和通道注意力的行为识别方法

针对视频行为识别过程中面临的特征信息利用不充分、计算量过大的问题,提出一种基于运动捕捉和通道注意力的行为识别模型。模型利用卷积和池化层提高关键特征的利用率,利用空间通道注意力模块在通道维度利用自适应学习参数聚合信息,降低背景冗余信息的影响,引入时空注意力机制融合特征信息获得分类结果。所提模型在公开数据集UCF101、Kinetics-400以及HMDB51上分别获得了94.5%、80.2%和61.9%的精确度,对比其它模型具有更加精准的识别结果以及更少的计算量,验证了模型的有效性。

结合贝叶斯优化及通道注意力的双端优化时序式风功率预测模型

针对现有风功率时序预测模型数据端缺少参数优化以及模型端缺少结构优化的问题,提出一种双端优化时序式风功率预测模型。首先,利用贝叶斯优化对数据端参数进行高效搜索寻优;然后,利用通道注意力和卷积神经网络构建特征提取模块,增强模型对输入影响因素重要性的学习;最后,利用双向长短期记忆模型对先前提取的特征进行精准拟合。研究结果表明,所提出模型在各预测场景下均能很好地把握风功率变化趋势,显著提升了预测精度。

基于时空注意力的空间关联三维形貌重建

聚焦形貌恢复通过对场景深度和散焦模糊之间的潜在关系进行建模实现三维形貌重建。但现有的三维形貌重建网络无法有效利用图像序列的时序关联进行表征学习,因此,提出一种基于多景深图像序列空间关联特征的深度网络框架——三维空间相关水平分析模型(3D SCHAM)进行三维形貌重建。该模型不仅可以精确捕获单帧图像中聚焦区域到离焦区域的边缘特征,而且可有效利用不同图像帧之间的空间依赖性特征。首先,通过构建深度、宽度和感受野复合扩展的网络构造三维形貌重建的时域连续模型,进而确定单点深度结果;其次,引入基于空间关联的注意力模块,充分学习帧与帧间的“邻接性”与“距离性”空间依赖关系;另外,利用残差反转瓶颈进行重采样,以保持跨尺度的语义丰富性。在DDFF 12-Scene真实场景数据集上的实验结果显示,相较于DfFintheWild模型,3D SCHAM在深度值准确度度量的3个阈值1.25,1.25^(2),1.25^(3)上的精确度分别提升了15.34%、3.62%、0.86%,验证了该模型在真实场景的鲁棒性。

基于梯度可感知通道注意力模块的红外小目标检测前去噪网络

红外图像去噪在军事及民用领域应用广泛。现有基于深度学习的图像去噪方法主要为可见光图像设计,此类方法容易过度平滑图像细节,从而导致弱小目标丢失,为后续的检测任务带来困难。为了在去除噪声的同时保留好红外图像中的目标信息,本文提出了一种基于梯度可感知通道注意力模块的红外弱小目标检测前去噪网络。该网络首先采用编码器-解码器结构来去除图像中的加性噪声,然后通过梯度可感知通道注意力模块对图像高频区域进行自适应增强,有效保持红外弱小目标的响应强度。此外,本文提出了领域第一个包含3981张含噪声的红外图像数据集。实验结果表明,该网络能够在有效去除加性噪声的同时避免过度平滑,很好地保留了红外图像中的目标信息,最终实现了在含噪声环境下的高鲁棒性红外弱小目标检测。