基于多维度融合注意力的舰船网络异常流量检测

舰船网络通信系统的正常运行是保障舰船安全航行的基础。针对现有舰船网络通信系统访问流量异常检测模型检测精度不高和实时性不强的问题,提出一种基于多维度融合注意力的轻量级舰船网络服务器异常流量检测算法。利用Bidirectional Encoder Representation from Transformers(BERT)作为特征编码器,将捕获的流量数据包映射到深度特征空间;利用深度可分离卷积(Depth-Separable Convolutional, DSC)网络和长短时记忆(Long Short Term Memory, LSTM)神经网络捕获深度编码特征的空间编码特征和时间维度的编码特征;提出一种多维度融合注意力模块,将空间和时间维度的编码特征进行特征融合;利用多维度融合特征进行正常与异常流量的分类。通过在自建的舰船流量异常数据集上进行测试,结果表明所提出模型能够有效检测出舰船网络通信系统的异常访问流量,在保持检测精度的同时,降低了检测时间开销。

基于层内和层间融合注意力的家族恶意域名检测

针对当前家族恶意域名检测方法在新出现或新变种恶意域名的检测方面仍存在精度低、漏报高等问题,提出一种基于层内和层间融合注意力的家族恶意域名检测的新方法。首先,利用深度自编码网络将域名集逐层编码压缩到空间特征中,并借助自注意力机制强化域名字符串中关键字符的表达能力;其次,利用交叉注意力建立双分支网络输入端的关联,促进分支间深层信息的交流;最后,计算待测域名映射特征与交互特征集之间的相似度对比。实验证明所设计方法的准确率为98.21%,该方法对保障网络安全、预防新型域名入侵攻击具有重要的现实意义。

结合对比感知损失和融合注意力的图像去雾模型

基于深度学习的图像去雾方法主要是通过增加网络的深度或宽度来提升算法的性能,但是这样需要更多的计算资源,并且现有的去雾模型仅将无雾图像作为正样本来指导网络的训练,未能充分利用负样本即雾天图像。为了进一步利用雾天图像和无雾图像对之间的特征差异,并且更灵活地处理不同尺度、位置、范围、角度等区域特征,对重要的特征赋予更大的权重,在DehazeFormer-T模型基础上加入对比感知损失和融合注意力机制,提出改进的CFFormer模型。以L1损失函数度量真实图像和预测图像之间的重建损失,采用对比感知损失函数提取固定的预训练网络VGG16的权重,提升对比学习的能力,并将真实无雾图像和雾天图像分别作为正负样本,拉近预测图像和清晰图像,同时推远有雾图像。此外,将尺度注意力、空间注意力和通道注意力进行融合,在特征图的不同维度上分别应用注意力机制,使网络关注更重要的信息。实验结果表明,CFFormer在RESIDE的ITS数据集上PSNR和SSIM指标比DehazeFormer-T分别提高9.4%和0.6%,验证了模型的有效性。

基于融合注意力和任务解耦的路面裂缝检测

针对路面裂缝自动化检测中存在裂缝漏检和定位不准的问题,提出一种路面裂缝实时检测模型CrackNet。基于YOLOv5结构设计,在特征融合网络插入融合注意力模块,重点关注特定通道和空间位置裂缝信息,有效解决部分裂缝漏检问题;在多尺度预测阶段引入任务空间分离头模块,利用分治策略将分类和回归任务解耦,模型优化方向更加自由。实验结果表明,该方法mAP为71%,速度为42 FPS,优于基准模型,有效改善了裂缝漏检和定位不准的问题。

基于融合注意力的交通图像描述方法研究

针对交通监测图像易受到光线变化、天气、路况等因素的影响而出现描述不精确的问题,提出一种基于融合注意力的交通图像描述方法,旨在生成准确描述语句的同时,提升模型对交通名词的描述效果.在模型的生成器中使用残差网络和门控循环单元生成交通图像端对端的描述语句,同时,在生成器和鉴别器中均采用包含局部信息和全局信息的融合注意力机制,以进一步提高特征表示和推理能力.在公共数据集MSCOCO和交通图像数据集上的实验结果表明:相比于其他主流方法,所提出的算法生成的交通图像描述语句更加准确自然.

一种新的基于通道-空间融合注意力及SwinT的细粒度图像分类算法

细粒度图像分类是计算机视觉领域的一大分类任务,其难点在于如何通过类别监督信息自主地找到判别性区域.提出一种新的通道-空间融合注意力模块,基于该模块设计了一种新的Swin Transformer算法SwinT⁃NCSA(a Swin Transformer based on a novel channel⁃spatial attention module),分别从通道维和空间维同时提取特征,再将其融入到Swin Transformer模型中以提高其小尺度中多头注意力信息的提取能力.SwinT⁃NCSA算法特别关注了对分类有用的区域,同时忽视对分类无用的背景区域,以此在细粒度图像分类任务中达到较高的分类准确率.在FGVC Aircraft飞机数据集、CUB-200-2011鸟类数据集和Stanford Cars车类数据集3个公共数据集上的实验表明,SwinT⁃NCSA算法可以分别取得93.3%、88.4%和94.7%的准确率,优于同类算法.

采用标签组合与融合注意力的多标签文本分类

传统的多标签文本分类算法在挖掘标签的关联信息和提取文本与标签之间的判别信息过程中存在不足,由此提出一种基于标签组合的预训练模型与多粒度融合注意力的多标签文本分类算法。通过标签组合的预训练模型训练得到具有标签关联性的文本编码器,使用门控融合策略融合预训练语言模型和词向量得到词嵌入表示,送入预训练编码器中生成基于标签语义的文本表征。通过自注意力和多层空洞卷积增强的标签注意力分别得到全局信息和细粒度语义信息,自适应融合后输入到多层感知机进行多标签预测。在特定威胁识别数据集和两个通用多标签文本分类数据集上的实验结果表明,提出的方法在能够有效捕捉标签与文本之间的关联信息,并在F1值、汉明损失和召回率上均取得了明显提升。

融合注意力和多尺度特征的典型水面小目标检测

为解决多场景复杂海况背景水面小目标检测存在的可利用特征少、纹理信息弱等问题,提升无人艇的环境感知能力,本文提出一种融合注意力和多尺度特征的典型水面小目标检测算法。首先,在网络的深层使用空洞空间金字塔池化模块融合目标的全局先验信息。其次,通过注意融合模块自适应地增强目标浅层空间位置和深层语义信息特征,提高网络的特征表示能力。最后,通过多尺度特征融合实现高性能的目标检测。本文构建了典型水面小目标数据集,并基于无人艇开展了真实海况下水面小目标检测的算法验证。实验结果表明,该算法在无人艇NVIDIA平台检测速率达到17 FPS,能准确识别水面小目标,mIoU比原始特征金字塔网络算法提升7.58%,平均检测精度提升11.41%,达到82.36%。

基于融合注意力机制的苹果品种分类方法

不同品种苹果之间往往存在较大的价格差异,为了防止从采购到销售过程中因苹果品种分类不当产生经济损失,提出了一种基于融合注意力机制的自动识别和分类模型EBmNet(针对苹果类型)。该模型通过融合通道注意力和空间注意力机制充分提取了苹果表面的形状轮廓特征和颜色纹理特征,从而进一步增加苹果类型之间的特征距离。同时,从特征图和类别概率统计图2方面证明了EBmNet在苹果品种分类方法上的有效性。实验结果表明,EBmNet网络模型在红富士、乔纳金、秦冠、小国光、金冠、澳洲青苹、嘎啦上的分类准确率分别为96.25%、96.25%、100%、92.50%、98.75%、100%和93.75%,7种苹果类型的总体分类准确率高达96.78%。因此,将视觉图像与深度学习相结合对苹果品种进行分类和识别是可行的,为苹果品种的实时检测提供了一种新的方法。

基于融合注意力机制的图像标题生成

图像标题生成利用机器自动产生描述图像的句子,属于计算机视觉与自然语言处理的交叉领域。传统基于注意力机制的算法侧重特征图不同区域,忽略特征图通道,易造成注意偏差。该模型通过当前嵌入单词与隐藏层状态的耦合度来赋予特征图不同通道相应权重,并将其与传统方法结合为融合注意力机制,准确定位注意位置。实验结果均在指定的评估方法上有一定的提升,表明该模型可以生成更加流利准确的自然语句。

融合注意力特征的多任务肺结节检测和分割

针对CT图像肺结节检测和分割模型复杂且精度低的问题,提出一种端到端的融合注意力特征的多任务肺结节检测和分割算法。利用多任务模型对肺结节检测和分割进行建模,实现模型参数的共享和计算复杂度的降低;提出残差注意力特征融合模块融合尺度和语义不一致的特征,获取更加丰富的特征信息;采用自适应多任务损失函数,实现主任务和辅助任务损失权重的均衡。在LIDC-IDRI数据集上进行了详尽的实验,肺结节检测的CPM得分达到90.94%,肺结节分割的IoU和DSC分数分别为71.78%和80.89%,验证了算法的有效性。

基于跨模态注意力融合的煤炭异物检测方法

为解决原煤智能化洗选过程中煤流中夹杂的异物对比度低、相互遮挡导致异物图像检测时特征提取不充分的问题,提出了一种基于跨模态注意力融合的煤炭异物检测方法。通过引入Depth图像构建RGB图像与Depth图像的双特征金字塔网络(DFPN),采用浅层的特征提取策略提取Depth图像的低级特征,用深度边缘与深度纹理等基础特征辅助RGB图像深层特征,以有效获得2种特征的互补信息,从而丰富异物特征的空间与边缘信息,提高检测精度;构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块(CAFM),以协同优化并融合RGB特征与Depth特征,增强网络对特征图中被遮挡异物可见部分的关注度,提高被遮挡异物检测精度;使用区域卷积神经网络(R-CNN)输出煤炭异物的分类、回归与分割结果。实验结果表明:在检测精度方面,该方法的AP相较两阶段模型中较优的Mask transfiner高3.9%;在检测效率方面,该方法的单帧检测时间为110.5 ms,能够满足异物检测实时性需求。基于跨模态注意力融合的煤炭异物检测方法能够以空间特征辅助色彩、形状与纹理等特征,准确识别煤炭异物之间及煤炭异物与输送带之间的差异,从而有效提高对复杂特征异物的检测精度,减少误检、漏检现象,实现复杂特征下煤炭异物的精确检测与像素级分割。

Transformer-CNN特征跨注意力融合学习的行人重识别

卷积神经网络(convolutional neural network,CNN)关注局部特征,难以获得全局结构信息,Transformer网络建模长距离的特征依赖,但易忽略局部特征细节。提出了一种跨注意力融合学习的行人重识别算法,利用CNN和Transformer特征学习网络的特点,在丰富行人局部特征的同时改善特征的全局表达能力。该模型由三个部分构成:CNN分支主要提取局部细节信息;Transformer分支侧重于关注全局特征信息;跨注意力融合分支通过自注意力机制计算上述两个分支特征的相关性,进而实现特征融合,最终提高模型的表征能力。剥离实验以及在Market1501和DukeMTMC-reID数据集的实验结果证明了所提方法的有效性。

AF-CenterNet:基于交叉注意力机制的毫米波雷达和相机融合的目标检测

对于自动驾驶领域而言,确保在各种天气和光照条件下精确检测其他车辆目标是至关重要的。针对单个传感器获取信息的局限性,提出一种基于cross-attention注意力机制的融合方法(AF),用于在特征层面上融合毫米波雷达和相机信息。首先,将毫米波雷达和相机进行空间对齐,并将对齐后的点云信息投影成点云图像。然后,将点云图像在高度和宽度方向上进行扩展,以提高相机图像和点云图像之间的匹配度。最后,将点云图像和相机图像送入包含AF结构的CenterNet目标检测网络中进行训练,并生成一个空间注意力权重,以增强相机中的关键特征。实验结果表明,AF结构可以提高原网络检测各种大小目标的性能,特别是对小目标的检测提升更为明显,且对系统的实时性影响不大,是提高车辆在多种场景下检测精度的理想选择。

复杂场景下自适应注意力机制融合实时语义分割

实现高准确度和低计算负担是卷积神经网络(CNN)实时语义分割面临的严峻挑战。针对复杂城市街道场景目标种类众多、光照变化大等特点,该文设计了一种高效的实时语义分割自适应注意力机制融合网络(AAFNet)分别提取图像空间细节和语义信息,再经过特征融合网络(FFN)获得准确语义图像。AAFNet采用扩展的深度可分离卷积(DDW)可增大语义特征提取感受野,提出自适应平均池化(Avp)和自适应最大池化(Amp)构成自适应注意力机制融合模块(AAFM),可细化目标边缘分割效果并降低小目标的漏分率。最后在复杂城市街道场景Cityscapes和CamVid数据集上分别进行了语义分割实验,所设计的AAFNet以32帧/s(Cityscapes)和52帧/s(CamVid)的推理速度获得73.0%和69.8%的平均分割精度(mIoU),且与扩展的空间注意力网络(DSANet)、多尺度上下文融合网络(MSCFNet)以及轻量级双边非对称残差网络(LBARNet)相比,AAFNet平均分割精度最高。

基于高效卷积注意力特征融合的道路目标检测

针对YOLOv5s基准模型参数量大、特征尺度差异化等问题,提出基于高效卷积注意力特征融合的轻量级目标检测模型.首先,构建基于幻影操作的轻量化特征提取模块,在保证检测精度接近原模型的前提下,提高模型的实时性.其次,优化通道注意力和空间注意力模块,提出基于高效卷积的注意力特征融合模块,并设计兼具检测精度与实时性的轻量级目标检测模型.在具有不同复杂道路场景的数据集BDD100K上开展实验.结果表明,相较于基准模型,所提模型的检测精度和推理速度均得到提升,其中全类平均检测精度提升了1.4%,帧率提升了28.2%.相较于当前行业应用中主流的深度学习模型,所提模型在精度与速度的均衡性上表现出显著优势.

基于多光谱交互注意力融合的多尺度无人机小目标检测

针对无人机检测中存在的目标较小、受背景环境影响大、以及多光谱特征难以深度融合等问题,本文提出了针对无人机小目标检测的多尺度多光谱交互注意力融合目标检测模型.首先,将骨干网络设计为双流网络,分别提取不同尺度红外和可见光特征,并增加小目标检测层和BiFPN级联操作,提升对无人机小目标特征的提取能力.其次,创新性的设计了多光谱交互注意力融合模块,在该融合模块的指导下,网络可以在不同尺度融合红外和可见光模态的信息,使红外和可见光的特征进行深度聚合,发挥各自模态的优势,指导开展无人机小目标检测.实验结果表明,与最先进的多光谱目标检测模型相比,本文提出的模型在FLIR、LLVIP两个公开的多光谱目标检测数据集上都达到了优越的性能,在构建的多光谱无人机数据集上,本文提出的模型有效提升了无人机的检测精度和鲁棒性.

基于有效感受野和注意力融合机制的脑肿瘤全自动分割

深度学习在医学图像分割领域取得了显著成果,但其在脑肿瘤分割任务中,仍面临感受野不足、冗余信息过多、信息丢失等问题;为此,本研究提出一种基于编-解码结构的脑肿瘤分割网络模型(EAU-Net)。EAU-Net采用有效感受野拓展模块和注意力融合模块改善脑肿瘤分割网络感受野不足与冗余信息过多带来的不利影响;同时,引入基于倒残差结构的瓶颈重采样模块,有效避免上下采样时造成的信息损失,并采用深度卷积降低网络的计算量。在BraTS2020数据集上的实验结果表明,EAU-Net获得最优的分割精度,验证了其在脑肿瘤分割任务中的可行性和有效性。

基于多尺度频率通道注意力融合的声纹库构建方法

为解决声纹识别准确性易受外部因素影响的问题,提出一种基于多尺度频率通道注意力融合时延神经网络(MFCA-TDNN)模型的声纹识别算法。MFCA-TDNN在ECAPA-TDNN(Emphasized Channel Attention Propagation Aggregation Time Delay Neural Network)的基础上作了3点改进,包括:加入了多尺度频率通道注意力前端以从话语中获得高分辨率的特征表示、添加了多尺度通道注意力模块结合局部和全局的特征以融合多尺度信息、嵌入了特征注意力融合模块为多尺度的融合特征加权。这些改进使模型更好地利用多尺度的时频信息,提高识别能力。实验结果表明,与ECAPA-TDNN模型相比,MFCA-TDNN模型等错误率(EER)和最小检测代价函数(minDCF)分别下降5.9%和7.9%;最低的EER可达到3.83%,最低的minDCF可达到0.2202。

基于全局上下文注意力特征融合金字塔网络的遥感目标检测

遥感目标检测往往具有图像尺度变化大、目标微小、密集排列和宽高比过大的特性,给高精度定向目标检测造成困难.本文提出了一种全局上下文注意力特征融合金字塔网络.首先,本文设计了一种三重注意力特征融合模块,它能够更好地融合语义和尺度不一致的特征.然后引入层内调节方法改进并提出了一个全局上下文信息增强网络,对含有高级语义信息的深层特征的进行细化,提升表征能力.在此基础上,以全局集中调节的思想设计了全局上下文注意力特征融合金字塔网络,利用注意力调制特征自上而下地调节浅层多尺度特征.在几个公开数据集中进行了广泛实验,实验结果的高精度评价指标均优于目前先进的模型.