基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络(CNN)结合端口注意力模块(PAM)和通道空间注意力模块(CBAM)的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。

基于卷积神经网络与通道和空间注意力机制的房颤预测模型研究

目的采用人工智能技术提出一种模型,以对房颤进行早期预防和诊断。方法提出一种基于卷积神经网络(convolutional neural network,CNN)与通道和空间注意力机制(convolutional block attention module,CBAM)的模型用于对房颤的诊断与预测。结果根据长期心房颤动数据库、MIT-BIH心房颤动数据库和MIT-BIH正常窦性心律数据库的数据,提出的模型在全盲的情况下总体准确率达94.2%。结论提出的模型满足了医学心电图解释的需要,为房颤的预测研究提供了新思路。

DenseNet结合空间通道注意力机制的环境声音分类

音乐信息识别(MIR)和自动语音识别(ASR)都是以结构化声音为特点的声音识别,环境声音识别在声音识别领域的难度很大。为了充分利用从环境声中提取的Log-Mel谱图的空间特征与通道特征,提出了一种基于密集连接卷积网络(DenseNet)的空间通道注意力机制。使用DenseNet对Log-Mel谱图进行特征提取,引入空间通道注意力机制使网络更加关注显著特征;为了解决数据不足导致的过拟合问题,将混合数据增强的方法应用于Log-Mel谱图,从而保证了数据的多样性;在2个公共数据集(ESC-50和ESC-10)验证所提方法的有效性。结果表明:所提的空间通道注意力机制模型能够使神经网络对环境声音的识别率分别达到79.3%(ESC-50)和94.3%(ESC-10)。

一种新的基于通道-空间融合注意力及SwinT的细粒度图像分类算法

细粒度图像分类是计算机视觉领域的一大分类任务,其难点在于如何通过类别监督信息自主地找到判别性区域.提出一种新的通道-空间融合注意力模块,基于该模块设计了一种新的Swin Transformer算法SwinT⁃NCSA(a Swin Transformer based on a novel channel⁃spatial attention module),分别从通道维和空间维同时提取特征,再将其融入到Swin Transformer模型中以提高其小尺度中多头注意力信息的提取能力.SwinT⁃NCSA算法特别关注了对分类有用的区域,同时忽视对分类无用的背景区域,以此在细粒度图像分类任务中达到较高的分类准确率.在FGVC Aircraft飞机数据集、CUB-200-2011鸟类数据集和Stanford Cars车类数据集3个公共数据集上的实验表明,SwinT⁃NCSA算法可以分别取得93.3%、88.4%和94.7%的准确率,优于同类算法.

基于空间通道注意力机制与多尺度融合的交通标志识别研究

通过YOLOV3深度神经网络算法可以实现道路交通标志的自动检测与识别,由于YOLOV3运算量较大,很难在小型嵌入式平台上使用,针对这一问题,文中提出了改进型的轻量化YOLOV3-3ctiny神经网络模型。为了融合浅层特征图的空间信息与深层特征图的语义信息,将第19层卷积层通过上采样后与第7层卷积层相连接,多尺度融合后输入YOLO层形成新的特征金字塔,以此提高小目标的识别率。同时,为使网络更加关注交通标志的细节信息,在特征金字塔网络中增添能够增强前景信息降低背景信息的空间通道注意力机制。使用Kmeans聚类算法对数据集作聚类处理,获得一组先验框。在长沙理工大学交通标志数据集上进行测试,实验结果表明,改进后算法的识别率达到91.8%,与YOLOV3-tiny算法相比提高了24.9个百分点,而与YOLOV3算法相比,每张图片的检测时间降低至0.133s,降低了49.6%,该算法具有较强的实时性和准确性。

融合注意力机制的多模态脑肿瘤MR图像分割

针对在多模态MR图像分割中对不同模态特征间的关联性及全局和局部特征提取考虑不充分,导致分割精度降低的问题,基于注意力机制,提出多模态脑肿瘤MR图像分割方法.首先提出三重注意力模块,用于增强各模态特征间的关联性以及对感兴趣区域的位置和边界信息精确判断;然后设计空间和通道注意力模块,用于双重捕获空间和通道上的全局及局部特征,增强对肿瘤组织结构信息的学习能力.在公开数据集BraTs18和BraTs19上的实验结果表明,分割全肿瘤时,所提方法的Dice系数、精确率、灵敏度和Hausdorff距离分别达到了90.62%,87.89%,90.08%和2.2583,均优于对比的同类方法.

混合扩张卷积和注意力机制的路面裂缝检测

针对复杂背景下路面裂缝检测困难的问题,提出一种基于混合扩张卷积和空间-通道注意力机制的路面裂缝检测算法。基于改进的U-Net网络,在编码阶段,使用空间-通道注意力机制增强裂缝特征,抑制非裂缝特征;在网络中间部分,使用混合扩张卷积实现在不增加额外模块的前提下增大网络的感受野;在解码阶段,融合多层次和多尺度特征使最终预测结果更接近路面真实情况。实验结果表明,所提算法能够快速准确地对路面裂缝进行检测,具有较强的鲁棒性。

基于SimAM注意力机制的遥感图像场景分类

针对遥感图像地形、地势复杂以及现有遥感图像分类方法准确率较差等问题,本文提出一种具有通道和空间注意机制的深度学习遥感图像分类模型。首先,使用残差网络作为特征提取主干网络;然后,对主干网络添加三维注意力机制模块,使模型不仅可学习通道信息还可学习空间信息;最后,在公开遥感图像数据集中训练并验证所提模型优越性。实验表明:所提方法在每个类别航拍图像的分类准确率均高于残差网络,整体分类准确率相较残差网络提高3.38%,高达89.27%,表明所提模型可以广泛应用于航拍图像分类场景中。

融合交叉注意力机制的图像任意风格迁移

图像风格迁移指将一张普通照片转化为一张具有其他艺术风格效果的图像,随着深度学习的发展,出现了一些图像任意风格迁移算法,给定任意风格便能生成具有该风格的风格化图像。针对任意风格迁移算法中存在如何同时适应全局和局部风格,保持空间一致性问题,提出了一个融合交叉注意力的任意风格迁移算法网络,通过捕捉长程依赖,高效生成全局与局部风格协调的风格化图像;针对风格化图像的内容结构扭曲问题,在进行风格迁移之前,加入一组并行的通道空间注意力网络,该注意力网络能进一步细化关键特征,保留关键信息;除此之外,提出了一个新的损失函数,在消除伪影的同时能更好地保留内容结构信息。该算法能根据内容图像的语义空间分布,匹配语义上最接近的风格特征,高效灵活地调整局部风格,且能保留更多内容结构的原始信息。实验结果表明,所提算法能够生成任意风格且视觉效果更佳的高质量风格化图像。

引入注意力机制的自监督光流计算

光流计算是诸多计算机视觉系统的关键模块,广泛应用于动作识别、机器人定位与导航等领域。但目前端到端的光流计算仍受限于数据源的缺少,尤其是真实场景下的光流数据难以获取。人工合成的光流数据占绝大多数,且合成数据不能完全反应真实场景(如树叶晃动、行人倒影等),难以避免过拟合等情况。无监督或自监督方法可以利用海量的视频数据进行训练,摆脱了对数据集的依赖,是解决数据集缺少的有效途径。基于此搭建了一个自监督学习光流计算网络,其中的“Teacher”模块和“Student”模块集成了最新光流计算网络:稀疏相关体网络(SCV),减少了计算冗余量;同时引入注意力模型作为网络的一个节点,以提高图像特征在通道和空间上的维度属性。将SCV与注意力机制集成在自监督学习光流计算网络之中,在KITTI 2015数据集上的测试结果达到或超过了常见的有监督训练网络。

基于注意力和多级特征融合的铁路场景小尺度行人检测算法

行人入侵是影响铁路行车安全的重要因素。为有效解决短焦距摄像机在大视场中小尺度行人检测精度低的问题,提出一种注意力机制引导下的多级特征融合网络模型。首先,将YOLOv3作为主干网络,针对多次降采样后行人特征丢失的问题,设计四倍降采样分支以利用高分辨率特征有效提取小尺度行人信息。其次,特征融合阶段引入通道-空间注意力机制以抑制低层特征中背景噪声干扰。最后,引入CIoU损失函数用于行人目标框的回归,解决均方误差损失函数存在的优化不一致及尺度敏感问题。实验结果表明,相较于经典YOLOv3以及现阶段主流目标检测算法,本算法具有更高的检测精度,在自建铁路私有数据集和Caltech公开数据集的各子集上对数平均漏检率均有明显降低。

复杂战场环境下改进YOLOv5军事目标识别算法研究

复杂战场环境下军事目标识别技术是提升战场情报获取能力的基础和关键。针对当前军事目标识别技术在复杂战场环境下漏检误检率高、实时性差等问题,提出一种基于改进YOLOv5模型的PB-YOLO军事目标识别算法。将改进的目标识别算法对于陆战场军事单元的识别锚框进行重新聚类,以提升模型对于目标大小适应度,加速模型收敛;采用通道-空间并行注意力机制,增加模型对复杂战场环境下目标特征信息与位置信息关注度;在特征融合网络部分使用BiFPN以提升模型对于特征的融合能力与速度;采用Alpha_IoU损失函数加速模型收敛,解决当真实框与预测框重合时IoU计算退化问题。实验结果表明,在自建军事目标数据集下,改进算法与主流目标识别算法相比,在保证模型空间复杂度的同时,mAP值达到了90.17%。消融实验对比结果表明,改进后网络较原模型精度提升11.57%,具有较好的识别性能,能够为战场情报获取提供有效的技术支撑。

基于CSLS-CycleGAN的侧扫声纳水下目标图像样本扩增法

针对侧扫声纳水下目标图像稀缺,获取难度大、成本高,导致基于深度学习的目标检测模型性能差的问题,结合光学域类目标数据集丰富的现状,提出一种基于通道和空间注意力(channel and spatial attention,CSA)模块、最小二乘生成对抗生成网络(least squares generative adversarial networks,LSGAN)及循环对抗生成网络(cycle generative adversarial networks,CycleGAN)的侧扫声纳水下目标图像样本扩增方法。首先,受CycleGAN的启发,设计基于循环一致性的单循环网络结构,保证模型的训练效率。然后,在生成器中融合CSA模块,减少信息弥散的同时增强跨纬度交互。最后,设计了基于LSGAN的损失函数,提高生成图像质量的同时提高训练稳定性。在船舶光学域数据集与侧扫声纳沉船数据集上进行实验,所提方法实现了光学-侧扫声纳样本间信息的高效、稳健转换以及大量侧扫声纳目标样本的扩增。同时,基于本文生成样本训练后的检测模型进行了水下目标检测,结果表明,使用本文样本扩增数据训练后的模型在少样本沉船目标检测的平均准确率达到了84.71%,证明了所提方法实现了零样本和小样本水下强代表性目标样本的高质量扩增,并为高性能水下目标检测模型构建提供了一种新的途径。

融合多尺度特征信息的图像雨滴去除方法

针对雨滴使雨天图像背景特征模糊失真的问题,提出一种融合多尺度特征信息的图像雨滴去除算法。首先,搭建了一个编码-解码神经网络来学习图像特征映射,考虑到雨滴的物理形状特征,采用雨滴形状驱动注意力模块来捕捉雨滴位置。然后,引入空间与通道协调注意力机制,加强图像重要空间和通道特征权重。接着,利用空洞卷积、非对称卷积和金字塔结构设计了新型空洞空间卷积池化金字塔模块,以捕获图像的多尺度特征。最后,在同尺度的编码-解码卷积层间加入跳跃连接,将特征信息馈送到网络深处,达到去除图像中雨滴的目的。实验结果表明:本文算法在公开数据集Qian上的PSNR达到30.75,SSIM达到0.9257;在自制雨天数据集上也可以有效去除图像中的雨滴。

基于空间-通道注意力的改进SSD目标检测算法

目标检测的任务是精确识别,有效定位出图像中目标物体,且预定义其类别。针对主流目标检测(single shot multibox detector,SSD)算法存在小目标检测准确度不高,检测效率较低等问题,提出一种基于空间-通道注意力机制的SSD目标检测算法(spatial and channel single shot multibox detector,SC_SSD)。通过在SSD深层网络引入空间-通道注意力机制增强高层特征图语义信息,提高算法获取目标物体的细节与位置信息的能力,从而降低漏检率及误检率,并提高小目标物体检测的准确度。此外,利用MobileNetV2中的深度可分离卷积对SSD主干网络(visual geometry group network,VGG-16)进行剪枝处理,降低参数量,从而减少训练与检测的时间。在PASCAL VOC2007数据集上进行实验,本文算法检测的精确度与速度分别为78.9%与59.4 Fps,比SSD算法提升了3.2%与26.7 Fps,满足实时性需求。算法也优于相比较的其他算法,是一种有效可行的目标检测算法。

基于改进MobileNetV3烧结断面火焰图像识别

烧结机尾断面火焰图像蕴含大量与烧结终点相关的特征信息,充分利用烧结火焰图像特征信息进行在线判断烧结终点状态,具有可行性及工程实际意义。针对烧结机尾断面火焰图像特征信息难以提取、识别精度低以及难以满足实时性等问题,提出一种基于改进的MobileNetV3烧结断面火焰图像识别算法。以MobileNetV3作为烧结终点火焰状态特征信息提取的基础模型,引入注意力机制;改进通道注意力结构,减少特征损失提高识别精度;引入空间注意力机制,设计双分支通道空间注意力模块精确捕捉了红火区在烧结断面火焰图像中的位置和内容信息;引入数据增强和余弦退火学习率来提高模型的泛化能力,并采用冻结训练策略加速模型收敛。在烧结火焰数据集上的实验表明,该算法能够充分利用烧结火焰图像中的特征信息,识别准确率达到97.54%,较改进前提高了6.41%。

基于改进YOLOv3的遥感目标检测算法

针对YOLOv3算法在遥感图像检测中对飞机、船舰等小目标的准确度不高等问题,提出了一种用于遥感目标检测的改进YOLOv3算法。使用H-Swish激活函数替代MobileNetV2中Bottleneck Residual block第一层中的ReLU6激活函数,为使网络更加关注遥感图像的细节信息,在MobileNetV2中加入能够更多关注特征图的隐藏信息的空间通道注意力机制;利用改进后的MobileNetV2代替YOLOv3中原始的Darknet-53主干网络。将调整后的Focal loss损失函数代替YOLOv3中原来的损失函数,并在原算法的基础上减少特征尺度,使算法处理时间更短。使用K-means++聚类算法对数据集进行聚类分析,获得一组先验框。在DOTA数据集上进行了测试,实验结果表明:改进后的算法将权重模型从18.8 MB减少到了8.0 MB,将平均检测时间从36.6 ms减少到了28.42 ms,将mAP_0.5从61.7提高到了91.3,该算法较好地提高了检测速度和精度。

MRAU-net网络下的X光胸片肺野分割算法

为了解决U-net网络进行X光胸片肺野分割时,受限于特征提取能力不足导致分割结果不精确的问题,提出一种多尺度残差注意力U型网络(MRAU-net)模型.利用多尺度信息融合(MIF)模块,改善网络结构,增加对多尺度信息的获取;利用通道和空间双注意力(CSDA)模块,解决网络在有限算力下的信息过载问题.同时,对残差模块进行改进,并与U-net网络进行深度结合,提升网络的学习稳定性,缓解梯度消失和过拟合现象.实验结果表明:文中方法具有优秀的X光胸片肺野分割能力,能获得更精确的分割结果.

改进ResNet网络在电梯轿厢振动故障诊断中的应用

为了提高电梯运行过程中故障诊断精确度,为电梯轿厢振动故障诊断开辟新路径。采用电梯承运质量测试仪记录电梯运行过程中的振动信号,分离出水平方向信号,用连续小波进行时频变换后作为输入,利用改进ResNet网络对信号进行分类诊断。对残差神经网络进行改进,加入通道空间注意力机制(CSAM),调整传统ResNet的网络结构使网络训练更加轻量化,节约训练时间和内存成本。实验结果表明,改进ResNet网络诊断正确率比传统机器学习故障诊断方法提高了1.86%,网络参数减少了3.98 Mb。改进ResNet网络能对电梯故障进行有效诊断,并且减少了网络参数和训练时间,为电梯的故障诊断开辟了新路径。

嵌入CBAM结构的改进YOLOV3超宽带雷达生命信号检测算法

为了提高超宽带雷达生命信号检测准确率,提出了一种改进型YOLOV3检测算法。考虑到超宽带雷达探测的人体呼吸信号成像后宽高相差较大,采用多尺度训练时网络对宽高的敏感程度不一样,因此在设计损失函数时,对宽高损失给予不同的权重系数。为了提高网络通道以及空间特征表达能力,使得网络能够扩大对目标特征区域的感知范围,因此将通道注意力与空间注意力结构(CBAM)嵌入到YOLOV3基础网络Darknet53的每个shortcut层,得到CBAM-YOLOV3网络结构。对比改进前后的算法。实验结果表明,改进后的算法在IoU阈值为0.5时,mAP为98.09%,提升3.90%,在阈值为0.75时,mAP为76.49%,提升16.48%。