基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。

基于特征相似性和特征规范化的注意力模块

近年来,注意力机制在图像分类、目标检测和语义分割等领域取得了巨大成功,但现有的注意力机制大多只能在通道或空间维度上实现特征融合,这极大限制了其在通道和空间维度上变化的灵活性,导致无法充分利用特征信息。为此,文中提出一种基于特征相似性和特征规范化的、可同时利用特征图各维度信息的卷积神经网络注意力模块FSNAM。该模块由特征相似性模块(FSM)和特征规范化模块(FNM)两部分组成,FSM利用输入特征图的通道特征信息和局部空间特征信息生成一个二维的特征相似性权重图;FNM利用输入特征图的全局空间特征信息生成一个三维的特征规范化权重图;两个模块生成的权重图融合在一起,生成一个三维的注意力权重图,以此实现通道特征信息和空间特征信息的融合。为证明FSNAM的可行性和有效性,进行了消融实验,结果表明:在图像分类任务方面,FSNAM模块对分类网络在CIFAR数据集上的性能提升明显优于其他主流注意力模块;在目标检测任务方面,使用FSNAM模块的目标检测网络对VOC数据集中的小目标和中等大小目标的检测准确率分别提高了3.9和1.2个百分点;在语义分割任务方面,使用FSNAM模块可以提高HRNet模型的性能,在SBD数据集上模型的平均像素准确率提高了0.58个百分点。

基于多尺度特征与注意力模块的室内场景识别方法

场景识别在视觉信息检索、图像分割、图像/视频理解等任务中有着关键性的作用。随着深度学习理论的发展,尤其是卷积神经网络(CNN)能识别图像中具有辨别性的物体,这大大提高了场景识别的能力。为了实现智能轮椅床等家庭服务机器人的自主场景识别,针对在移动端或嵌入式设备计算资源和内存需求有限的情况下,网络输出辨别性物体单一而造成场景识别率低的问题,提出一种基于多尺度特征提取和注意力模块的室内场景识别方法。该方法基于Mobile-NetV2轻量化网络,从网络中选择不同分支提取不同尺度的特征。为关注场景中更有辨别性的特征,在分支中加入了MRLA-Light注意力模块,仿真结果表明准确率有明显提高,在MIT Indoor 67数据集、Scene 15数据集上的准确率分别为86.3%和94.3%,相比于同类型网络有更高的准确率。

基于密集多尺度特征和双注意力模块的皮肤病变分割

针对皮肤病变分割任务中病变区域大小不一、形状各异、内部像素差异大、边界模糊、周围存在气泡等问题,提出了一种基于密集多尺度特征和双注意力模块的U型分割网络DDAnet。该网络中的DenseASPP模块通过密集连接多个空洞卷积层来获取丰富的多尺度信息,同时由通道注意力模块(CAM)和位置注意力模块(PAM)构成的双注意力模块通过编码全局上下文信息,在通道和位置上对特征图进行重新配准,实现对相关特征的强调和对无关特征的抑制。两个模块并行连接、共同作用以提高分割精度。在ISIC2018数据集上,DDAnet的准确率(Acc)、Jaccard相似系数(JI)、Dice系数(DC)、敏感度(Sen)和特异性(Spec)指标值分别为96.75%、85.00%、91.36%、91.82%和97.42%,分割结果优于其他的分割网络,并且对于极具挑战的病例,DDAnet仍然能够产生准确、可靠的分割结果,说明其具备在临床诊断中辅助医生进行皮肤病变分割的潜力。

基于注意力模块化神经网络的城市固废焚烧过程氮氧化物排放预测

氮氧化物(nitrogen oxides,NO_(x))浓度的实时精准检测是实现脱硝过程闭环控制的前提,对提高城市固废焚烧(municipal solid waste incineration,MSWI)过程脱硝效率具有重要意义。为此,提出了一种基于注意力模块化神经网络(attention modular neural network,AMNN)的MSWI过程NO_(x)排放预测方法。首先,模拟脑网络“分而治之”处理复杂任务的特性,利用模糊C均值(fuzzy C-means,FCM)聚类算法将待预测任务划分为多个子任务,从而降低预测任务复杂度;其次,针对各子任务,设计一种自组织模糊神经网络(self-organizing fuzzy neural network,SOFNN)构建子模型,通过神经元增删机制和二阶学习算法提高子模型的学习效率和学习精度;然后,提出了一种基于注意力机制的子模型整合策略,进一步提高预测模型的泛化性能;最后,通过基准实验Mackey-Glass时间序列预测和北京某MSWI厂实际数据验证了AMNN的可行性和有效性。

基于Multi-WHFPN与SimAM注意力机制的版面分割

作为OCR的预处理工作,版面分割技术越来越受到学术界和工业界重视。针对版面分割中遇到的检测速度慢、目标区域边界不准确以及细小目标易遗漏等问题,提出了YOLOv7-MSY模型。此模型首先借鉴残差连接思想,提出了Multi-WHFPN网络结构。它采用可训练的权重参数,突出特征融合过程中特征重要性,并添加了小目标检测头,从而提升对小目标的检测性能;其次,引入SimAM注意力机制,可以在不增加额外参数的基础上在3D维度评估特征权重,以增强重要特征,抑制无效特征;最后,使用YEIOU来代替原模型中的定位损失函数,提升了模型的收敛速度与回归精度。在江苏省档案馆提供的数据集上进行实验对比,YOLOv7-MSY对目标区域边界检测更加敏感,对细小目标的检测效果更好。YOLOv7-MSY的mAP@.5达到了0.871,相较于原YOLOv7模型提高了7.84%。该模型的版面分割的效果优于其他类型的版面分割算法,具有良好的泛化性能,并且版面分割速度处于较高水平。

基于改进注意力模块的船舶涂装缺陷检测方法

针对人工检测船舶缺陷效率低、传统检测网络准确率差的问题,提出一种基于改进注意力模块(improved convolutional block attention module, ICBAM)的船舶涂装缺陷检测方法.首先,YOLOv4在路径聚合网络中将深度可分离卷积代替常规卷积形成IYOLOv4,减少模型计算量;其次,将ICBAM融入IYOLOv4的路径聚合网络Route层后形成ICBAM-IYOLOv4,ICBAM在通道上构建多频率通道改善全局平均池化,利用一维卷积代替全连接层聚合相邻通道间的信息,减少模型参数;然后,在空间上融合Inception v3思想和特征分层思想改善空洞卷积;最后,在船舶涂装缺陷样本数据增强的基础上,对ICBAM-IYOLOv4进行测试.实验结果表明:ICBAM-IYOLOv4相比其他算法,其损失值更低、收敛更快;平均精度均值(mean average precision, MAP)在训练集和测试集上分别提高了1.89%和1.91%.

基于梯度可感知通道注意力模块的红外小目标检测前去噪网络

红外图像去噪在军事及民用领域应用广泛。现有基于深度学习的图像去噪方法主要为可见光图像设计,此类方法容易过度平滑图像细节,从而导致弱小目标丢失,为后续的检测任务带来困难。为了在去除噪声的同时保留好红外图像中的目标信息,本文提出了一种基于梯度可感知通道注意力模块的红外弱小目标检测前去噪网络。该网络首先采用编码器-解码器结构来去除图像中的加性噪声,然后通过梯度可感知通道注意力模块对图像高频区域进行自适应增强,有效保持红外弱小目标的响应强度。此外,本文提出了领域第一个包含3981张含噪声的红外图像数据集。实验结果表明,该网络能够在有效去除加性噪声的同时避免过度平滑,很好地保留了红外图像中的目标信息,最终实现了在含噪声环境下的高鲁棒性红外弱小目标检测。

融合监督注意力模块和跨阶段特征融合的图像修复改进网络

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。

基于注意力模块的移动设备多场景持续身份认证

针对用户与移动设备交互时会产生场景变化,现有工作中只能采集特定的单一场景特征,无法实现多场景转换认证,并且身份认证准确率较低的问题,提出了一种基于移动模式的、注意力模块和卷积神经网络融合(CNNSACA)的多场景持续认证方案。在不限使用场景和操作的情况下,提取用户与移动设备交互时的移动模式(movement patterns,MP)特征,捕捉在动态和静态场景下产生的手部微运动,从而实现多场景的身份认证。设计并使用了一个包括五层卷积层结构的卷积神经网络,在第一层卷积后按序通过改进的空间和通道注意力子模块,再在多层卷积后进行反序分配权重,从两个维度来对通过卷积后所表征的MP特征分配双重注意力权重,增强关键特征表达。利用公开数据集验证所提方案在多场景身份认证方面的有效性和可行性。实验结果表明,所提出的基于移动模式的深度学习模型可以较好地解决身份认证场景单一的局限性,多场景的身份认证的准确率达到99.6%;同时,所提出的CNN-SACA模型与单独的CNN模型相比准确率提高了1.5个百分点,有效改善多场景下的移动设备身份认证能力。

基于非对称多解码器和注意力模块的三维肾脏影像结构分割模型

针对肾脏结构中,因不同结构间差异大,动静脉体积小、结构薄及计算机断层扫描血管造影(CTA)图像灰度分布不均和伪影带来的精确分割困难的问题,提出基于非对称多解码器和注意力模块的三维肾脏影像结构分割模型MDAUnet(MultiDecoder-Attention-Unet)。首先,针对不同结构间差异大导致网络无法共享权重的问题,采用多解码器结构,为语义结构不同的特征结构匹配不同的解码器分支;其次,针对血管体积小、结构薄难分割的问题,引入非对称的空间通道联合注意力模块使模型更关注管状结构,并对学习到的特征信息同时进行空间维度和通道维度的校准;最后,为了保证模型在反向传播中对血管结构有足够的关注,提出改进的加权硬区域适应损失(WHRA)作为损失函数来动态保持训练过程中血管结构的类间平衡以及保留背景信息的特征;此外,为了提高特征图灰度值的对比度,将传统图像处理边缘检测算子嵌入模型的预处理阶段,对待分割的感兴趣区域边界进行特征增强使模型更关注边界信息并抑制伪影信息。实验结果表明:所提出的MDAUnet模型在肾脏结构分割任务上的Dice相似系数(DSC),豪斯多夫距离95(HD95)和平均表面距离(AVD)分别为89.1%,1.76 mm和1.04 mm;在DSC指标上,与次优的MGANet(Meta Greyscale Adaptive Network)相比,MDAUnet提升了1.2个百分点;在HD95和ASD指标上,与次优的UNETR(UNEt TRansformers)相比,MDAUnet分别降低了0.87 mm和0.45 mm。可见MDAUnet能有效提高肾脏三维结构分割精度,有助于医生在临床手术中客观有效地评估病情。

结合超轻量级双注意力模块的ShuffleNetV2面部表情识别

针对面部表情识别领域中难以同时实现低参数量与高准确率的挑战,提出了一种结合注意力机制的ShuffleNetV2网络的面部表情识别方法。该方法基于ShuffleNetV2架构,通过微调模型将Relu激活函数替换为PRelu激活函数,进一步提升了模型的特征捕获与分类能力。此外,本文创新性地引入了一种超轻量级双注意力模块LDAM,该模块结合了DCAM注意力机制与空间注意力机制,并通过捷径连接技术集成到优化后的ShuffleNetV2模型中,以增强模型对细节特征的识别能力及分类效果。在FER2013和CK+两大公认的面部表情识别数据集上的实验结果显示,本方法分别达到了69.12%和94.77%的识别准确率,同时保持了低至1.25的模型参数量。这一成果不仅展示了在保持模型轻量化的同时提升识别性能的可能性,而且通过实验验证了所提出方法的高效性和实用性。

基于全卷积去噪自编码器与卷积块注意力模块的非侵入式居民负荷分解模型

为了进一步提高低频居民负荷分解模型的分解精度与泛化能力,提出一种基于全卷积去噪自编码器与卷积块注意力模块的非侵入式居民负荷分解模型,该模型能够深度解析单一电器的功率曲线。基于全卷积去噪自编码器分别构建主回归子任务网络和辅助分类子任务网络;在子任务网络中,通过引入卷积块注意力模块自适应分配特征注意力权重,以减小不重要因素在模型训练过程中的影响;将辅助分类子任务网络的输出作为主回归子任务网络输出的门控单元,实现最终的负荷分解。基于公开数据集的算例结果表明,所提负荷分解模型比现有负荷分解模型具有更优的分解精度和泛化能力。

融合注意力模块的双结构金字塔场景解析网络

【目的】改善原始图像信息丢失及图像分辨率下降的问题,提高图像语义分割的精度。【方法】提出融合注意力模块的双结构金字塔场景解析网络模型,并利用该模型对图像进行语义分割。首先,使用MobileNet V2模块提取原始图像的主干特征;其次,将特征图送入金字塔池化模块1中,获取上下文信息;然后,使用注意力模块关注重要特征,并对浅层信息进行综合,得到中间特征图;接着,将中间特征图送入金字塔池化模块2,融合局部和全局信息;最后,利用丰富的浅层和深层信息对原始图像进行分割。【结果】在PASCAL VOC 2007数据集上进行的试验表明,平均像素精度和平均交并比分别达到85.64%和78.12%,比金字塔场景解析网络的分别提高了4.95个百分点和12.31个百分点。【结论】本文模型有效解决了图像分割中信息丢失和分辨率下降问题。

注意力改进的动态自组织模块化神经网络结构设计及应用

针对混沌时间序列的复杂性和非线性特点,提出了一种专注于此类挑战的新型神经网络模型,即注意力改进的动态自组织模块化神经网络模型(ADAMNN)。该模型基于分而治之的思想,通过注意力机制计算不同子网络与输入数据的相似度,并利用层次聚类自适应地划分子网络。随后,采用基于层次聚类的动态生长机制,对子网络簇进行增减,最后通过激活的子网络簇对输入样本进行在线学习;同时,结合传统的集成输出方法,提出了一种基于注意力机制的子网络加权集成输出方法。最终分别在Mackey-Glass时间序列、M-G快时变时间序列、非线性系统辨识、煤矿开采过程中在瓦斯浓度数据集上进行了实验,ADAMNN展现出了实时更新子网络中心、动态构建子网络簇的能力,而且与基于欧几里得空间的动态自适应模块化神经网络相比,预测准确度提高了约40%。

基于实例归一化的通道注意力模块

传统通道注意力模块在构建池化层和下采样层获取特征图通道权重时,不仅增加大量参数而且极大提高了模型的复杂度。为解决上述问题,提出一种实例归一化通道注意力模块(Instance Normalization Channel Attention Module,INCAM),通过采用实例归一化中的缩放变量度量方差来捕捉特征图通道权重,仅增加少量参数即可获得明显的性能增益。在CIFAR-100和CIFAR-10数据集上的大量实验表明,相对于原始的Res Net-50,嵌入INCAM的Res Net-50在Top-1 Error上降低了11.20%,而参数量仅增加了0.12%,并与其它注意力模块相比更加轻量和高效。

基于端口注意力与通道空间注意力的网络异常流量检测

网络异常流量检测是网络安全保护重要组成部分之一。目前,基于深度学习的异常流量检测方法都是将端口号属性与其他流量属性同等对待,忽略了端口号的重要性。为了提高异常流量检测性能,借鉴注意力思想,提出一个卷积神经网络(CNN)结合端口注意力模块(PAM)和通道空间注意力模块(CBAM)的网络异常流量检测模型。首先,将原始网络流量作为PAM的输入,分离得到端口号属性送入全连接层,得到学习后的端口注意力权重值,并与其他流量属性点乘,输出端口注意力后的流量数据;其次,将流量数据转换成灰度图,利用CNN和CBAM更充分地提取特征图在通道和空间上的信息;最后,使用焦点损失函数解决数据不平衡的问题。所提PAM具有参数量少、即插即用和普遍适用的优点。在CICIDS2017数据集上,所提模型的异常流量检测二分类任务准确率为99.18%,多分类任务准确率为99.07%,对只有少数训练样本的类别也有较高的识别率。

基于可形变卷积与SimAM注意力的密集柑橘检测算法

针对现有检测算法难以检测自然场景下小而密集的柑橘问题,提出一种DS-YOLO(Deformable Convolution SimAM YOLO)密集柑橘检测算法。引入可形变卷积网络(Deformable Convolution)代替原YOLOv4中的特征提取网络部分卷积层,使特征提取网络能自适应提取遮挡、重叠等导致柑橘形状信息缺失的位置特征,在特征融合模块中,增加新的检测尺度并融合SimAM注意力机制,增强模型对于小而密集柑橘特征的提取能力。试验结果表明:DS-YOLO算法相较于原YOLOv4准确率提高8.75%,召回率提高7.9%,F1分数提高5%,能够较准确检测自然环境下的密集柑橘目标,为密集水果产量预测和采摘机器人提供了有效的技术支持。

基于改进残差和注意力的CT肺癌辅助诊断

为了提高结节检测和肺癌诊断的性能,本文提出一种改进的卷积神经网络(CNN)模型用于这2个步骤的结节特征提取。该模型以一种改进U-Net网络作为基础网络,并引入了ResNeXt模块和注意力机制,在保持模型复杂度的同时,提高网络学习多种形状和大小的结节特征的能力。实验结果表明:该模型在DSB数据集上表现良好,结节检测的灵敏度和特异性分别达到了99.15%和99.99%,肺癌诊断的准确率和AUC值分别达到了80.43%和0.86。可见,本文方法对于多种多样的结节特征具有高度敏感性,具有一定的临床价值。

密集级联卷积与自注意力特征聚合的视网膜血管分割算法

针对视网膜图像中细小血管分割困难以及血管分割过程中出现断裂的问题,构建了一种密集级联卷积与自注意力特征聚合的网络用于视网膜血管图像的分割。该网络采用多尺度密集卷积结合自注意力机制;为更好的提取视网膜细小血管复杂的特征信息,构建密集聚合模块作为U型网络的骨干网络;在网络底层嵌入自注意力摸块和多尺度聚合模块,以提升感受野和获取高维语义特征信息;在模型的跳跃连接部分采用特征聚合模块,提升模型的分割精度。实验结果表明,在DRIVE公开数据集上,该网络的F1-sore指标达到83.19%,准确率ACC指标达到97.11%,AUC值达到了98.94%;在CHASE-DB1和STARE数据集上,相比于Unet、DUNet、SA-Unet和FR-Unet等网络,该网络的AUC指标均达到了目前最好效果。采用该网络进行视网膜血管分割,分割的精度和鲁棒性均有不同程度的提升,对细小血管分割及其泛化能力达到了优异的效果.