基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。

基于特征相似性和特征规范化的注意力模块

近年来,注意力机制在图像分类、目标检测和语义分割等领域取得了巨大成功,但现有的注意力机制大多只能在通道或空间维度上实现特征融合,这极大限制了其在通道和空间维度上变化的灵活性,导致无法充分利用特征信息。为此,文中提出一种基于特征相似性和特征规范化的、可同时利用特征图各维度信息的卷积神经网络注意力模块FSNAM。该模块由特征相似性模块(FSM)和特征规范化模块(FNM)两部分组成,FSM利用输入特征图的通道特征信息和局部空间特征信息生成一个二维的特征相似性权重图;FNM利用输入特征图的全局空间特征信息生成一个三维的特征规范化权重图;两个模块生成的权重图融合在一起,生成一个三维的注意力权重图,以此实现通道特征信息和空间特征信息的融合。为证明FSNAM的可行性和有效性,进行了消融实验,结果表明:在图像分类任务方面,FSNAM模块对分类网络在CIFAR数据集上的性能提升明显优于其他主流注意力模块;在目标检测任务方面,使用FSNAM模块的目标检测网络对VOC数据集中的小目标和中等大小目标的检测准确率分别提高了3.9和1.2个百分点;在语义分割任务方面,使用FSNAM模块可以提高HRNet模型的性能,在SBD数据集上模型的平均像素准确率提高了0.58个百分点。

基于多尺度特征与注意力模块的室内场景识别方法

场景识别在视觉信息检索、图像分割、图像/视频理解等任务中有着关键性的作用。随着深度学习理论的发展,尤其是卷积神经网络(CNN)能识别图像中具有辨别性的物体,这大大提高了场景识别的能力。为了实现智能轮椅床等家庭服务机器人的自主场景识别,针对在移动端或嵌入式设备计算资源和内存需求有限的情况下,网络输出辨别性物体单一而造成场景识别率低的问题,提出一种基于多尺度特征提取和注意力模块的室内场景识别方法。该方法基于Mobile-NetV2轻量化网络,从网络中选择不同分支提取不同尺度的特征。为关注场景中更有辨别性的特征,在分支中加入了MRLA-Light注意力模块,仿真结果表明准确率有明显提高,在MIT Indoor 67数据集、Scene 15数据集上的准确率分别为86.3%和94.3%,相比于同类型网络有更高的准确率。

基于密集多尺度特征和双注意力模块的皮肤病变分割

针对皮肤病变分割任务中病变区域大小不一、形状各异、内部像素差异大、边界模糊、周围存在气泡等问题,提出了一种基于密集多尺度特征和双注意力模块的U型分割网络DDAnet。该网络中的DenseASPP模块通过密集连接多个空洞卷积层来获取丰富的多尺度信息,同时由通道注意力模块(CAM)和位置注意力模块(PAM)构成的双注意力模块通过编码全局上下文信息,在通道和位置上对特征图进行重新配准,实现对相关特征的强调和对无关特征的抑制。两个模块并行连接、共同作用以提高分割精度。在ISIC2018数据集上,DDAnet的准确率(Acc)、Jaccard相似系数(JI)、Dice系数(DC)、敏感度(Sen)和特异性(Spec)指标值分别为96.75%、85.00%、91.36%、91.82%和97.42%,分割结果优于其他的分割网络,并且对于极具挑战的病例,DDAnet仍然能够产生准确、可靠的分割结果,说明其具备在临床诊断中辅助医生进行皮肤病变分割的潜力。

基于注意力模块化神经网络的城市固废焚烧过程氮氧化物排放预测

氮氧化物(nitrogen oxides,NO_(x))浓度的实时精准检测是实现脱硝过程闭环控制的前提,对提高城市固废焚烧(municipal solid waste incineration,MSWI)过程脱硝效率具有重要意义。为此,提出了一种基于注意力模块化神经网络(attention modular neural network,AMNN)的MSWI过程NO_(x)排放预测方法。首先,模拟脑网络“分而治之”处理复杂任务的特性,利用模糊C均值(fuzzy C-means,FCM)聚类算法将待预测任务划分为多个子任务,从而降低预测任务复杂度;其次,针对各子任务,设计一种自组织模糊神经网络(self-organizing fuzzy neural network,SOFNN)构建子模型,通过神经元增删机制和二阶学习算法提高子模型的学习效率和学习精度;然后,提出了一种基于注意力机制的子模型整合策略,进一步提高预测模型的泛化性能;最后,通过基准实验Mackey-Glass时间序列预测和北京某MSWI厂实际数据验证了AMNN的可行性和有效性。

融合卷积神经网络和注意力机制的负荷识别方法

对居民住宅进行非侵入式负荷监测(non-intrusive load monitoring,NILM)是智能电网用户需求侧的重要研究内容,居民负荷的能耗分析和用电管理是实现节能减排、可持续发展的关键环节。针对传统算法识别性能差、难以适应当下复杂用电环境的问题,文中从增强分类算法特征提取性能的优化思路出发,提出融合卷积神经网络(convolutional neural network,CNN)和自注意力机制的NILM负荷识别方法。首先,采集8种不同家用电器的电力数据,建立U-I轨迹曲线数据库;其次,采用挤压-激励网络(squeeze-and-excitation network,SENet)注意力机制提升CNN的特征聚合能力,完成对不同电器U-I轨迹曲线的特征提取和负荷识别;最后,对私有数据集和PLAID数据集进行测试,算例结果表明,所提方法在不同运行场景下均具有较高的识别准确率和较好的泛化性能。

融合监督注意力模块和跨阶段特征融合的图像修复改进网络

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。

基于多尺度卷积与并行反向注意力的医学图像分割

提出一种基于多尺度卷积与并行反向注意力的医学图像分割网络(RPR-MLP)。在编码器阶段,采用Res2net模块和标记化多层感知机模块作为骨干结构,以提取多尺度信息并增强语义特征的多样性。与此同时,通过并行的部分解码器提高解码器中提取语义信息的准确性。此外,反向注意力模块再次强调对重要区域的关注,进一步提高分割结果的精确性。本文提出的网络在Kvasir和ISIC 2018两个公共数据集上的Dice相似系数(DSC)分别为0.8967、0.8762,证明本文网络对医学图像分割的有效性,同时具有较强的泛化能力。将该方法应用于肺肿瘤CT图像LungCancer数据集,评价指标DSC、IoU和F1分别为0.7278、58.83%和67.85%,其结果与基准网络UNeXt和普通CNN网络U-Net、AttU-Net、U-Net++、PraNet相比,DSC、IoU和F1提升幅度分别为0.0301~0.0578、3.16%~4.70%和6.72%~18.53%,结果表明本文提出的网络性能明显优于对比方法。本研究证明RPR-MLP在不同数据集上的有效性和泛化能力,为肺肿瘤图像分割提供重要的技术支持。

基于改进注意力模块的船舶涂装缺陷检测方法

针对人工检测船舶缺陷效率低、传统检测网络准确率差的问题,提出一种基于改进注意力模块(improved convolutional block attention module, ICBAM)的船舶涂装缺陷检测方法.首先,YOLOv4在路径聚合网络中将深度可分离卷积代替常规卷积形成IYOLOv4,减少模型计算量;其次,将ICBAM融入IYOLOv4的路径聚合网络Route层后形成ICBAM-IYOLOv4,ICBAM在通道上构建多频率通道改善全局平均池化,利用一维卷积代替全连接层聚合相邻通道间的信息,减少模型参数;然后,在空间上融合Inception v3思想和特征分层思想改善空洞卷积;最后,在船舶涂装缺陷样本数据增强的基础上,对ICBAM-IYOLOv4进行测试.实验结果表明:ICBAM-IYOLOv4相比其他算法,其损失值更低、收敛更快;平均精度均值(mean average precision, MAP)在训练集和测试集上分别提高了1.89%和1.91%.

基于梯度可感知通道注意力模块的红外小目标检测前去噪网络

红外图像去噪在军事及民用领域应用广泛。现有基于深度学习的图像去噪方法主要为可见光图像设计,此类方法容易过度平滑图像细节,从而导致弱小目标丢失,为后续的检测任务带来困难。为了在去除噪声的同时保留好红外图像中的目标信息,本文提出了一种基于梯度可感知通道注意力模块的红外弱小目标检测前去噪网络。该网络首先采用编码器-解码器结构来去除图像中的加性噪声,然后通过梯度可感知通道注意力模块对图像高频区域进行自适应增强,有效保持红外弱小目标的响应强度。此外,本文提出了领域第一个包含3981张含噪声的红外图像数据集。实验结果表明,该网络能够在有效去除加性噪声的同时避免过度平滑,很好地保留了红外图像中的目标信息,最终实现了在含噪声环境下的高鲁棒性红外弱小目标检测。

基于注意力模块的移动设备多场景持续身份认证

针对用户与移动设备交互时会产生场景变化,现有工作中只能采集特定的单一场景特征,无法实现多场景转换认证,并且身份认证准确率较低的问题,提出了一种基于移动模式的、注意力模块和卷积神经网络融合(CNNSACA)的多场景持续认证方案。在不限使用场景和操作的情况下,提取用户与移动设备交互时的移动模式(movement patterns,MP)特征,捕捉在动态和静态场景下产生的手部微运动,从而实现多场景的身份认证。设计并使用了一个包括五层卷积层结构的卷积神经网络,在第一层卷积后按序通过改进的空间和通道注意力子模块,再在多层卷积后进行反序分配权重,从两个维度来对通过卷积后所表征的MP特征分配双重注意力权重,增强关键特征表达。利用公开数据集验证所提方案在多场景身份认证方面的有效性和可行性。实验结果表明,所提出的基于移动模式的深度学习模型可以较好地解决身份认证场景单一的局限性,多场景的身份认证的准确率达到99.6%;同时,所提出的CNN-SACA模型与单独的CNN模型相比准确率提高了1.5个百分点,有效改善多场景下的移动设备身份认证能力。

基于解耦注意力与幻影卷积的轻量级人体姿态估计

随着轻量级网络的发展,人体姿态估计任务得以在计算资源有限的设备上执行,然而,提升精度变得更具有挑战性。这些挑战主要源于网络复杂度与计算资源的矛盾,导致模型在简化时牺牲了表示能力。针对上述问题,提出一种基于解耦注意力和幻影卷积的轻量级人体姿态估计网络(DGLNet)。具体来说,DGLNet以小型高分辨率网络(Small HRNet)模型为基础架构,通过引入解耦注意力机制构建DFDbottleneck模块;采用shuffleblock的结构对基础模块进行重新设计,即用轻量级幻影卷积替代计算量大的点卷积,并利用解耦注意力机制增强模块性能,从而构建DGBblock模块;此外,用幻影卷积和解耦注意力重新构建的深度可分离卷积模块来替代原过渡层模块,从而构建GSCtransition模块,进一步减少计算量并增强特征交互性和提高性能。在COCO验证集上的实验结果显示,DGLNet优于轻量级高分辨率网络(Lite-HRNet),在计算量和参数量不增加的情况下,最高精度达到了71.9%;与常见的轻量级姿态估计网络MobileNetV2和ShuffleNetV2相比,DGLNet在仅使用21.2%和25.0%的计算量情况下分别实现了4.6和8.3个百分点的精度提升;在AP~(50)的评价标准上,DGLNet超过了大型高分辨率网络(HRNet)的同时计算量和参数量远小于HRNet。

基于非对称多解码器和注意力模块的三维肾脏影像结构分割模型

针对肾脏结构中,因不同结构间差异大,动静脉体积小、结构薄及计算机断层扫描血管造影(CTA)图像灰度分布不均和伪影带来的精确分割困难的问题,提出基于非对称多解码器和注意力模块的三维肾脏影像结构分割模型MDAUnet(MultiDecoder-Attention-Unet)。首先,针对不同结构间差异大导致网络无法共享权重的问题,采用多解码器结构,为语义结构不同的特征结构匹配不同的解码器分支;其次,针对血管体积小、结构薄难分割的问题,引入非对称的空间通道联合注意力模块使模型更关注管状结构,并对学习到的特征信息同时进行空间维度和通道维度的校准;最后,为了保证模型在反向传播中对血管结构有足够的关注,提出改进的加权硬区域适应损失(WHRA)作为损失函数来动态保持训练过程中血管结构的类间平衡以及保留背景信息的特征;此外,为了提高特征图灰度值的对比度,将传统图像处理边缘检测算子嵌入模型的预处理阶段,对待分割的感兴趣区域边界进行特征增强使模型更关注边界信息并抑制伪影信息。实验结果表明:所提出的MDAUnet模型在肾脏结构分割任务上的Dice相似系数(DSC),豪斯多夫距离95(HD95)和平均表面距离(AVD)分别为89.1%,1.76 mm和1.04 mm;在DSC指标上,与次优的MGANet(Meta Greyscale Adaptive Network)相比,MDAUnet提升了1.2个百分点;在HD95和ASD指标上,与次优的UNETR(UNEt TRansformers)相比,MDAUnet分别降低了0.87 mm和0.45 mm。可见MDAUnet能有效提高肾脏三维结构分割精度,有助于医生在临床手术中客观有效地评估病情。

结合超轻量级双注意力模块的ShuffleNetV2面部表情识别

针对面部表情识别领域中难以同时实现低参数量与高准确率的挑战,提出了一种结合注意力机制的ShuffleNetV2网络的面部表情识别方法。该方法基于ShuffleNetV2架构,通过微调模型将Relu激活函数替换为PRelu激活函数,进一步提升了模型的特征捕获与分类能力。此外,本文创新性地引入了一种超轻量级双注意力模块LDAM,该模块结合了DCAM注意力机制与空间注意力机制,并通过捷径连接技术集成到优化后的ShuffleNetV2模型中,以增强模型对细节特征的识别能力及分类效果。在FER2013和CK+两大公认的面部表情识别数据集上的实验结果显示,本方法分别达到了69.12%和94.77%的识别准确率,同时保持了低至1.25的模型参数量。这一成果不仅展示了在保持模型轻量化的同时提升识别性能的可能性,而且通过实验验证了所提出方法的高效性和实用性。

融合注意力模块的双结构金字塔场景解析网络

【目的】改善原始图像信息丢失及图像分辨率下降的问题,提高图像语义分割的精度。【方法】提出融合注意力模块的双结构金字塔场景解析网络模型,并利用该模型对图像进行语义分割。首先,使用MobileNet V2模块提取原始图像的主干特征;其次,将特征图送入金字塔池化模块1中,获取上下文信息;然后,使用注意力模块关注重要特征,并对浅层信息进行综合,得到中间特征图;接着,将中间特征图送入金字塔池化模块2,融合局部和全局信息;最后,利用丰富的浅层和深层信息对原始图像进行分割。【结果】在PASCAL VOC 2007数据集上进行的试验表明,平均像素精度和平均交并比分别达到85.64%和78.12%,比金字塔场景解析网络的分别提高了4.95个百分点和12.31个百分点。【结论】本文模型有效解决了图像分割中信息丢失和分辨率下降问题。

基于全卷积去噪自编码器与卷积块注意力模块的非侵入式居民负荷分解模型

为了进一步提高低频居民负荷分解模型的分解精度与泛化能力,提出一种基于全卷积去噪自编码器与卷积块注意力模块的非侵入式居民负荷分解模型,该模型能够深度解析单一电器的功率曲线。基于全卷积去噪自编码器分别构建主回归子任务网络和辅助分类子任务网络;在子任务网络中,通过引入卷积块注意力模块自适应分配特征注意力权重,以减小不重要因素在模型训练过程中的影响;将辅助分类子任务网络的输出作为主回归子任务网络输出的门控单元,实现最终的负荷分解。基于公开数据集的算例结果表明,所提负荷分解模型比现有负荷分解模型具有更优的分解精度和泛化能力。

注意力改进的动态自组织模块化神经网络结构设计及应用

针对混沌时间序列的复杂性和非线性特点,提出了一种专注于此类挑战的新型神经网络模型,即注意力改进的动态自组织模块化神经网络模型(ADAMNN)。该模型基于分而治之的思想,通过注意力机制计算不同子网络与输入数据的相似度,并利用层次聚类自适应地划分子网络。随后,采用基于层次聚类的动态生长机制,对子网络簇进行增减,最后通过激活的子网络簇对输入样本进行在线学习;同时,结合传统的集成输出方法,提出了一种基于注意力机制的子网络加权集成输出方法。最终分别在Mackey-Glass时间序列、M-G快时变时间序列、非线性系统辨识、煤矿开采过程中在瓦斯浓度数据集上进行了实验,ADAMNN展现出了实时更新子网络中心、动态构建子网络簇的能力,而且与基于欧几里得空间的动态自适应模块化神经网络相比,预测准确度提高了约40%。

基于实例归一化的通道注意力模块

传统通道注意力模块在构建池化层和下采样层获取特征图通道权重时,不仅增加大量参数而且极大提高了模型的复杂度。为解决上述问题,提出一种实例归一化通道注意力模块(Instance Normalization Channel Attention Module,INCAM),通过采用实例归一化中的缩放变量度量方差来捕捉特征图通道权重,仅增加少量参数即可获得明显的性能增益。在CIFAR-100和CIFAR-10数据集上的大量实验表明,相对于原始的Res Net-50,嵌入INCAM的Res Net-50在Top-1 Error上降低了11.20%,而参数量仅增加了0.12%,并与其它注意力模块相比更加轻量和高效。

结合注意力和细化模块的反无人机目标跟踪

为解决反无人机过程中常见的背景变换、定位不佳、飞出取景范围和长时跟踪等问题,以SiamCAR为基础,提出结合注意力机制和细化模块的目标跟踪算法SiamGR以及融合目标检测算法的变体SiamGR-FR。首先,在主干网络中加入全局注意力机制(global attention mechanism,GAM)来提升复杂背景下的特征表征能力;然后,使用Alpha-Refine模块对跟踪器输出的结果进一步细化以获得无人机目标更精确的定位;最后针对长时跟踪以及无人机飞出取景范围等情况,融合目标检测算法Faster-RCNN对目标进行重定位并重置跟踪器来显著提升跟踪效果。在DUT Anti-UAV数据集上,SiamGR以及SiamGR-FR算法的成功率和精确率分别达到了61.5%、84.2%和66.2%、94.6%,相比基准算法分别提升了5.3%、3.4%和10%、13.8%,在反无人机场景中优于目前主流的算法。研究结果可为视频反无人机目标跟踪提供参考。

基于海马MRI数据的三维DenseNet和通道注意力模块相结合的阿尔茨海默病分类模型研究

目的:为了提高阿尔茨海默病(Alzheimer’s disease,AD)分类的准确率,构建一种基于海马MRI数据的DenseNet和通道注意力模块(channel attention module,CAM)相结合的AD分类模型。方法:首先,通过结构磁共振图像提取海马感兴趣区。其次,通过优化网络结构将三维DenseNet与CAM相结合构建基于海马感兴趣区的AD分类模型(三维CAM-DenseNet模型)。最后,为验证该模型的分类性能,将该模型与多个三维DenseNet模型进行比较,并验证加入纵向数据后对模型分类性能的影响;为评估模型的泛化性,将该模型在3个独立测试集上进行检验。结果:三维CAM-DenseNet模型在区分AD患者与认知正常受试者的分类任务中平均准确率为95.2%、敏感度为91.9%、特异度为97.8%、AUC值为94.9%,优于其他三维DenseNet模型;在轻度认知障碍相关分类任务中,加入纵向数据可以提升模型的分类性能;训练好的模型在3个独立测试集中均表现出良好的泛化性能。结论:构建的三维CAM-DenseNet模型分类准确率高、泛化性好,适用于AD分类研究。