融合多尺度通道注意力的开放词汇语义分割模型SAN

随着视觉语言模型的发展,开放词汇方法在识别带注释的标签空间之外的类别方面具有广泛应用。相比于弱监督和零样本方法,开放词汇方法被证明更加通用和有效。文章研究的目标是改进面向开放词汇分割的轻量化模型SAN,即引入基于多尺度通道注意力的特征融合机制AFF来改进该模型,并改进原始SAN结构中的双分支特征融合方法。然后在多个语义分割基准上评估了该改进算法,结果显示在几乎不改变参数量的情况下,模型表现有所提升。这一改进方案有助于简化未来开放词汇语义分割的研究。

基于U形多尺度注意力方法的真实图像去噪

针对真实世界图像去噪算法存在对上下文信息和全局信息利用不足导致的去噪效果不佳问题,提出一种U形金字塔注意力网络(UPCA)。U形结构由多尺度特征模块与长距离通道注意力模块融合形成的金字塔注意力模块组成,U形结构通过拼接操作可以将每一层的输出特征图融合,减少卷积过程以及下采样过程中图像细节特征的丢失。多尺度特征金字塔模块可以更好地利用上下文信息从而更好地恢复出干净的图像,而建立长距离依赖的通道注意力模块可以更好地利用全局信息,提高网络的去噪效果。同时在损失函数部分加入噪声项来加快训练时收敛的速度以及提高去噪效果。UPCA网络在数据集SIDD和DND进行对比实验,验证了UPCA网络的可行性和先进性,同时与同样使用通道注意力的RIDNet相比UPCA网络的PSNR/SSIM指标提升了0.81 dB/0.044,去噪后的效果图直观表现也更好,而且同等参数下训练所需的算力更小。

基于双通道多尺度注意力机制的光伏板裂缝检测方法

针对目前传统边缘检测方法提取出的图像边缘轮廓模糊、不连续等问题,提出一种基于双通道多尺度注意力机制的光伏板裂缝检测方法,实现对图像低级边缘、边界、目标轮廓的检测;首先构建了双通道主干网络,包含语义分支通道和空间细节分支通道;其次,基于多尺度原则构建了多尺度及注意力机制模块,对特征图像的高、宽、通道的维度变换,分配特征权重,在捕捉跨通道信息的同时,还能够捕捉方向感知和位置感知的信息;最后将空洞融合模块融合到语义分支通道中,提升网络提取特征信息的能力。实验结果表明,所提出的算法对光伏板图像边缘检测性能有提升,相较HED、RCF与FCN算法,F_(1)值提升了2.83%、0.37%与1.54%,获得了较为清晰的裂缝图像。

网状多尺度与双向通道注意力的铁路场景语义分割

语义分割是智能感知的基础。本文针对复杂铁路场景类别易混淆及有效特征难提取的问题,提出一种基于网状多尺度融合与双向通道注意力的铁路场景语义分割网络。为增强模型对各类铁路设施的判别能力,提出网状多尺度融合模块。该模块嵌入主干网络,获取不同尺度的特征并行连接,并在融合层进行网状信息交互,实现不同分支的特征融合。通过汇聚其他分支输入,模型输出可同时保留多分辨率特征。为提升复杂铁路场景下有效特征的提取性能,提出双向通道注意力模块。正向通道注意力模块位于主干网络上下采样操作后,使输出特征图由不同尺度的输入特征加权重组,从而自适应地提升有效特征的表达;反向通道注意力模块插入模型最终输出之前,保留底层空间信息的同时,生成有效高阶语义信息。在RailSem19铁路数据集上的实验结果表明,本文所述方法对于易混淆类别,以及轨道区域、接触网立柱、列车及防护栅栏等铁路设施类别的分割性能均有显著提升,m IoU达到65.12%,相比于其他方法有一定提升。

基于多尺度通道注意力机制的行为识别方法

针对可穿戴行为识别任务中小尺度的感受野难以提取长序列关联,大尺度感受野会导致特征压缩降低网络对信号特征的分辨率的问题。提出了一种基于多尺度通道注意力机制的行为识别方法。首先,从多个感受野提取时间特征和传感器通道特征,在保证信号具有低语义特征的同时提取信号的高语义特征;其次,在多尺度特征图之间建立跨通道关联,保证低语义特征和高语义特征之间的交互。多尺度通道注意力机制能够充分融合多尺度特征和多个特征图的关联信息,增强对微弱信号和剧烈信号的识别能力。在UCIHAR、DSADS、PAMAP2和UniMib-SHAR数据集上进行了对比实验,结果表明MSCA-HAR方法相比目前的主流方法在4个数据集上的分类准确率分别提升0.43%,0.75%,2.90%和0.83%。

轻量化的多尺度跨通道注意力煤流检测网络

为通过变频调速提高带式输送机运行效率,需要对带式输送机煤流进行检测。现有基于深度学习的带式输送机煤流检测方法难以在模型轻量化和分类准确度之间达到平衡,且很少考虑在特征提取过程中通道权重分布不平衡对检测准确度的影响。针对上述问题,提出了一种轻量化的多尺度跨通道注意力煤流检测网络,该网络由特征提取网络和分类网络组成。将轻量化的残差网络ResNet18作为特征提取网络,并在此基础上引入煤流通道注意力(CFCA)子网络,CFCA子网络采用多个卷积核大小不同的一维卷积,并对一维卷积的输出进行堆叠,以捕获特征图中不同尺度的跨通道交互关系,实现对特征图权重的重新分配,从而提高特征提取网络的语义表达能力。分类网络由3个全连接层构成,其将向量化的特征提取网络的输出作为输入,并对其进行非线性映射,最终得到“煤少”、“煤适中”、“煤多”3类结果的概率分布,通过将煤流检测问题转换为图像分类问题,避免瞬时煤流量波动过大导致带式输送机频繁变频调速的问题,提高带式输送机运行稳定性。实验结果表明,ResNet18+CFCA网络在几乎不增加网络参数量和计算复杂度的情况下,比ResNet18网络在分类准确率上提升了1.6%,可更加有效地区分图像中的前景信息,准确提取煤流特征。

多尺度注意力交互式图像去噪网络

图像去噪中,针对去噪网络提取图像细节信息不全面和特征利用率低的问题,提出一种基于深度学习的多尺度注意力交互式图像去噪网络(MAINet)。首先,对于浅层像素级特征采用多尺度特征提取块获取丰富的上下文信息和图像纹理特征,以保证图像信息的完整性;然后,引入双路通道注意力机制指导网络获取更具判别性的特征信息,抑制不期望的噪声,从而进一步优化特征信息;最后,利用分类密集残差块的密集连接和成对卷积操作增强模型的交互性,对全局多层次特征进行联合学习,提取更高质量的语义级特征,以提升去噪网络的性能。实验结果表明,在定量和定性评估方面,所提出的去噪网络在合成噪声和真实噪声两种数据集上的去噪效果都有所提升。

多尺度注意力融合的图像超分辨率重建

光学成像分辨率受衍射极限、探测器尺寸等诸多因素限制。为了获得细节更丰富、纹理更清晰的超分辨率图像,本文提出了一种多尺度特征注意力融合残差网络。首先,使用一层卷积提取图像的浅层特征,之后,通过级联的多尺度特征提取单元提取多尺度特征,多尺度特征提取单元中引入通道注意力模块自适应地校正特征通道的权重,以提高对高频信息的关注度。将网络中的浅层特征和每个多尺度特征提取单元的输出作为全局特征融合重建的层次特征。最后,利用残差分支引入浅层特征和多级图像特征,重建出高分辨率图像。算法使用Charbonnier损失函数使训练更加稳定,收敛速度更快。在国际基准数据集上的对比实验表明:该模型的客观指标优于大多数最先进的方法。尤其在Set5数据集上,4倍重建结果的PSNR指标提升了0.39 dB,SSIM指标提升至0.8992,且算法主观视觉效果更好。

结合多通道注意力机制的目标检测

在计算机图像处理中,注意力机制能够有效帮助深度网络更好地关注相关目标区域。为提高目标检测性能,提出多通道注意力机制;上述方法由多分通道注意力机制和扩大感受野模块组成,其中多分通道注意力机制是对原始特征图进行可学习区域划分,对不同区域分别使用通道注意力机制;扩大感受野模块是在扩大感受野的同时对独立通道进行加权,并建立全局通道关系。在不同目标检测网络中验证所提方法,网络性能均有所提高。新方法优于传统的注意力机制,在增加微小计算成本的情况下有效提高目标检测的精度。

基于多尺度卷积自注意力的多维时间序列预测

现有的多维时间序列(mutivariate time series, MTS)预测模型大多关注序列变量间的时空依赖关系,没有考虑MTS各变量上取值的典型变化趋势,即局部上下文模式(local context pattern, LCP)。为此设计一种基于因果卷积自注意力和图卷积网络的MTS预测模型,通过多通道多尺度因果卷积提取MTS各变量的多尺度LCP特征,采用多头自注意力机制捕获多尺度LCP间的时序依赖关系,由图卷积网络提取多尺度LCP时序特征之间的空间依赖关系。在4个公开MTS数据集上的结果表明了该预测方法预测性能的优越性。

MSE-UNet:基于多尺度特征和注意力机制的细胞分割模型

细胞图像的自动分割是目前非常困难且具有挑战性的问题.在U-Net网络的基础上,增加了多尺度跳跃连接,引入了通道注意力模块,提出一种改进的网络模型MSE-UNet(multiscale skip connection-squeeze and excitation-UNet).多尺度跳跃连接将不同层次的信息巧妙地结合在一起且避免了冗余,能更加精确地分割出目标,有效地解决了细胞边界不明确的问题.通道注意力模块学习各个通道的重要性,从而使重要的特征通道占据更大的比重,在最终呈现的输出图像中展现出分割网络重点关注的部分,有效解决背景杂乱的问题.在两个公开数据集和一个自建数据集上进行测试,实验结果显示,与最近几年提出的细胞分割模型相比,该模型具有更好的性能.

多尺度通道注意与孪生网络的目标跟踪算法

在全卷积分类和回归的Siamese目标跟踪算法的基础上,提出了一种融合多尺度通道注意力的目标跟踪算法(Siamese multi-scale channel attention,SiamMCA)。算法基于Siamese网络架构,以多尺度通道注意力融合改进后的ResNet50作为骨干网络进行特征提取与增强,并利用深度互相关网络对特征图进行解码和跟踪,最终成功进行融合、分类和回归。SiamMCA通过充分利用多尺度通道注意力的语义信息整合功能,整合了空间信息和运动信息,提升了跟踪器的性能。最终分别在OTB100、VOT2016数据集上和LaSOT长期基准上的实验表明,SiamMCA与其他先进的跟踪器相比取得了更高的精度、成功率和性能表现,尤其是在快速运动、遮挡、相似性干扰、尺度变化等复杂场景中。

基于注意力和多尺度特征交互的遥感图像目标检测

遥感图像目标检测存在目标尺寸变化大、小目标排列密集、背景信息复杂等问题,针对这些问题,提出了端到端的遥感图像目标检测网络AMFI-RetinaNet(Attention and Multi-scale Feature Interactive-RetinaNet)来提高特征的判别能力。首先,提出了卷积注意力来增强特征的空间信息,并结合通道注意力来增强特征的通道信息,该注意力模块位于特征提取网络的低层,能有效突出关键的细节特征,并提高网络对小目标的检测能力。此外,还提出了多尺度特征交互模板,通过相邻两层特征的交互,使低层特征信息流向高层,在特征金字塔结构后引入该模块,进一步提高了网络对多尺度目标的检测性能。在RSOD数据集和NWPU VHR-10数据集上进行实验,该方法比原RetinaNet网络的平均检测精度分别提升了2%和1.1%,实验结果表明提出的AMFI-RetinaNet网络可以更精确地对遥感图像目标进行检测和定位。

多尺度选择注意力的双模态目标追踪算法

与可见光相比,红外光在部分复杂环境下仍能保持追踪目标的图像捕捉能力。因此,红外光图像可帮助计算机视觉跟踪算法提高目标跟踪的精度和鲁棒性。但在真实的目标追踪序列场景中,跟踪画面还存在眩光、形变和镜头抖动等干扰。为抵御此类干扰,提出了一种使用多尺度选择注意力的红外可见光融合目标跟踪算法(Selective Kernel Attention Fusion Tracking Network,SKANet)。该算法利用多尺度卷积核以及通道选择注意力,提取不同尺度大小的目标特征并将模型权重聚焦于质量较高的特征图、降低干扰带来的不利影响,从而提高模型的跟踪性能。通过在RGBT234和GTOT数据集上的验证结果表明,该算法可有效抵抗画面中干扰情况带来的不利影响,实现高精度的目标追踪。

基于高效通道注意力机制与多尺度特征融合的烟丝图像识别方法研究

针对现有方法在识别烟丝类型中泛化能力差、准确率低的问题,提出了一种基于高效通道注意力机制与多尺度特征融合的烟丝类型识别方法。对采集的梗丝、膨胀叶丝、叶丝和再造烟丝4类烟丝图像进行降噪处理,处理后的图像经K-means聚类得到图像的前景和后景并完成分割,提高输入图像的抗环境干扰能力和特征提取能力。在Inception-ResNet-V2网络中引入高效通道注意力机制,加强模型提取特征的能力;同时,将改进后的模块输出的特征图进行多尺度融合,增加特征代表性,降低过拟合风险。最后,在比较收敛性和准确性时,用PReLU和AdaBound代替了ReLU激活函数和Adam优化器。结果表明,提出的算法具有较好的泛化能力,能实现4类烟丝高效识别,最终识别精度为97.23%,单幅图像的检测时间为0.107 s。

结合多尺度通道注意力和边界增强的2D医学图像分割

二维(2D)医学图像分割在疾病诊断和计算机辅助治疗中具有重要作用.针对2D医学图像由于目标大小、形状不一以及边界模糊而难以精确分割的问题,提出一种结合多尺度通道注意力和边界增强的2D医学图像分割方法.首先以2D医学图像作为输入,并利用编码器和边界增强模块从中分别提取出高级特征图和边界分割结果;然后利用多尺度通道注意力模块从高级特征图中提取出不同尺度的上下文信息,增强其中有用的特征并抑制无用的特征响应;最后将得到的上下文信息传入解码器中获得区域分割结果,并与边界分割结果进行整合,得到最终的分割结果.为了化解医学图像中出现的数据不平衡问题,提出一种自定义的损失函数.在包含残根的牙齿全景片、包含龋齿的牙齿全景片、视网膜血管和皮肤病灶4个数据集上的实验结果表明,所提方法的分割精确率分别达到了85.63%,70.15%,75.86%和85.92%;与其他医学图像分割方法相比,所提方法表现更佳.

基于空间通道注意力机制与多尺度融合的交通标志识别研究

通过YOLOV3深度神经网络算法可以实现道路交通标志的自动检测与识别,由于YOLOV3运算量较大,很难在小型嵌入式平台上使用,针对这一问题,文中提出了改进型的轻量化YOLOV3-3ctiny神经网络模型。为了融合浅层特征图的空间信息与深层特征图的语义信息,将第19层卷积层通过上采样后与第7层卷积层相连接,多尺度融合后输入YOLO层形成新的特征金字塔,以此提高小目标的识别率。同时,为使网络更加关注交通标志的细节信息,在特征金字塔网络中增添能够增强前景信息降低背景信息的空间通道注意力机制。使用Kmeans聚类算法对数据集作聚类处理,获得一组先验框。在长沙理工大学交通标志数据集上进行测试,实验结果表明,改进后算法的识别率达到91.8%,与YOLOV3-tiny算法相比提高了24.9个百分点,而与YOLOV3算法相比,每张图片的检测时间降低至0.133s,降低了49.6%,该算法具有较强的实时性和准确性。

基于多尺度融合和注意力的前方车辆检测方法

论文提出了一种基于多尺度特征融合和通道注意力机制的神经网络方法,用于精确地检测前方车辆。该文提出的MSCA-Y模型是在YOLOv4的基础上结合了两个关键的见解:1)提出了一个高效的多尺度特征融合网络。在充分利用主干网络的特征表示能力的基础上,有效融合多尺度特征图的空间信息,以增强检测微型车辆的性能;2)引入了通道注意力机制。通过加强对车辆各种姿态上关键部位的特征关注度,以进一步在复杂检测任务中获得更好的检测性能。为了证明方法的有效性,论文在KITTI数据集上评估模型。实验表明,该方法在KITTI数据集的基准上取得了较高的mAP(在困难子集中达到了87.12%)。

基于多尺度通道注意力机制的人体姿态估计

人体姿态估计是当前的研究热点,可应用在动作识别、人机交互、医疗监护、运动分析、虚拟现实等方面。人体姿态估计主要从输入数据中获取人体的关键节点,比如肩膀、手肘、膝盖。鉴于现有深度学习算法在遮挡情况下存在识别不准确的情况,通过多尺度通道注意力机制对人体姿态估计的任务进行算法优化,核心思想是获取特征图的通道权重,聚合本地和全局特征的上下文信息。通过多个尺度自适应地融合通道维度的权重,实现对通道信息的加强,也就是选择性地增强重要特征和抑制无意义的特征。实验以SimpleBaseline为基准网络,插入多尺度通道注意力模块后,在MPII人体姿态数据集上进行训练和测试,达到88.402%的精度。实验在COCO数据集上进行训练和测试达到72.8的AP结果。

基于多尺度注意力导向网络的单目图像深度估计

针对现有基于深度学习的单目图像深度估计算法存在的空间分辨率低和边缘模糊等问题,提出了一种基于多尺度注意力导向网络的单目图像深度估计算法。首先设计了一个端到端的编码器-解码器模型,编码器以多个尺度进行特征提取。为了保证更好的深度连续性,解码器结合残差学习以及通道注意力融合,对提取的多尺度特征逐步优化细节以及场景结构。考虑到多次下采样会导致深度图细节的丢失,设计了边界增强模块,通过引入空间注意力,提升不同物体的类间对比度以增强图像的边界细节。最后,优化模块融合来自解码器和边界增强模块的多尺度特征,生成深度图像。实验结果表明,与当前主流的算法相比,文中算法生成的深度图像质量得到了提高,表现出了更细致的物体轮廓信息,在客观指标和主观效果上均有良好的表现。