融合多尺度特征和子空间注意力的黏膜下肿瘤检测

计算机辅助检测工具可以帮助医生减少在临床检查中漏检误检的情况,从而提高诊断准确度,同时减轻医生的劳动强度。针对超声胃肠镜检查中黏膜下肿瘤的定位与分类问题,提出了一种融合多尺度特征和子空间注意力的黏膜下肿瘤检测算法(MFSA-YOLOv7t)。首先,移除小目标预测头,在保证精度下使网络轻量化;然后,基于浅层特征提出多尺度特征融合模块,提取肿瘤细节信息;其次,改进上采样结构,在保留上层信息的同时增强感受野;最后,引入子空间位置注意力模块,捕获肿瘤的位置和边界特征,进一步提升黏膜下肿瘤的检测性能。实验表明,MFSA-YOLOv7t在平均精度均值、敏感度以及准确度上分别达到97.32%,96.99%和96.24%,相比YOLOv7-tiny算法检测性能有较大的提升,分别提高了2.39%,2.75%和2.59%。MFSA-YOLOv7t为医生在临床检查中的辅助诊断提供更加可靠的肿瘤类型参考,同时为黏膜下肿瘤的检测提供了一个新的思路和研究方向。

基于动态金字塔和子空间注意力的图像超分辨率重建网络

针对现有单图像超分辨率卷积神经网络存在模型参数过多以及重建失真过大的问题,提出了一种基于动态金字塔结构与子空间注意力模块的轻量级单图像超分辨率网络模型。首先,所采用的动态多尺度金字塔特征组合模块的网络主体由动态卷积和金字塔分组卷积构成。其次,动态卷积可以根据不同的图像内容自适应地进行不同的卷积操作,从而对不同的图像提取出不同的特征;金字塔分组卷积不仅可以更好地提取多尺度图像特征信息,而且能够有效降低网络模型的参数量。最后,在网络模型末端采用子空间注意力模块,将图像的通道空间分为多个子空间,并为每个子空间学习不同的注意力图,这样不仅可以更好地捕获图像的跨通道相关信息,而且可以有效融合各子空间的图像特征信息。与现有主流算法相比,所提方法不仅具有更小的网络模型参数量,而且重建出的超分辨率图像在视觉效果和定量分析方面均能取得更好的表现。

基于子空间特征相互学习的MRI与PET/SPECT图像融合

在医学图像中,MRI图像提供包含细节的纹理结构信息和较好的分辨率,而PET/SPECT图像保留了分子活性信息以及颜色功能信息,因此,将它们进行融合是一项重要的任务。大部分现有的方法在融合过程中存在颜色失真、模糊和噪声等问题。为此,提出了一种新的基于子空间注意力孪生自编码网络(Subspace Attention-Siamese Auto-encoding Network,SSASAEN)来融合MRI和PET/SPECT图像中有意义的信息。在图像融合网络中提出SSA-SAEN,引入了子空间特征相互学习概念,利用子空间注意力模块,使MRI和PET/SPECT图像能够在学习自己特征的同时互相学习彼此的特征,同时减少信息冗余,保证高效、完整的特征提取。此外,通过条件概率模型对所提取的特征进行互补融合,同时将加权保真项、梯度损失项加入到训练网络中,以达到网络优化的目的。在公共数据集上进行的大量定性和定量实验表明,该方法能够得到一幅清晰的融合图像,表明了该方法与其他先进方法相比的优越性和有效性。

基于深度学习的街景下的文本检测

针对自然街景文本角度倾斜、形状弯曲、长度不定等特点,提出一种基于注意力机制的自然街景文本检测方法,通过利用注意力机制的优势,对主干网络提取的特征进行加权融合,从而提升整体网络的检测性能.首先,针对特征金字塔(FPN)横向连接中特征信息丢失的问题,引入注意力融合模块AFFM(Attention Feature Fusion Module),通过计算高维和低维特征的融合权重,来改进原FPN中简单直接相加的特征融合方式,从而减少FPN特征融合过程中文本信息丢失,增强网络的特征提取能力.其次,针对不同尺度特征图中的文本特征,引入一个子空间注意力模块SAM(Subspace Attention Module),通过将多尺度融合特征图按通道划分为数个子空间特征图,分别学习每个子空间中的文本特征权重,使得融合后的特征图包含更多不同尺度的文本特征,从而增强融合特征图对文本实例的表征能力,进而提升网络的检测效果.在公开数据集Total-Text上对模型进行评估,实验结果表明,该算法与目前快速高效的DBNet相比,准确率、召回率和F值分别提高了0.5%、0.4%和0.4%.