基于有效感受野和注意力融合机制的脑肿瘤全自动分割

深度学习在医学图像分割领域取得了显著成果,但其在脑肿瘤分割任务中,仍面临感受野不足、冗余信息过多、信息丢失等问题;为此,本研究提出一种基于编-解码结构的脑肿瘤分割网络模型(EAU-Net)。EAU-Net采用有效感受野拓展模块和注意力融合模块改善脑肿瘤分割网络感受野不足与冗余信息过多带来的不利影响;同时,引入基于倒残差结构的瓶颈重采样模块,有效避免上下采样时造成的信息损失,并采用深度卷积降低网络的计算量。在BraTS2020数据集上的实验结果表明,EAU-Net获得最优的分割精度,验证了其在脑肿瘤分割任务中的可行性和有效性。

一种新的基于通道-空间融合注意力及SwinT的细粒度图像分类算法

细粒度图像分类是计算机视觉领域的一大分类任务,其难点在于如何通过类别监督信息自主地找到判别性区域.提出一种新的通道-空间融合注意力模块,基于该模块设计了一种新的Swin Transformer算法SwinT⁃NCSA(a Swin Transformer based on a novel channel⁃spatial attention module),分别从通道维和空间维同时提取特征,再将其融入到Swin Transformer模型中以提高其小尺度中多头注意力信息的提取能力.SwinT⁃NCSA算法特别关注了对分类有用的区域,同时忽视对分类无用的背景区域,以此在细粒度图像分类任务中达到较高的分类准确率.在FGVC Aircraft飞机数据集、CUB-200-2011鸟类数据集和Stanford Cars车类数据集3个公共数据集上的实验表明,SwinT⁃NCSA算法可以分别取得93.3%、88.4%和94.7%的准确率,优于同类算法.

基于注意力机制的自然场景文本检测算法

针对目前主流场景文本检测算法在进行多尺度特征融合时不能够充分利用高、低层信息造成的文本漏检,以及长文本边界检测错误的问题,本文提出一种应用注意力机制的多尺度特征融合与残差坐标注意力的场景文本检测算法。该算法将注意力特征融合模块嵌入到金字塔中,通过纠正不同尺度特征的不一致性来提取更多的细节信息,以改善文本的漏检;在融合之后,使用残差坐标注意力模块在纵、横两个方向上捕获方向感知和位置敏感信息,细化边界信息,以优化长文本检测的效果。通过在公开数据集ICDAR 2015和Total-Text上的实验结果表明,该算法在F分数上分别达到了85.5%和83.6%,在推理速度上分别达到了22.4 FPS和40 FPS,相较于DBNet网络,在推理速度上略有下降,但在F分数上分别提高3.2%和0.8%。

多区域融合注意力网络模型下的核性白内障分类

目的核性白内障是主要致盲和导致视觉损害的眼科疾病,早期干预和白内障手术可以有效改善患者的视力和生活质量。眼前节光学相干断层成像图像(anterior segment optical coherence tomography,AS-OCT)能够非接触、客观和快速地获取白内障混浊信息。临床研究已经发现在AS-OCT图像中核性白内障严重程度与核性区域像素特征,如均值存在强相关性和高可重复性。但目前基于AS-OCT图像的自动核性白内障分类工作较少且分类结果还有较大提升空间。为此,本文提出一种新颖的多区域融合注意力网络(multi-region fusion attention network,MRA-Net)对AS-OCT图像中的核性白内障严重程度进行精准分类。方法在提出的多区域融合注意力模型中,本文设计了一个多区域融合注意力模块(multi-region fusion attention,MRA),对不同核性区域特征表示进行融合来增强分类结果;另外,本文验证了以人和眼为单位的AS-OCT图像数据集拆分方式对核性白内障分类结果的影响。结果在一个自建的AS-OCT图像数据集上结果表明,本文模型的总体分类准确率为87.78%,比对比方法至少提高了1%。在10种分类算法上的结果表明:以眼为单位的AS-OCT数据集优于以人为单位的AS-OCT数据集的分类结果,F1和Kappa评价指标分别最大提升了4.03%和8%。结论本文模型考虑了特征图不同区域特征分布的差异性,使核性白内障分类更加准确;不同数据集拆分方式的结果表明,考虑到同一个人两只眼的核性白内障严重程度相似,建议白内障的AS-OCT图像数据集拆分以人为单位。

基于深度学习的息肉分割网络GLIA-Net

随着卷积神经网络的发展,现有改进的息肉分割U-Net网络能有效提高息肉分割准确率,但引入了大量参数,导致模型复杂度增大且计算效率降低。提出具有低复杂度、高性能的网络GLIA-Net,用于分割内窥镜图像中的息肉区域。以U-Net为基础架构,在双层卷积后加入全局与局部交互式注意力融合模块。全局注意力基于2个可学习的外部储存器,通过2个级联的线性层和归一化层来实现。局部注意力基于局部跨通道交互策略,将一维卷积代替全连接层,在保证网络性能的同时降低计算复杂度,加快网络的计算速度。结合高效通道注意力和外部注意力的优点,在不引入过多参数量和计算量的前提下融合局部注意力和全局注意力,同时在通道与空间2个维度上引入注意力机制,提取丰富的多尺度语义信息。在Kvasir数据集上的实验结果表明,GLIA-Net的平均交并比、Dice、体积重叠误差分别为69.4%、80.7%和5.0%,与ExfuseNet、SegNet、ResUNet等网络相比,在保证网络计算效率的同时具有较优的分割精度。

基于LSTM的递归网络图像去雨算法

随着深度学习的发展的热潮,单幅图像去雨得到了很大的发展。然而由于雨图像在方向、大小和雨密度的雨纹的不同,使得去雨的工作变得更困难。针对以上问题,提出了一种基于LSTM的递归图像去雨算法,在特征提取方面采用卷积块和残差块相结合,并运用长短期记忆模块(LSTM)进行多层递归去雨,最后通过注意力融合模块进一步提取雨纹特征,对不同方向、大小等雨纹有较强的学习能力,较好地保留了图像的细节,通过在真实数据集和合成数据集上进行实验,证明了该方法的有效性,通过与其他算法的比较,在客观指标和主观效果上优于它们。主观效果去雨更彻底,图像细节更加清晰。在合成数据集Rain100H上PSNR达到30.48,SSIM为0.91,在Rain100L上PSNR达到38.05,SSIM为0.98。