全尺度密集卷积U型网络的视网膜血管分割算法

针对视网膜图像中血管尺度跨度大、细小血管与背景高度相似导致误分割和未分割等问题,提出一种全尺度密集卷积U型网络的视网膜血管分割方法。为提取更复杂的特征信息,构建级联卷积融合密集块(cascade convolutional fusion dense blocks, CCF-DB)作为U型网络的编解码器用以提取视网膜血管的特征信息;在网络最底端嵌入混合注意力级联卷积密集块(mixed attention cascaded convolutional dense block, MACC-DB),进一步提升感受野,获取更高维的语义特征信息;在模型的解码部分采用全尺度的跳跃连接,捕获不同尺度下的血管特征信息,提升模型的分割精度。实验结果表明,在DRIVE数据集上,相比于U-Net、U-Net3+、SA-Unet、FR-Unet等算法,此算法的AUC值达到了98.26%,准确率为95.82%;在CHASE-DB1数据集上,此算法的AUC值达98.84%,准确率达96.66%。采用此算法进行视网膜血管分割,分割的精度和鲁棒性均有不同程度的提升,对细小血管分割达到了优良的效果。

基于多感受野与多尺度融合的草莓病害分割算法

针对草莓病害在区域分割时存在背景复杂、目标较小导致难以被有效分割等问题,提出一种基于多感受野与多尺度融合的草莓病害分割算法。首先搭建了U-Net基础模型,使用结合注意力机制与残差网络的主干特征提取网络(CBAM-ResNet50)替代U-Net中的主干特征提取网络VGG16,一方面来加强目标区域的表征能力,抑制背景区域,以此实现复杂背景下的病害区域分割问题;另一方面通过残差减少梯度消失,提升模型的收敛速度;接着在特征融合层,设计基于3D无参注意力机制(SimAM)的多尺度自适应特征融合模块,通过邻近特征信息弥补当前层特征的信息丢失,以此提升小目标的检测能力;最后在网络底层设计基于膨胀卷积的多感受野模块,通过不同膨胀率的膨胀卷积来增加特征的全局感受野以实现整体分割区域的感知。结果表明,本研究提出的方法mPA达90.30%,相比于标准U-Net模型提高了7.13百分点,本研究提出的方法能更好地对复杂背景下及小目标病害进行精准分割。

一种轻量化多尺度遥感图像分割方法

遥感图像的语义分割在城市规划和发展中发挥着至关重要的作用。如何对高复杂度、多类别的遥感影像进行自动、快速、有效的语义分割已成为研究的关键。现有的基于深度学习的分割方法存在模型复杂、计算成本较高等问题。提出一种端到端的轻量级多尺度特征提取分割网络(Multi-Scale Feature Extraction and Segmentation Network MSNET),旨在解决在高准确性情况下降低计算成本的问题。主干是基于轻量级网络MobileNetV2的编码网络和基于MSConv的解码网络构成的整个主干,其中MSConv是一种新的多尺度卷积模块。还提出了一种特征融合注意力模块(Feature Fusion Attention Module, MSAM)来有效地整合通道和空间维度上注意机制的全局信息。引入更加轻量化的局部重要性池化(Local Importance Pooling, LIP)代替普通池化操作以及添加了空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling, ASPP)模块进一步提取丰富的特征。在公开数据集WHDLD上进行对比评估,F1达到83.12%,推理时间仅为0.007 4 s。

多尺度残差挤压和激励的双U舌图分割网络

在图像分割中,单次卷积和频繁的池化操作容易产生冗余信息或遗漏关键信息.本文设计了一种多尺度的残差挤压和激励注意力的双U形分割网络(MRSEA-DUNet)来解决上述问题.首先,该网络由两个U形的网络组成,分别是预编码网络和精确分割网络.为避免频繁的卷积和池化操作导致信息丢失或产生无效信息,提出了具有不同大小感受野的阶梯卷积模块(SCM),并采用并行结构,可以在不同尺度上捕获更丰富、更详细的特征.其次,还设计了一种残差挤压和激励注意力模块(RSEAM),可以通过空间和通道提高有效特征增益,消除冗余信息,并且提高了模型的整体鲁棒性.最后,为了减少了降采样操作的数量,简化了纵向复杂度.实验结果表明,本文MRSEA-DUNet模型的精度、Jaccard系数和Dice系数分别达到0.995 4、 0.979 4和0.989 5,均优于其他7种主流模型,优化了分割效果.

基于多尺度特征融合的遥感图像语义分割方法

为提高遥感图像语义分割精度,解决深度卷积神经网络(DCNN)特征提取过程中小尺寸目标信息丢失的问题,提出一种基于多尺度特征融合的语义分割方法FuseSwin。首先,在Swin Transformer中引入注意力增强模块(AEM),以突出目标所在区域并抑制背景噪声的干扰;其次,利用特征金字塔网络(FPN)融合多尺度特征的细节信息和高级语义信息,以补充目标的特征;最后,通过空洞空间金字塔池化(ASPP)模块从融合特征图中进一步捕获目标的上下文信息,提升模型分割精度。实验结果表明,所提方法在Potsdam遥感数据集上的平均像素准确率(mPA)和平均交并比(mIoU),与DeepLabV3方法相比,分别提高了2.34、3.23个百分点;与SegFormer方法相比,分别提高了1.28、1.75个百分点,优于目前主流的分割方法。此外,将所提方法实际应用于广西钦州茅尾海的高分辨率遥感图像中的蚝排识别与分割,分别取得96.21%、91.70%的像素准确率(PA)和交并比(IoU)。

顾及多尺度监督的点云语义分割

针对复杂场景点云分割精度不高、神经网络隐藏单元缺乏直接监督,难以提取语义明确的点云特征等问题,提出了一种将多尺度监督和SCF-Net相结合的点云语义分割网络。首先构建了一个类别信息生成模块,记录编码器中隐藏单元感受野内的类别,用于解码器中辅助分类器的监督学习。其次将解码阶段的点云类别预测任务分解成一系列点云感受野类别预测任务,通过对解码器中每一层添加辅助分类器,预测当前阶段点云感受野类别,编码阶段生成的类别信息作为标签监督网络学习。模型从粗到细地推理点云感受野类别,最终预测得到点云语义标签。实验结果表明,该方法能够有效提取点云关键信息,提高语义分割精度。

基于双分支多尺度特征融合的道路场景语义分割

针对实时场景图像语义分割网络模型难以在分割精度、模型参数量和推理速度中取得平衡的问题,提出了一种轻量级实时语义分割算法.首先,该算法以双分支结构作为该网络的基本结构,并在各个分支中分别对不同分辨率的特征图进行特征信息提取;其次,在高分辨率分支和低分辨率分支中分别加入改进的金字塔切分注意力模块和残差空洞金字塔模块,并在不同分支之间进行了双侧特征融合,以充分融合空间信息和语义信息;最后,设计了特征融合模块,并通过上采样操作对图像进行恢复,以实现图像语义分割.该算法在Cityscapes和Camvid数据集上进行验证,以5.02 M的参数量分别取得了76.8%和70.5%的mIoU,分别达到了56 fps和147 fps的运行速度.

用于多器官分割的多尺度聚合网络研究

多器官分割在病理分析、手术方案制定以及临床诊断上都具有重要的应用价值.但是,一些器官形变较大、尺寸较小且组织边缘模糊,导致分割效果较差.为了解决该问题,提出了一种用于多器官分割的多尺度聚合网络(MSANet).MSANet有两个优势:首先,设计了多尺度边界提取模块,使用多尺度卷积核提取多个特征图,将不同尺度的特征图互相结合,从而聚合全局上下文信息,并提取不同器官的边界和细节信息;其次,设计了聚焦式注意力模块,通过学习的注意力权重来调节特征图的重要性,从而聚焦感兴趣的多器官区域并捕捉不同器官的关键特征,进一步提高分割性能.在两个公开数据集CHAOS和MS-CMRSeg上进行了大量实验.实验结果表明:MSANet在两个数据集上的分割效果均优于当前主流的多器官分割方法,显著提高了多器官分割精度.

融合注意力和多尺度特征的街景图像语义分割

为了解决在街道场景图像语义分割任务中传统U-Net网络在多尺度类别下目标分割的准确率较低和图像上下文特征的关联性较差等问题,提出一种改进U-Net的语义分割网络AS-UNet,实现对街道场景图像的精确分割.首先,在U-Net网络中融入空间通道挤压激励(spatial and channel squeeze&excitation block,scSE)注意力机制模块,在通道和空间两个维度来引导卷积神经网络关注与分割任务相关的语义类别,以提取更多有效的语义信息;其次,为了获取图像的全局上下文信息,聚合多尺度特征图来进行特征增强,将空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)多尺度特征融合模块嵌入到U-Net网络中;最后,通过组合使用交叉熵损失函数和Dice损失函数来解决街道场景目标类别不平衡的问题,进一步提升分割的准确性.实验结果表明,在街道场景Cityscapes数据集和Cam Vid数据集上AS-UNet网络模型的平均交并比(mean intersection over union,MIo U)相较于传统U-Net网络分别提高了3.9%和3.0%,改进的网络模型显著提升了对街道场景图像的分割效果.

集成全尺度融合和循环注意力的医学图像分割网络

深度学习中的编解码网络在图像特征提取和分层特征融合方面具有卓越的性能,常被用于医学图像分割。但是,目前主流的编解码网络分割方法仍面临编码和解码阶段单一网络挖掘的图像特征信息不足,以及仅使用简单的跳跃连接而无法充分利用全尺度特征包含的粗粒度信息和细粒度信息等问题。为了解决上述问题,提出了一种集成全尺度融合和循环注意力的医学图像分割网络。首先,在U-Net编码器中加入了结合多层感知机(MLP)的卷积MLP模块来提取图像的全局特征信息,用于扩大编码器的特征感受野。其次,通过全尺度特征融合模块使得各尺度跳跃连接特征进行粗粒度信息和细粒度信息的有效融合,减小各尺度跳跃连接特征间的语义差异,突出图像的关键特征信息。最后,解码器通过提出的结合循环神经网络(RNN)和注意力机制的循环注意力解码模块(RADU)来逐级精细化图像特征信息,加强特征提取的同时避免信息冗余,并得到高精度分割结果。在4个数据集上将所提方法与主流较优的方法进行比较,所提方法在像素精度和骰子相似系数两个指标上的图像分割精度均有提高。因此,所提出的用于医学图像分割的编解码网络利用全尺度特征融合模块和循环注意力解码模块,能够获得较优异的高精度分割结果,并且模型具有良好的噪声鲁棒性和抗干扰能力。

融合双注意力机制的多尺度胰腺分割方法

为解决CT图像中胰腺边界不规则导致分割精度不高的问题,提出一种融合双注意机制的多尺度U型网络模型。该模型由一个编码器及两个解码器组成,提高特征利用。针对模型中连续下采样导致特征空间信息损失的问题,提出一种金字塔注意力特征融合模块,引入通道和空间两个独立注意力机制,提供多尺度输入信息并行采样,提高边界提取性能,提升分割精度。实验结果表明,该方法在ISICDM 2018数据集上的平均Dice系数为85.35%,具有效性。

基于多尺度融合的轻量级脑肿瘤分割算法

脑肿瘤是一种常见的神经系统疾病,准确的肿瘤分割对于诊断和治疗至关重要。然而,传统的自动分割方法受限于计算复杂度和精度,限制了其实际的临床应用。此外,脑肿瘤在不同尺度下具有多样性,因此需要一种方法来融合多尺度信息以提高分割精度。首先设计一种轻量级脑肿瘤分割模型,通过减小参数量和计算复杂度,使其更适合点对点临床分析;其次,引入了多尺度信息融合策略和注意力机制,以考虑不同尺度下的脑肿瘤特征,提高分割准确度和鲁棒性;最后,实验优化后的模型完整肿瘤、核心区域、增强区域的Dice分数分别为0.851、0.834、0.778,参数量和计算复杂度仅为0.73 M和0.20 G,优于最先进的分割方法。

多尺度信息融合的实时语义分割网络

在自动驾驶、无人机等处理器资源受限的任务中,需要考虑模型的参数量和运算速度,并确保较好的准确性。一些语义分割模型采用并行式结构提取多尺度信息时,使用深度可分离卷积或分组卷积替换常规卷积来降低计算量。但这些操作存在增加网络延迟,降低推理速度的问题。基于此问题,提出一个基于编码器–解码器的实时语义分割模型。编码器阶段,使用部分卷积结合扩张卷积构建不同的并行式模块,用于提取不同阶段的多尺度信息。解码器阶段,使用融合上采样特征的方式。模型在Cityscapes和CamVid数据集上进行实验,平均交并比分别为71.3%和66.8%,运行速度分别为97帧/s和98帧/s,结果表明该模型在分割精度和运行速度之间达到较好平衡。

城市场景分割的多尺度感知融合网络研究

针对道路场景信息多尺度变换的问题,基于编码器-解码器的非对称网络结构,提出一种轻量级多尺度感知融合网络。根据残差网络以及空洞卷积的概念,设计一种新的残差模块Res-SS,在不增加卷积参数的情况下,提高特征提取的效率。设计多尺度感知融合提取模块,提高网络对于道路场景多尺度物体信息的自适应提取能力。为弥补特征提取过程中的低级特征缺失,采用Superpixel模块,将道路场景内低级边缘信息与高级语义信息融合,使得二者互为补充,从而得到高质量的语义分割结果。在Cityscapes数据集上的实验表明,该算法比现有的轻量级城市场景语义分割算法具有更高的精度和鲁棒性。

基于尺度注意知识迁移的自蒸馏目标分割方法

当前的目标分割模型难以兼顾分割性能与推断效率,为此提出一种基于尺度注意知识迁移的自蒸馏目标分割方法。首先,构建了一个仅利用主干特征的目标分割网络作为推断网络,实现高效的前向推断过程。其次,提出了一种基于尺度注意知识的自蒸馏学习模型:一方面,设计了具有尺度注意机制的金字塔特征模块,利用尺度注意机制自适应地捕获不同语义水平的上下文信息,提取更具区分性的自蒸馏知识;另一方面,融合交叉熵、KL(Kullback-Leibler)散度和L2距离构造蒸馏损失,高效驱动蒸馏知识向分割网络迁移,提升泛化性能。该方法在COD(Camouflaged Object Detection)、DUT-O(Dalian University of Technology-OMRON)、SOC(Salient Objects in Clutter)等五个目标分割数据集上进行了验证:将所提推断网络作为基准网络,所提自蒸馏模型分割性能在Fβ指标上平均提升3.01%,比免教师(TF)自蒸馏模型增加了1.00%;所提网络与近期的残差分割网络(R2Net)相比,参数量减少了2.33×10^(6),推断帧率提升了2.53%,浮点运算量减少了40.50%,分割性能提升了0.51%。实验结果表明:所提方法能有效兼顾性能与效率,适用于计算和存储资源受限的应用场景。

基于多尺度几何特征单木点云的语义分割

针对目前地面激光扫描树木点云精确分离枝干点和树叶点成分困难的问题,提出一种基于多尺度几何特征的单木点云语义分割的方法。首先将水曲柳和樟子松样地点云数据进行单木分割,再计算多尺度点云协方差矩阵特征值,之后选择特征分类器,并根据特征值重要性选择最优特征值,最后对树木的枝干叶点云进行分割。通过比较支持向量机(SVM)、极限梯度增强(XGBoost)和随机森林(RF)3种分类器的训练时间和精度,选择XGBoost作为最终的分类器,并根据特征值重要性选择出6种最优特征。结果表明,2块样地枝干点和叶点的分割精度都>0.88,并且F1值和IOU也都在0.8以上。提出的方法能够有效分割出水曲柳和樟子松树叶点云和枝干点云,有较高的识别精度,研究结果为后续单木三维模型构建及生物量估算提供了条件。

融合卷积和Transformer的多尺度肝肿瘤分割方法

精确的肝脏和肝脏肿瘤自动分割方法对帮助医生进行肝癌诊断、治疗和术后观察具有重要的意义。由于卷积的局部性,现有基于卷积的方法难以建立长距离的依赖关系。Transformer的级联注意力机制可以建立全局的信息关联,但是会破坏局部细节。基于此,提出了一种融合卷积和Transformer的特征建模方法。该方法通过混合嵌入的方式交互融合局部表示和全局表示,最大程度地建立不同分辨率下的全局依赖关系。在跳跃连接处通过多级特征融合模块捕捉来自不同编码阶段的上下文信息以获取更丰富的语义信息。为了应对肝脏肿瘤在大小和形状上的变化,使用可变形多尺度模块提取肿瘤的多尺度特征。实验主要采用Dice相关性系数(Dice similarity coefficient,DSC)作为评价指标,在LiTS17数据集上肝脏和肿瘤的DSC分别为0.920和0.748,结果表明提出的网络相比基线具有更准确的肝脏肿瘤分割结果。

全尺度上下文融合网络用于医学细胞核分割

针对细胞核图像边界模糊、对比度低,且细胞间易发生粘连等特点而导致难以准确分割的问题,本文提出了一种全尺度上下文融合网络用于细胞核的精准分割。首先,该模型结合全局上下文信息,设计了一个高级金字塔传导模块,用于对跳跃连接进行重构,为解码器提供全局信息传导流;其次,在编码器顶部创新性地加入了尺度聚合模块,该模块通过自学习可以动态地为不同尺度的目标选择合适的感受野,更好地融合多尺度上下文信息;同时,为了更好地利用最有用的特征通道,在上采样阶段加入了通道注意力机制;最后,使用改进的混合损失函数解决类不平衡的问题。在Data Science Bowl 2018和TCGA 2个数据集上进行实验,结果表明,所提出的算法能够提高对细胞核的分割性能。

基于多尺度特征融合与注意力的肝脏分割方法

由于CT影像对比度低、肝脏形状不规则、相邻器官边界模糊,目前基于卷积神经网络的方法在肝脏分割任务上的表现不佳,尤其是在边界识别和小目标检测方面。基于此,提出一种基于多尺度特征融合与注意力的肝脏分割方法(MFFA UNet)。首先,利用多尺度特征融合获取丰富的分割信息,同时使用空间和通道注意力机制捕获全局空间和通道间的关系。其次,通过深度监督模块充分利用中间隐藏层的输出,增强网络的学习能力,加快网络收敛速度。此外,采用一种混合损失函数,以解决类别不平衡的问题,进一步提升模型的分割效能。实验结果表明,所提出的MFFA UNet方法在公共数据集LITS上的表现超越当前主流分割网络,分割结果更接近真实值。

基于多尺度级联注意网络的肺实质分割

针对肺实质分割任务中不同尺度特征的全局上下文信息利用率低、分割精度低、分割细节模糊等问题,提出一种多尺度级联注意网络(multiscale cascaded attention networks,MCANet)。该网络主要由多尺度特征提取网络(multi-scale feature extraction network,MSFENet)、多尺度注意力引导模块(multi-scale attention guidance module,MSAG)、解码特征整合器(decoding feature integrator,DFI)组成。首先,设计MSFENet以提高特征信息在不同通道维度上的空间交互能力,在采样过程中最大限度地保留图像的关键特征,丰富全局上下文信息。然后,设计MSAG提高模型在解码过程中对多尺度特征信息的利用率,并最大限度地融合两种注意力机制的优势。最后设计DFI,重新整合解码器生成的解码特征,以提高模型对边缘信息的分割性能。在LUNA16数据集上对模型性能进行实验验证,得到了0.993的Dice和3.864的HD,实验结果证明了MCANet与其他主流医学分割模型相比有更优异的分割性能,能更准确地分割肺实质。