U型卷积网络在乳腺医学图像分割中的研究综述

U-Net及其变体模型在乳腺医学图像分割领域展现了卓越的性能,U-Net采用全卷积网络(FCN)结构进行语义分割,U-Net对称结构的高度灵活性和适应性可以通过调整网络深度、引入新的模块来适应不同的图像分割任务和挑战,这种创新结构对后续网络设计产生了深远影响。深入探讨了基于U型卷积网络在乳腺医学图像分割中的应用,并对近年来用于乳腺医学图像分割的U型卷积网络进行了分类与归纳。针对U-Net网络结构改进的乳腺医学图像分割技术进行了如下总结。阐述了目前广泛使用的乳腺医学图像数据集及评价指标,陈述了常用的数据增强方法;详细介绍了U-Net模型的网络结构以及用于乳腺医学图像的传统分割方法;对用于乳腺医学图像分割方法的U型网络结构按照残差结构、多尺度特征、膨胀机制、注意力机制、跳跃连接机制、结合Transformer等方面改进进行归纳总结。讨论了当下乳腺医学图像分割所遇到的问题与挑战,对未来的研究走向做出了展望。

基于协同训练的半监督学习3D医学图像分割模型

近年来人工智能应用于COVID-19医学影像诊断,降低了检测成本和漏检率,但临床医学图像样本数量较少和标签质量较低,影响了3D模型的分割性能。本文提出基于协同训练的半监督学习3D医学图像分割模型,使用空间翻转和窗口技术生成多视角、多模态图像,增强3D图像样本的空间差异性;采用一种基于加权不确定度的虚拟标签生成模块,为无标签数据生成可靠的虚拟标签,减少过拟合;采用基于三阶段的三维度六模型协同训练,增强分割精度和泛化性能。此外,本文可视化协同训练各阶段的特征关注度热力图,为临床诊断提供有效参考。针对661位新冠患者的771例NIFTI格式3D COVID-19的CT图像展开实验,5折交叉验证结果表明,本文模型Dice系数为73.30%,平均表面距离(ASD)为10.633,灵敏度(Sen⁃sitivity)为0.630,特异度(Specificity)为0.996。与各种典型半监督学习3D分割模型相比,具有更好的分割精度和泛化性能。

一种用于医学图像分割的混合卷积网络

从医学图像中鲁棒性地分割器官是医学图像分析用于疾病诊断的关键技术之一。U⁃Net是一种用于医学图像分割的鲁棒结构。然而,U⁃Net采用连续的下采样编码器来捕捉多尺度特征,高层语义特征恢复不足,从而导致上下文信息丢失,无法充分恢复待分割器官特征。对编码器难以捕捉多尺度特征、高层语义特征恢复不足导致上下文信息丢失进行研究,提出了一种新的混合卷积网络来捕捉更多的上下文信息和高级语义特征。混合卷积网络的主要思想是利用提出的混合卷积连接模块从特征编码器提取更多的上下文信息和高级语义特征。多尺度特征提取模块用于连接编码器和解码器子网络,以获得更丰富的多尺度特征图。将提出的方法与最先进的方法在CHASEDB数据集和FRSA数据集上进行了比较。实验结果表明,提出方法的分割效果优于其他分割方法。

EnGAN:医学图像分割中的增强生成对抗网络

原始采集的医学图像普遍存在对比度不足、细节模糊以及噪声干扰等质量问题,使得现有医学图像分割技术的精度很难达到新的突破。针对医学图像数据增强技术进行研究,在不明显改变图像外观的前提下,通过添加特定的像素补偿和进行细微的图像调整来改善原始图像质量问题,从而提高图像分割准确率。首先,设计引入了一个新的优化器模块,以产生一个连续分布的空间作为迁移的目标域,该优化器模块接受数据集的标签作为输入,并将离散的标签数据映射到连续分布的医学图像中;其次,提出了一个基于对抗生成网络的EnGAN模型,并将优化器模块产生的迁移目标域用来指导对抗网络的目标生成,从而将改善的医学图像质量知识植入模型中实现图像增强。基于COVID-19数据集,实验中使用U-Net、U-Net+ResNet34、U-Net+Attn Res U-Net等卷积神经网络作为骨干网络,Dice系数和交并比分别达到了73.5%和69.3%、75.1%和70.5%,以及75.2%和70.3%。实验的结果表明,提出的医学图像质量增强技术在最大限度保留原始特征的条件下,有效地提高了分割的准确率,为后续的医学图像处理研究提供了一个更为稳健和高效的解决方案。

Hyper-SegUNet:基于超网络的超参自学习医学图像分割模型

为解决在训练UNet及其变种时需要手动选择超参数的缺陷,提出一种嵌入超网络(Hypernetworks)的医学图像分割模型Hyper-SegUNet.首先,构建编码器和解码器组成的U型网络结构.然后,将多组超参数作为解码器的输入单元,进而输出多组不同超参数下的性能,并从中挑选最优超参数.在腹部多器官分割数据集Synapse和心脏单器官分割数据集ACDC的实验结果表明,该模型可以自动选择超参数,而且分割准确性优于基线方法.

医学图像分割的研究进展

医学图像是医生对患者进行病情诊断和治疗规划的有力工具。现今对于医学图像的分割不再局限于手工分割方法,通过传统方法与深度学习方法来实现医学图像分割已经取得更好、更准确的结果。本文基于近年来一些较为出众的医学图像创新分割方法进行综述,通过阐述深度学习方法如SAM、SegNet、MaskR-CNN和U-NET以及传统方法如活动轮廓模型、阈值分割模型创新等,对比各种图像分割方法的异同点,对医学图像分割方法做出总结与展望。以此来帮助学者们更好地了解目前的研究进展与未来的发展趋势。

集成全尺度融合和循环注意力的医学图像分割网络

深度学习中的编解码网络在图像特征提取和分层特征融合方面具有卓越的性能,常被用于医学图像分割。但是,目前主流的编解码网络分割方法仍面临编码和解码阶段单一网络挖掘的图像特征信息不足,以及仅使用简单的跳跃连接而无法充分利用全尺度特征包含的粗粒度信息和细粒度信息等问题。为了解决上述问题,提出了一种集成全尺度融合和循环注意力的医学图像分割网络。首先,在U-Net编码器中加入了结合多层感知机(MLP)的卷积MLP模块来提取图像的全局特征信息,用于扩大编码器的特征感受野。其次,通过全尺度特征融合模块使得各尺度跳跃连接特征进行粗粒度信息和细粒度信息的有效融合,减小各尺度跳跃连接特征间的语义差异,突出图像的关键特征信息。最后,解码器通过提出的结合循环神经网络(RNN)和注意力机制的循环注意力解码模块(RADU)来逐级精细化图像特征信息,加强特征提取的同时避免信息冗余,并得到高精度分割结果。在4个数据集上将所提方法与主流较优的方法进行比较,所提方法在像素精度和骰子相似系数两个指标上的图像分割精度均有提高。因此,所提出的用于医学图像分割的编解码网络利用全尺度特征融合模块和循环注意力解码模块,能够获得较优异的高精度分割结果,并且模型具有良好的噪声鲁棒性和抗干扰能力。

改进U-Net的多级边缘增强医学图像分割网络

医学图像分割精度对医师临床诊疗起到关键作用,但由于医学图像的复杂性以及目标区域的多样性,造成现有医学图像分割方法存在边缘区域分割不完整和上下文特征信息利用不充分的问题。为此,提出一种改进U-Net的多级边缘增强(MEE)医学图像分割网络(MDU-Net)模型。首先,在编码器结构中加入提取双层低级特征信息的MEE模块,通过不同扩张率的扩张卷积块获取特征层中丰富的边缘信息。其次,在跳跃连接中嵌入融合相邻层特征信息的细节特征关联(DFA)模块,以获取深层次和多尺度的上下文特征信息。最后,在解码器结构对应特征层中聚合不同模块所提取的特征信息,通过上采样操作得到最终的分割结果。在2个公开数据集上的实验结果表明,与用于医学图像分割的Transformers强编码器(TransUNet)等模型相比,MDU-Net模型能够高效使用医学图像中不同特征层的特征信息,并在边缘区域取得了更好的分割效果。

医学图像分割的无监督域适应研究综述

医学图像分割在医学图像处理领域中具有广泛的应用前景,通过定位和分割出感兴趣的器官、组织或病变区域,为诊断和治疗提供辅助信息。但不同模态医学图像之间存在域偏移问题,这会导致在实际部署时分割模型的性能大幅下降。域适应技术是解决该问题的有效途径,尤其是无监督域适应,因其不需要目标域标签信息而成为医学图像处理领域的研究热点。目前,针对医学图像分割的无监督域适应研究的综述报告相对较少,对近年医学图像分割的无监督域适应的相关研究进行了整理、分析和总结,并对未来进行了展望,希望帮助相关研究人员快速了解并熟悉该领域的研究现状及趋势。

基于因果约束的Transformer医学图像分割方法

【目的】数据分布对深度学习模型的性能影响较大。模型学习了与分割目标无关的特征后,这些无关特征通常不适用于新的数据集,从而导致模型泛化能力不足。【方法】为缓解这一问题,本文提出基于因果约束的Transformer医学图像分割方法。以MCRformer为网络主体,利用形态约束流模块提取形态约束先验信息,网状Transformer进一步提取局部信息和网络各层次信息,并加入因果约束模块降低目标区域相关特征和无关特征之间的相关性,通过形态先验和因果先验信息为模型选出具有代表性的特征,最终提高分割性能。【结果】在公开数据集Synapse上,Dice相关系数和Hausdorff距离的均值分别达到了80.01%和19.39 mm,在公开数据集ACDC上,Dice相关系数均值达到了90.95%,优于其他对比方法。【结论】实验证明,本文提出的方法可以有效提升CT和MRI中多器官的分割性能,并验证因果约束模块在不同模型上的有效性。

基于深度学习的医学图像分割方法研究进展

医学图像处理技术随着深度学习的兴起而飞速发展。基于深度学习的医学图像分割技术成为了分割领域的主流方法,弥补了传统分割方法分割精度不足的缺点,已被应用到一些病理图像的分割任务中。文中对近年来出现的基于深度学习的分割方法进行了介绍和对比,重点综述了U-Net及其改进模型在分割领域的贡献,归纳了常见的医学图像模态、分割算法的评价指标和常用分割数据集,并对医学图像分割技术的未来发展进行了展望。

FTransCNN:基于模糊融合的Transformer-CNN不确定性医学图像分割模型

准确的医学图像分割对于疾病的诊断和治疗至关重要,将多个模型提取的分割特征进行联合使用时存在异质性、不确定性等问题,针对这一问题,本文提出了一种基于模糊融合策略的Transformer-CNN模型(FTransCNN).首先以CNN和Transformer作为骨干网络,并行提取图片的特征信息;其次使用通道注意力促进Transformer全局关键信息,使用空间注意力增强CNN特征局部细节;接着应用Hadamard乘积对来自两个分支特征之间的细粒度交互进行建模,用Choquet模糊积分抑制融合特征的异质性以及融合特征的不确定性;然后使用Fuzzy Attention Fusion Module(FAFM)分级上采样,有效地捕获低级空间特征和高级语义上下文;最后反卷积得到最终的分割结果.在Chest X-ray数据集、Kvasir-SEG数据集和DRIVE数据集上的实验效果表明,FTransCNN与其它深度分割模型相比,在分割任务上有更好的效果.

融合注意力的教师互一致性半监督医学图像分割

医学图像分割在疾病辅助诊断中起着关键的作用。现有的深度分割模型需要依赖带有标注的数据完成大规模训练,而医学影像标注需要具有专业背景的临床医生进行像素级标注,导致标注数据获取困难。基于半监督的医学图像分割方法利用少量的标注数据和大量的未标注数据进行学习,可以在一定程度上缓解标注数据获取困难的问题。针对半监督分割模型不能充分利用未标注数据中的可学习信息的问题,提出一种半监督分割模型TCA-Net。该模型使用U-Net作为骨干网络,通过在U-Net中引入卷积块注意力模块(CBAM)与多头自注意力模块(MHA)来解决其在下采样过程中的信息丢失问题;为了充分利用未标注数据中的不确定性信息,构建一个教师互一致性模型,该模型由具有1个编码器和3个略有不同的解码器的学生模型与教师模型组成,通过在学生模型的概率映射与教师模型的伪标签之间添加一致性约束,以此在训练过程中最小化输出之间的差异,从而提升模型的分割效果。在公开的WORD腹部多器官数据集与ACDC心脏数据集上进行实验,结果表明,在使用20%标注数据的WORD数据集上,TCA-Net的Dice系数、Jaccard指数、HD95和ASD分别达到90.81%、83.79%、21.38和6.08,在ACDC数据集上分别达到89.69%、81.94%、1.66和0.45。消融实验与对比实验结果表明,TCA-Net能够有效提升未标注数据的利用率,在不同数据集上均达到了较好的分割效果,验证了模型的鲁棒性。

集成自注意力机制的医学图像分割方法

针对UNet架构在医学图像分割中捕捉局部特征及保留边缘细节的局限性,提出了一种融合自注意力机制的改进型UNet算法。该算法基于传统编码-解码结构,引入多尺度卷积(Multi-scale convolution,MSC)模块以实现多粒度特征提取,同时集成卷积-自注意力(Convolution mixer attention,CMA)模块,结合卷积层的局部特征建模和自注意力层的全局上下文建模。在BUSI和DDTI数据集分割任务中,相比现有经典网络架构,大量实验数据验证了本模型优异的分割能力。此外,统计学数据分析、消融实验进一步验证了MSC和CMA模块的有效性。该研究为高精度医学图像分割提供了一种创新方法,对于促进医学诊断的精确性和效率具有重要的理论与实践意义。

基于三路径网络的医学图像分割方法

卷积神经网络由于强大的特征提取能力在医学图像分割任务上取得一定进展,但仍需提升边缘分割的准确性.为此,文中提出基于边缘选择图推理的三路径网络,包括目标定位路径、边缘选择路径和细化路径.在目标定位路径中,设计多尺度特征融合模块,聚合高级特征,实现病变区域的定位.在边缘选择路径中,构造边缘选择图推理模块,用于低级特征的边缘筛选,并进行图推理,保证病变区域的边缘形状.在细化路径中,建立渐进式组级细化模块,逐步细化不同尺度特征的结构信息与细节信息.此外,引入融合加权Focal Tversky损失和加权交并比损失的复合损失,减轻类不平衡的影响.在公开数据集上的实验表明,文中方法性能较优.

ConvUCaps:基于卷积胶囊网络的医学图像分割模型

在医学影像分割领域,U-Net网络是目前最成功和最受关注的方法之一,但是U-Net本质上是一种经过改造的全卷积神经网络模型,要获得更为全面和准确的局部-整体关系,不但需要增加网络层次从而加大计算量,而且效果也并不明显。胶囊网络提供了一种有效的建模图像的局部与整体关系的方法,可以用更少的参数取得好的性能。但原始的胶囊网络并没有充分考虑图像局部特征的粒度问题,将其应用在医学图像分割领域还需进一步改造。因此,提出一种将U-Net和胶囊网络相结合的医学图像分割模型ConvUCaps。该模型对U-Net的编码器部分进行改进,使用卷积模块学习不同尺度的局部特征,然后通过胶囊模块学习高层特征,并建模局部与整体之间的关系。实验结果表明,相比U-Net、UNet++、SegCaps、Matwo-CapsNet网络,ConvUCaps提高了分割精度和收敛速度,同时,与单纯基于胶囊网络的分割模型相比,显著减少了推理时间。

面向医学图像分割的CNN与Transformer混合模型

由于医学图像具有对比度低、目标形态复杂和边缘模糊等特点,现有模型的分割准确度无法满足高精度建模和自动化手术的要求。针对这一情况,结合卷积神经网络(convolutional neural networks, CNN)出色的局部特征提取能力和Transformer长距离建模的优势,提出了一种基于二者的混合架构分割模型ParaCNNFormer。ParaCNNFormer是一种U型结构分割模型,其编码器与解码器均采用CNN与Swin Transformer并联的混合架构,利用CNN提取局部细节特征,同时利用Swin Transformer建立长距离依赖,有效提高了分割准确度。在CHAOS和DSB18数据集上的对比实验结果表明,骰子系数相较于流行的TransUnet和SwinUnet均有明显提升。

融合注意力机制和边缘预测的医学图像分割网络算法

针对现有的卷积神经网络在分割医学图像时容易出现异常值且存在边缘分割精度低等问题,引入基于注意力机制的边缘预测模块,利用激活函数的变分表示与测地活动轮廓模型,提出一种融合注意力机制和边缘预测的医学图像分割网络,并设计端到端的网络训练算法。在两个公共数据集上的实验结果表明,与其他分割方法相比,该文的方法能够提取更多的边缘信息,分割结果也更精确。

SwinEA:融合边缘感知的医学图像分割网络

基于卷积神经网络的方法在医学图像分割任务中取得了显著成果,但该方法固有的归纳偏置使其不能很好地学习全局和长距离的语义信息交互,而Transformer的优势是关注全局信息,两者可以优势互补。因此提出一种针对分割边缘利用Swin Transformer融合边缘感知的医学图像分割网络。设计基于上下文金字塔的边缘感知模块,用于融合全局的多尺度的上下文信息,针对边缘和角落等局部特征,利用浅层深度主干的特征产生丰富的边缘特征,因此提出的边缘感知模块可以尽可能多地产生边缘特征。在腹部多器官分割任务和心脏分割数据集的实验结果表明,该方法在各项指标中都有所提高。

基于元学习和神经架构搜索的半监督医学图像分割方法

多数医学图像分割方法主要在相同或者相似医疗数据领域进行训练和评估,意味其需要大量像素级别的标注。但这些模型在领域分布外的数据集上面临挑战,被称为“域偏移”问题。通常使用固定的U形分割架构解决该问题,导致其无法更好地适应特定分割任务。文中提出了一种基于梯度的元学习与神经架构搜索方法,可以根据特定任务调整分割网络以实现良好的性能并且拥有良好的泛化能力。该方法主要使用特定任务进行架构搜索模块来进一步提升分割效果,再使用基于梯度的元学习训练算法提升泛化能力。在公共数据集M&Ms上,在5%标签数据下,其Dice和Hausdorff distance分别为79.62%、15.38%。在2%标签数据下,其Dice和Hausdorff distance分别为74.03%、17.05%。与其他主流方法相比,文中所提方法拥有更好的泛化能力。