U型卷积网络在乳腺医学图像分割中的研究综述

U-Net及其变体模型在乳腺医学图像分割领域展现了卓越的性能,U-Net采用全卷积网络(FCN)结构进行语义分割,U-Net对称结构的高度灵活性和适应性可以通过调整网络深度、引入新的模块来适应不同的图像分割任务和挑战,这种创新结构对后续网络设计产生了深远影响。深入探讨了基于U型卷积网络在乳腺医学图像分割中的应用,并对近年来用于乳腺医学图像分割的U型卷积网络进行了分类与归纳。针对U-Net网络结构改进的乳腺医学图像分割技术进行了如下总结。阐述了目前广泛使用的乳腺医学图像数据集及评价指标,陈述了常用的数据增强方法;详细介绍了U-Net模型的网络结构以及用于乳腺医学图像的传统分割方法;对用于乳腺医学图像分割方法的U型网络结构按照残差结构、多尺度特征、膨胀机制、注意力机制、跳跃连接机制、结合Transformer等方面改进进行归纳总结。讨论了当下乳腺医学图像分割所遇到的问题与挑战,对未来的研究走向做出了展望。

图像分割技术在数字图像处理课程中的教学应用研究

在现代工程教育理念下,虽然数字图像处理课程已经被广泛开设,但是关于图像分割技术的教学资源和案例仍然相对匮乏。很多教材和教学资料并没有涵盖图像分割技术或者只是简单地提及,缺乏具体的实践案例和项目指导,这给学生的学习和实践带来了一定的困难。为此,需要进一步完善和丰富数字图像处理教育资源,特别是针对图像分割技术的教学资源。需要充分运用线上网络教学平台,运用开源软件和编程语言来实现图像分割算法,结合实践基础来合理设定考核内容。实践表明,图像分割技术在数字图像处理课程中具有广泛的教学应用潜力。通过引入图像分割技术,能够更好地发掘学生的个人能力。

基于U-Net网络的鸟群图像分割研究

当前在通用航空活动中对于鸟群活动情况的了解还是依靠飞行员对环境的观察,并且国内外驱鸟方式并不适合大范围推广使用,着眼于以上问题,利用基于深度学习的图像分割方法来解决该问题,将U-Net图像分割策略引入航空图像分析中,通过深度卷积神经网络对鸟群活动图像进行处理;针对图像背景复杂、目标分布不均匀且大小不定等特点,提出优化U-Net网络,以更好地保存和利用图像信息。实验证明该优化网络图像分割效果优于现有方法。

基于卷积和可变形注意力的脑胶质瘤图像分割

对于脑胶质瘤图像分割这类密集预测的医学影像分割任务,局部和全局依赖关系都是不可或缺的,针对卷积神经网络缺乏建立全局依赖关系的能力,且自注意力机制在局部细节上捕捉能力不足等问题,提出了基于卷积和可变形注意力的脑胶质瘤图像分割方法。设计了卷积和可变形注意力Transformer的串行组合模块,其中卷积用于提取局部特征,紧随其后的可变形注意力Transformer用于捕捉全局依赖关系,建立不同分辨率下局部和全局依赖关系。作为一种CNN-Transformer混合架构,所提方法不需要任何预训练即可实现精准的脑胶质瘤图像分割。实验结果表明:所提方法在BraTS2020脑胶质图像分割数据集上平均Dice系数和平均95%豪斯多夫距离分别为83.56%和11.30 mm,达到了与其他脑胶质瘤图像分割方法相当的分割精度,同时降低了至少50%的计算开销,有效提升了脑胶质瘤图像分割的效率。

基于边缘检测的数字媒体深度交互式图像分割算法

针对数字媒体深度交互式图像受噪声干扰,导致其边缘检测效果较差,影响其分割精度的问题,提出基于边缘检测的数字媒体深度交互式图像分割算法。首先,利用小波变换方法对数字媒体中的图像进行去噪处理,提高图像分割精度;其次,使用高斯函数与低通滤波增强去噪后的图像,提高图像的清晰度,为图像分割提供便利;最后,依据自适应阈值算法对数字媒体的图像进行边缘检测,像素合集中存在上下阈值。根据其上下阈值的计算求出像素合集中的高低两个阈值,并对其实施边缘连接,实现数字媒体图像分割。实验结果表明,所提方法对分割数字媒体图像去噪效果好,分割精度和效率高。

基于上下文提取与注意力融合的遮挡服装图像分割

针对遮挡服装图像分割准确率低的问题,提出一种融合上下文提取与注意力机制的遮挡服装图像实例分割方法。以Mask R-CNN为基础网络,首先采用上下文提取模块优化ResNet的输出特征,通过融合不同速率的多路径特征从多个感受野中捕获图像的上下文信息,强化遮挡服装特征表示的识别及提取能力;然后引入通道注意力机制与空间注意力机制的残差连接,自适应地专注于捕捉遮挡服装图像的空间和通道维度上的语义相互依赖关系,降低上下文提取模块在处理特征图时因冗余的上下文关系扩大造成误定位与误识别的概率;最后,采用目标检测损失函数CIoU计算原理作为非极大值抑制的评判标准,关注预测框和真实框的重叠与非重叠区域,最大程度地选择遮挡服装的最优目标框,使预测框更加贴近真实框。结果表明,与其它方法相比,改进方法显著改善了不同遮挡程度服装图像的误分割现象,能提取出更精确的服装实例,其对遮挡服装图像的平均分割精度比原模型提升了4.4%。

基于CNN和Transformer并行编码的腹部多器官图像分割

针对现有方法在腹部中小器官图像分割性能方面存在的不足,提出一种基于局部和全局并行编码的网络模型用于腹部多器官图像分割.首先,设计一种提取多尺度特征信息的局部编码分支;其次,全局特征编码分支采用分块Transformer,通过块内Transformer和块间Transformer的组合,既捕获了全局的长距离依赖信息又降低了计算量;再次,设计特征融合模块,以融合来自两条编码分支的上下文信息;最后,设计解码模块,实现全局信息与局部上下文信息的交互,更好地补偿解码阶段的信息损失.在Synapse多器官CT数据集上进行实验,与目前9种先进方法相比,在平均Dice相似系数(DSC)和Hausdorff距离(HD)指标上都达到了最佳性能,分别为83.10%和17.80 mm.

融合CNN与Transformer的MRI脑肿瘤图像分割

为解决卷积神经网络(convolutional neural network,CNN)在学习全局上下文信息和边缘细节方面受到很大限制的问题,提出一种同时学习局语义信息和局部空间细节的级联神经网络用于脑肿瘤医学图像分割。首先将输入体素分别送入CNN和Transformer分支,在编码阶段结束后,采用一种双分支融合模块将2个分支学习到的特征有效地结合起来以实现全局信息与局部信息的融合。双分支融合模块利用哈达玛积对双分支特征之间的细粒度交互进行建模,同时使用多重注意力机制充分提取特征图通道和空间信息并抑制无效的噪声信息。在BraTS竞赛官网评估了本文方法,在BraTS2019验证集上增强型肿瘤区、全肿瘤区和肿瘤核心区的Dice分数分别为77.92%,89.20%和81.20%。相较于其他先进的三维医学图像分割方法,本文方法表现出了更好的分割性能,为临床医生做出准确的脑肿瘤细胞评估和治疗方案提供了可靠依据。

熵最优与改进SCA的图像分割及其图像识别应用

针对传统图像分割效率低、精度差的不足,提出一种混合变异正余弦算法的多阈值图像分割方法。为提高SCA算法的寻优性能,设计拉丁超立方种群初始化改进种群多样性;以非线性转换因子动态调节算法搜索能力;融入惯性权重机制提升算法全局寻优;结合高斯和拉普拉斯分布混合变异对个体扰动,使算法跳离局部最优。将Cross熵作为适应度函数,利用HMSCA求解分割阈值。实验结果表明,该算法可以提升图像分割精度和效率。将其应用于火灾图像识别,能够实现火焰源与背景分离,得到更好的分割效果。

基于多尺度细节增强的脑瘤图像分割研究

针对脑瘤图像分割网络的跳跃连接引起的语义特征传递不平衡,以及多尺度特征关联不足,导致细节特征丢失,从而造成对细小目标肿瘤的分割精度不佳的问题,提出一种改进的Res-Unet框架的分割模型。该模型引入多尺度注意力融合模块,通过混合多尺度特征使模型更好地适应不同尺寸的肿瘤;该模型在跳跃连接中引入空间注意力模块,增强特征表达同时避免无用信息的干扰,保留特征图空间细节特征;最后通过辅助分类器模块,在解码器部分对不同尺度特征图进行特征预测。使用BraTS2020数据集进行实验和评估,使用Dice系数来评估模型分割效果。结果显示,改进的网络在全肿瘤区域、肿瘤核心区域和增强肿瘤区域的Dice系数分别为0.8877、0.8229、0.8027,相比于通道注意力模型增强肿瘤区域和肿瘤核心区域的系数分别提升2.6%和0.14%,证明改进模型在脑瘤核磁共振图像分割的有效性和精确性。

基于Cross熵与改进麻雀搜索算法的图像分割模型

传统基于熵标准的图像分割法采用穷尽法搜索分割阈值,存在计算代价高、分割效率低的不足。针对这一问题,设计基于Cross熵与改进麻雀搜索算法的图像分割方法。为了提升标准麻雀搜索算法的寻优精度和寻优速率,利用反向学习机制进行种群初始化,改善初始种群结构,提升种群多样性和初始解质量。设计正余弦优化和惯性权重的发现者更新机制,提升发现者全局搜索能力。提出柯西混沌变异的追随者更新机制,结合混沌映射和柯西变异,避免算法产生局部最优。以Cross熵最小为标准评估个体适应度,利用改进麻雀搜索算法寻找图像分割最佳阈值,并实现图像分割。实验结果表明,改进算法在分割指标上表现优异,可以有效提升图像分割精度和分割效率。

基于超像素快速模糊聚类的印刷品图像分割方法

针对当前彩色印刷品色差检测过程中效率低、复杂性高等问题,提出了一种基于超像素快速模糊聚类的印刷品图像分割方法(SFFCM)。先用简单线性迭代聚类(SLIC)算法将图像分割为紧密相邻的超像素区域。每个超像素区域被视为一个独立的聚类单元。随后,将模糊C均值聚类(FCM)算法应用于超像素的归属关系计算中,即引入隶属度值,允许超像素归属于多个聚类中心,并通过权衡归属度值来实现模糊聚类。实验结果表明,相对于其他算法,本文方法在保持良好实时性的同时,实现了较好的分割效果,有效平衡了算法复杂度与分割效果之间的关系。

一种改进的视网膜脱落图像分割算法研究

为实现对超声图像病灶的分割并提高目标分割精度,提出一种残差结构的深层尺度融合的分割网络模型RDFA-Net。使用改进的网络模型并使用可变形卷积来增大采样范围,使用通道和空间注意力机制捕获特征,融入深层尺度特征进行融合以捕获深层次图像特征,成功将视网膜脱落病灶的超声图片进行分割,并有了更好的分割结果。使用合作医院提供的眼底超声图像作为数据自制分割数据集来评价RDFA-Net。通过实验结果对比显示,RDFA-Net是有效的,可以对视网膜脱落进行图像分割,并实现了较好的分割精度。

基于图卷积网络和有效自注意力的3D腹部器官图像分割方法

3D医学图像分割是实现医学影像诊断、手术规划和治疗跟踪的前提与基础。腹部器官在影像上轮廓复杂、界限相对模糊,针对以上问题,提出了一种基于图卷积和有效自注意力的3D腹部器官分割网络。首先,在编码器端加入有效自注意力模块,有效地学习空间通道特征表示。其次,采用动态图卷积捕获腹部器官间的动态拓扑信息,同时有效突出腹部器官的特征。最后,在编码器端加入跳跃连接,融合不同分辨率的特征信息。实验结果表明,该方法在Amos22数据集上取得了较好的分割结果。

GFENet:基于Transformer的高效医学图像分割网络

医学图像分割技术在疾病诊断中发挥着重要作用,针对传统网络分割模型中存在参数量大、网络计算效率低等问题,本文提出名为GFENet的高性能低复杂度分割网络,GFENet以金字塔结构的视觉Transformer作为网络主干提取图像特征,分别采用线性预测模块和渐进式局域解码器对提取出来的低级特征和高级特征进行局部增强处理,最后采用GFE模块中的全局注意力机制将位置信息嵌入高级特征.在Kvasir和CVC-ClinicDB数据集上进行实验验证,GFENet的mDice分别为94.1%和94.6%;其在CVC-ColonDB和ETIS数据集上的泛化性能优于其他对比模型.为验证模型低复杂度的同时保持高分割准确率,本文将GFENet与现有的高性能模型和轻量化模型进行对比,GFENet在CVC-ColonDB数据集上以81.5%的mDice高于其它对比模型,以23.1M的参数量优于其他高性能分割模型.

基于泊松噪声-双边滤波算法的桥梁裂缝修补痕迹图像分割方法

裂缝作为混凝土桥梁的主要病害大量存在,部分裂缝修补后会二次开裂,在病害智能识别中,裂缝修补痕迹易与混凝土剥落等缺陷混淆,因此,裂缝修补痕迹的准确识别不仅是二次裂缝准确识别的基础,也是混凝土桥梁整体病害识别的重要环节。为了获取边缘清晰连续的裂缝修补痕迹,先对裂缝修补痕迹的图像添加泊松噪声,再利用双边滤波对添加的噪声及原有噪声进行平滑。然后用Otsu算法对裂缝修补痕迹进行图像分割,并使用峰值信噪比(PSNR)和结构相似性(SSIM)评价滤波效果,使用运行时间和最大连续可用内存块(LCFB)使用情况评价分割效果。最后以河南省某高速公路桥梁历年定检中的裂缝修补痕迹图像为例,对方法进行实际验证。结果显示:经过泊松噪声-双边滤波算法处理后,裂缝修补痕迹图像PSNR值最高约35.0901 dB,SSIM值可达约0.8801,说明添加泊松噪声可改善图像质量并优化双边滤波效果;经过Otsu算法进行图像分割的运行时间比其他方法约短25%~50%,LCFB比其他方法约提高0.25%;经过处理的裂缝修补痕迹图像达到理想预期效果,验证了提出方法的有效性和可行性。

考虑数据分布损失的图像分割

在图像分割任务中,损失函数的选择直接影响模型的收敛过程和最终精度。交叉熵损失函数(cross-entropy loss,CEL)具有稳定的收敛性,但在面临数据分布不均衡的情况下精度较低。Dice损失函数(Dice loss,DL)通过区域面积计算,在处理不均衡数据时能够获得较高的精度,但在多类别数据集上难以训练。为了解决这些问题,提出了一种的交叉熵损失函数(Dice cross-entropy loss,DCEL),它对正样本使用交叉熵计算损失值,而对负样本使用交叉熵与交并比(IOU)的乘积计算损失值。这样设计使得DCEL在多类别数据集上梯度与误差正相关,有利于模型的收敛性,并通过压缩负样本损失值提升对正样本的关注度,从而提升了图像分割算法的精度。DCEL的性能在ADE20k、PASCAL VOC、LoveDA和HRF数据集上进行了验证。

基于语言和视觉融合Transformer的指代图像分割

针对指代图像分割任务中存在语言表达歧义、多模态特征对齐不充分、对图像整体理解不全面等问题,提出一种基于Transformer特征融合与对齐的多模态深度学习模型。该模型使用优化的Darknet53图像特征提取骨干网络,加强了对全局特征理解能力。使用了卷积神经网络结构、双向门控循环单元Bi-GRU结构和自注意力机制相互结合的语言特征提取结构,挖掘深层次语义特征,消除语言表达的歧义性。构建了基于Transformer的特征对齐结构,以提升模型的分割细节和分割精度。最后,采用平均的交并比mIoU和在不同阈值的识别精度作为模型评估指标,通过实验证明所提模型可以充分融合多模态的特征,理解多模态特征的深层语义信息,模型识别结果更加准确。

一种轻量化多尺度遥感图像分割方法

遥感图像的语义分割在城市规划和发展中发挥着至关重要的作用。如何对高复杂度、多类别的遥感影像进行自动、快速、有效的语义分割已成为研究的关键。现有的基于深度学习的分割方法存在模型复杂、计算成本较高等问题。提出一种端到端的轻量级多尺度特征提取分割网络(Multi-Scale Feature Extraction and Segmentation Network MSNET),旨在解决在高准确性情况下降低计算成本的问题。主干是基于轻量级网络MobileNetV2的编码网络和基于MSConv的解码网络构成的整个主干,其中MSConv是一种新的多尺度卷积模块。还提出了一种特征融合注意力模块(Feature Fusion Attention Module, MSAM)来有效地整合通道和空间维度上注意机制的全局信息。引入更加轻量化的局部重要性池化(Local Importance Pooling, LIP)代替普通池化操作以及添加了空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling, ASPP)模块进一步提取丰富的特征。在公开数据集WHDLD上进行对比评估,F1达到83.12%,推理时间仅为0.007 4 s。

黑色素瘤图像分割和边缘细化研究

黑色素瘤图像分割在皮肤病的诊断与治疗中具有重要的临床价值.但由于数据集缺乏标注、类别严重不均衡等原因,使得图像分割的精度低,边缘粗糙.因此,提出一种黑色素瘤分割和边缘细化方法,分三个阶段实现.第一阶段,对黑色素瘤数据集进行分类后,使用弱监督方法提取多个层级类激活图并处理;第二阶段,搭建UNet网络模型对黑色素瘤数据集中的恶性样本进行分割;第三阶段,使用第一阶段增强、叠加得到的类激活图边缘对第二阶段的结果进行边缘细化.在ISIC黑色素瘤数据集上的实验结果表明,经过三个阶段的处理,得到的分割图边缘更加细致,平均交并比(mIoU)为86.04%,戴斯相似性系数(Dice)为0.937,杰卡德系数(Jaccard)为0.885.