解耦融合机制的金属表面缺陷小样本分割网络

精准的金属表面缺陷小样本分割是工业生产制造和成本控制的重要基础.但主流遵循元学习范式的小样本分割算法利用单一原型编码特征,难以表示缺陷样本前景-背景的复杂分布,因此建立一个缓解前景-背景感知模糊的模型仍是目前的难点问题.针对上述问题,提出一个基于解耦融合机制的小样本分割网络DFMNet(decoupling fusion mechanism-based network).将缺陷分割任务解耦为已知类(缺陷区域)和基类(背景区域)2个语义分割子任务,利用基于图推理的元解析模块产生已知类的粗分割掩码,以及基于背景描述子的基类引导模块输出基类的粗分割掩码,实现对应子任务目标.引入基于解耦融合策略的信息融合模块处理两个子任务的粗预测结果,缓解前景-背景不平衡的问题,实现更精细地分割.引入基于Gram矩阵的自适应调整因子,使模型更多关注场景差异所带来的特征变化,提高模型的泛化能力.在金属表面缺陷数据集上进行实验,与现有多种小样本分割网络进行了广泛的对比分析和消融实验.结果表明,该方法有效缓解了前景-背景感知模糊的问题,达到了最先进的效果.

基于多尺度原型分层匹配的小样本分割方法

传统语义分割任务通常需要大量带标注的数据来进行训练,并且难以泛化至新的类别。小样本分割,旨在使用少量带标注的支持图像从查询图像中分割新类别目标对象。由于支持图像数据较少,从有限的支持图像中提取具有代表性的指导信息是小样本分割任务的重要挑战。为了解决这个问题,提出一种基于多尺度原型分层匹配的小样本分割方法。首先通过残差网络ResNet得到查询图像和支持图像的中层特征和高层特征;为进一步提取目标对象丰富的上下文特征信息,将提取的中层特征输入金字塔池化模块进行多尺度特征提取;最后基于原型学习的思想,对中层特征和高层特征分层生成原型并匹配修正,得到最终预测分割掩码。在PASCAL-5 i数据集上进行实验研究,实验结果表明,在1-way 5-shot的设定下,提出的方法在mIoU指标上达到了66.7%,比当前主流模型PANet和PFENet分别提高了11.0%和4.8%,表明了该方法的有效性和先进性。

基于样本分割的快速高光谱图像异常检测支持向量数据描述方法

高光谱图像异常检测支持向量数据描述方法性能优越但存在计算量巨大的问题。提出快速高光谱图像异常检测支持向量数据描述方法,该算法通过样本分割有效降低求取支持向量的计算量。建立了求取支持向量的计算量与样本分割子集数量的数学模型,并给出样本分割子集数量的最优选取方法;提出目标窗与背景窗尺寸相同的优化分割方法,该方法目标窗每次移动只需更新50%的训练样本,有效地减少图像遍历时求取支持向量的计算量。对HYMAP图像的仿真结果表明:本文算法对不同尺寸的高光谱图像进行异常检测的计算时间均小于SVDD算法计算时间的10%.

用实验室间样本分割法评价无能力验证项目的一致性

目的用实验室间样本分割法作为替代方案,对我室尚未开展室间质量评价(EQA)的检测项目——总胆汁酸(TBA)和胆碱酯酶(ChE)进行结果一致性评价。方法收集40份门诊患者血清并分装,一式2份,同时在2个实验室内检测TBA和ChE,参照NCCLS GP29-A文件评估结果间的可接受程度。结果 TBA的测定值均落在可接受范围内,室间一致性可接受;ChE的31个测定值落在可接受范围内,室间一致性不可接受。结论未参与EQA活动的检测项目可用样本分割法来评价实验室间测定值的一致性。

面向多模态磁共振脑瘤图像的小样本分割方法

针对脑肿瘤磁共振成像(MRI)模态多、训练数据少、类别不平衡以及各个私有数据库差异大等导致分割困难的问题,引入小样本分割方法,并提出基于U-net的原型网络(PU-net)模型用以对脑肿瘤磁共振(MR)图像进行分割。首先对U-net的结构进行调整来提取各类瘤体的特征用以计算原型;然后在原型网络的基础上,逐像素利用原型对各空间位置进行分类,从而获取各类瘤体区域的概率图与分割结果;针对瘤体像素类别不平衡问题,采用自适应权重交叉熵损失函数来减小背景类对损失计算的影响;最后加入原型校验机制,即融合利用分割得到的概率图和查询图像对原型进行校验。所提方法在公开数据集BraTS2018上进行实验,得到的平均Dice系数为0.654,阳性预测率为0.662,灵敏度为0.687,豪斯多夫距离为3.858,平均交并比(mIOU)达到61.4%,与最新的小样本分割方法原型校准网络(PANet)和基于注意力的多上下文引导网络(A-MCG)相比各项指标均有所提升。结果显示引入小样本分割方法对脑肿瘤MR图像进行分割有不错的效果,采用自适应权重交叉熵损失函数也有着一定的帮助,可以对脑肿瘤诊断治疗起到有效的辅助作用。

中国信贷配给程度及其宏观影响的间接衡量——基于样本分割的阀值回归分析

信贷配给理论认为,当经济处于信贷配给阶段,货币政策对经济的效应更强。本文采用Hansen(2000)提出的基于样本分割的阀值回归估计方法,以阀值前后段回归系数的差异性来间接地衡量中国信贷配给的程度及其宏观影响。本文分别以1978-2007年、1978-1992年、1993-2007年的年度数据为样本,阀值回归的实证结果都支持货币政策紧缩对经济有额外的正向影响,实证结果还发现我国信贷配给的程度及其对宏观经济的影响在1993年后显著增强。

一种结合全局和局部相似性的小样本分割方法

针对小样本分割中如何提取支持图像和查询图像共性信息的问题,提出一种新的小样本分割模型,同时结合了全局相似性和局部相似性,实现了更具泛化能力的小样本分割。具体地,根据支持图像和查询图像全局特征和局部特征之间的相似性,提出了一种新型注意力谱生成器,进而实现查询图像的注意力谱生成和区域分割。所提注意力谱生成器包含2个级联模块:全局引导器和局部引导器。在全局引导器中,提出了一种新的基于指数函数的全局相似性度量,对查询图像特征和支持图像的全局特征进行关系建模,输出前景增强的查询图像特征。在局部引导器中,通过引入局部关系矩阵对支持图像特征和查询图像特征之间的局部相似性进行建模,得到与类别无关的注意力谱。在Pascal-5i数据集上做了大量的实验,在1-shot设定下mIoU达到了59.9%,5-shot设定下mIoU达到了61.9%,均优于现有方法。

基于元学习的小样本语义分割算法

针对现有的小样本语义分割模型对未知新类分割精度不高的问题,提出一种基于元学习的小样本语义分割算法.首先,利用深度可分离卷积改进传统主干网络,并在ImageNet数据集上进行了编码器的预训练.其次,利用预训练的主干网络将支持图片和查询图片映射到深度特征空间.最后,利用支持图片的真实掩码将支持特征分离为目标前景和背景,并借助vision transformer构造了一种自适应的元学习分类器.在PASCAL-5^(i)数据集上进行了大量的试验.结果表明:所提出模型在VGG-16、ResNet-50和ResNet-101主干网络上分别实现了47.1%、58.3%和60.4%的mIoU(即平均交并比)(1 shot),同时在5 shot设定下实现了49.6%、60.2%和62.1%的mIoU;在COCO-20^(i)数据集上实现了23.6%、30.3%和30.7%的mIoU(1 shot),同时在5 shot设定下实现了30.1%、34.7%和35.2%的mIoU.

集间两级语义互补的小样本语义分割

现有的小样本语义分割模型通常只提取单一级别的语义特征,然而由于小样本数据的样本量少、各级语义特征具有不同属性等原因,提取单一级别语义特征的网络模型很难在保证分割能力的同时兼具泛化性.针对该问题,提出了一种集间两级语义互补的小样本语义分割方法.该方法使用具有强类别特征的支持集高级语义特征对具备泛化性的查询集中级语义特征加权,在增强查询集各目标类别特征的同时保留查询集中级语义特征的泛化能力;另外,该模型通过最大化支持集潜在语义信息、为查询集构建非参数学习的先验信息等方式增强两集信息之间的交互性以获得更丰富的判别信息.该方法在PASCAL-5i数据集上进行仿真实验,mIoU值在1-shot和5-shot两类设置上分别能达到45.3%和48.8%,其结果超越部分先进主流的小样本语义分割算法,且网络模型的参数量也控制在可以接受的范围之内.

基于元学习的带钢表面缺陷小样本语义分割

由于缺少带钢表面缺陷样本,使得深度神经网络在带钢表面缺陷检测的应用受到了限制,为解决这一实际问题,提出了一种基于元学习思想的小样本语义分割深度学习方法.该方法引入了多尺度解码器和注意力机制.多尺度解码器能够聚合不同尺度的缺陷特征信息,提高网络的分割精度.注意力机制能够有效增强缺陷信息表达,并且抑制背景信息的干扰.此外,构建了一个带钢表面缺陷语义分割数据集,该数据集包含9类带钢表面缺陷.在该数据集上进行了相关实验,结果表明本文方法在平均交并比和前景-背景交并比指标上优于PFENet,SCLNet和HSNet等方法.

融合高斯过程的自支持小样本语义分割

针对小样本语义分割中同类别支持图像与查询图像存在外观差异较大的问题,提出融合高斯过程的自支持匹配小样本语义分割模型。提出的模型在自支持匹配小样本语义分割模型的基础上,首先融入高斯过程,对分布在深层特征空间上的复杂外观进行建模,捕获更多空间细节信息来表示数据分布;随后设计特征增强模块,在空间层对支持特征与查询特征进行信息交互,在通道层进行注意力加权,进一步增强相同类之间的全局相似性,捕获更多目标类别信息;最后利用Gram矩阵量化支持图像和查询图像之间外观差异的大小,从而融合原型匹配的结果,产生更准确的分割图像。实验结果表明:与现有方法相比,所提模型在更强的主干网络下具有较好的分割结果和更少的参数量,在5-shot的设定下,所提模型在PASCAL−5i数据集上平均交并比(mean Intersection over Union,mIoU)达到最优值,提升了0.4%;在COCO−20i数据集上的子集mIoU取得最优值,分别提升了2.2%和1.0%,表明该模型的有效性和先进性。

高效跨域的Transformer小样本语义分割网络

小样本语义分割旨在仅使用数个标注样本学习目标类别特征并完成分割任务。主流研究存在的主要问题是:训练效率低下,训练和测试在同一数据域。为此构建了一种基于Transformer的高效、跨域的小样本语义分割网络SGFNet。在编码层,使用共享权重的MixVisionTransformer构建孪生网络,用于提取支持集和查询集的图像特征;在关系计算层,通过计算支持集图像特征向量与其对应mask的哈达玛积,提取目标类别的高维特征,并与查询集图像特征进行关系计算;在解码层,改进基于MLP的解码器,提出了残差解码器,将不同层级的特征解码得到最终分割结果。实验表明,该模型只需要在FSS-1000数据集上使用单张3090 GPU训练1.5~4.0 h,即可在FSS-1000数据集上获得最优结果1-shot mIoU 87.0%,在PASCAL-5i和COCO-20i数据集进行跨域测试达到非跨域的效果,1-shot mIoU分别为60.4%和33.0%,证明了该模型高效且跨域。

基于多尺度四维特征融合的小样本语义分割

现有的语义分割方法依赖充足的像素级图像标签,而分割模型需要在新类样本条件下进行训练时,带来人工标注图像的问题;因此,提出了小样本语义分割方法来解决此类问题.当前小样本分割方法主要采用原型学习方法,而原型学习的方法缺乏像素级支持特征来指导查询图像分割,导致分割精度不高的问题.基于此,设计了一种四维特征融合与注意力增强的小样本分割网络.为了获取到像素级支持特征对查询图像的表征信息,在特征金字塔结构中使用四维卷积,将高级语义特征和中级语义特征逐步压缩成超相关特征进而应用于查询图像的分割中.同时,在两个标准小样本分割基准上进行了实验:在PASCAL-5i数据集1-shot设置下的测试结果mIoU分别比HSNet和PFENet提高了0.6%和2.3%.

基于双重聚合和自合并网络的小样本图像语义分割

小样本图像语义分割是一种非常具有挑战性的任务,它试图使用几个带标签的样本来分割新类对象。主流方法常会存在特征鉴别性不高和原型偏差等问题。为缓解这些问题,本文提出一种基于双重聚合和自合并网络的小样本图像语义分割方法,能够充分挖掘特征相似性并减小原型偏差。首先,提出一个特征-掩码双重聚合模块,在支持特征和查询特征之间构建覆盖所有空间位置的密集相似关系,为特征聚合和掩码聚合提供全局语义信息。具体来说,通过对特征相似矩阵进行特征和掩码双重聚合,可以为查询图像获取具有引导信息的增强特征和初始掩码。然后,提出自合并解码器,通过合并基于初始掩码的自原型和已知的支持原型来减小原型偏差,并通过融合增强特征与合并原型向解码器传递丰富的类别语义信息。最后,利用基类预测信息进一步优化来自解码器的预测结果。本文方法在数据集PASCAL-5i上的mIoU在1-shot和5-shot情况下分别取得了68.3%和71.5%,在数据集COCO-20i上的mIoU在1-shot和5-shot情况下分别取得了46.5%和51.4%,优于主流方法的分割性能,能够更准确地分割出新类的目标区域。

基于对比学习及背景挖掘的少样本语义分割

少样本语义分割是在具有少量标注样本的查询图像的条件下,对潜在对象类别进行分割的计算机视觉任务.然而,现有方法仍然存在两个问题,这对它们构成了挑战.首先是原型偏差问题,这导致原型具有较少的前景目标信息,难以模拟真实的类别统计信息.另一个是特征破坏问题,这意味着模型只关注当前类别而不关注潜在类别.本文提出了一个基于对比原型以及背景挖掘的新网络.该网络主要思想是使模型学习更具代表性的原型,并从背景中识别潜在类别.具体而言,特定类学习分支构建了一个大且一致的原型字典,然后使用InfoNCE损失使原型更具区分性.另一方面,背景挖掘分支初始化背景原型,并使用构建的背景原型与字典之间的注意力机制来挖掘潜在类别.在PASCAL-5i和COCO-20i数据集上的实验证明模型有优秀的性能.在使用ResNet-50网络的1-shot设置下,达到了64.9%和44.2%,相较于基准模型分别提升了4.0%和1.9%.

基于多尺度先验融合的小样本语义分割方法

小样本语义分割侧重于模型泛化能力的提升,用有限的样本为未见类提供像素级分割。现有方法在分割性能上已经取得了巨大的进步,但仍受到部分因素的限制,例如当同类物体中因较大的角度、尺寸等差异,存在类内差异时,将导致模型难以捕捉类别语义。因此,本文提出基于多尺度先验信息融合的小样本语义分割模块,通过提取高级特征中的多尺度先验掩码,为模型补充类别相关信息,降低类内差异的影响。为了融合多尺度特征及其先验信息,本文提出权重自适应特征融合模块,为各尺度添加信息交互,并加权组合特征。最终通过消融实验以及与基类方法和其他经典算法的对比实验,证明了本方法的有效性。

基于自引导原型增强的小样本语义分割方法——一种改进的基学习与元学习分割方法

近期,小样本语义分割研究备受关注并取得了显著进展。先前的方法主要依赖于分类任务的元学习框架以实现泛化能力,然而这种训练方式往往导致模型对已见类别存在偏见,未能达到理想的类别无关性。最新的研究中,一种名为基学习与元学习的方法被提出,以识别基础类别目标并有效地区分背景部分。然而,该方法在强调对背景特征的识别时,忽略了前景特征的增强。因此,我们对该方法进行了进一步改进。我们引入了一种自引导原型学习的方法,通过生成辅助原型并用它生成激活特征图,从而增强原型特征,有效促进模型对前景特征的识别。在PASCAL-5i数据集上的实验结果表明,我们提出的方法在1-shot和5-shot情况下的mIoU分别达到了68.01和71.12,证明了该方法能够有效提升小样本语义分割的精确度。

基于语义协同指导的小样本语义分割算法

针对单个或少量多个原型不足以表示整张图像中的目标信息,提出了一种基于语义协同指导的小样本语义分割算法。利用一组共享权重的特征提取器将图片映射到深度特征空间,并借助支持图片的真实掩码过滤掉目标的背景区域;利用Vision Transformer细粒度地将深度特征直接抽象为表示目标信息的多个原型,并在此基础上引入目标类的语义信息作为辅助学习任务;利用一种无参数的度量学习算法计算查询特征和原型之间的相似度值,根据计算结果逐像素地指导查询图片中未知新类的分割。在开源的PASCAL-5^(i)和COCO-20^(i)数据集上进行测试,所提模型在1-shot和5-shot任务上均取得了具有竞争力的分割结果,与当前主流算法相比,具有更好的分割性能。

基于特征融合注意力的小样本语义分割算法

针对小样本语义分割任务中对查询图片的信息利用不充分的问题,提出一种基于特征融合注意力的小样本语义分割算法。首先,利用共享主干网络编码支持图片和查询图片,从而获取图片的深度特征;然后,利用注意力机制获取支持特征和查询特征的强关联语义信息,从而构造任务注意力特征图;最后,提出一种多特征注意力融合模块,它能够自适应融合多种特征的深层语义信息并进行特征解码,从而获取目标物体的分割掩码。在PASCAL-5 i和COCO-20 i公开数据集进行了实验,结果表明,所提出模型比当前主流的小样本语义分割模型在1-way 1-shot和1-way 5-shot任务中分割得更加精准,尤其是在更具有挑战性的COCO-20 i数据集上,所提出模型在1-shot的设定下达到了28.8%的mIoU和62.1%的FB-IoU,在5-shot设定下达到了36.9%的mIoU和64.8%的FB-IoU。