基于色彩矩的无监督多分辨率图像分割

无监督的图像分割被广泛的应用于各种不同的条件下,包括数字相机的图像增强,目标识别,基于内容的图像检索和三维图像分析。本文提出了一种新的多分辨率图像分割方法。与其他基于颜色的全局优化分割方法比较,该方法基于人的视觉系统原理,能够将感兴趣的物体从背景中分割出来,同时图像分割是一个多分辨率的分割过程。首先算法在整幅图像中搜索代表物体的特征块,然后利用特征块的色彩矩特征对所有图像块进行聚类,最后对属于物体类的图像块进行高分辨率的分类,直到块中的每一个像素点被区分为背景或物体。实验结果表明,与传统方法相比,本文算法能够在较短的时间内,取得较好的分割效果。

一种多分辨率特征提取红外图像语义分割算法

针对现有图像语义分割算法在对低分辨率红外图像进行分割时存在准确率不高的问题,提出了一种多分辨率特征提取算法。该算法以DeepLabv3+为基准网络,添加了一组对偶分辨率模块,该模块包含低分辨率分支和高分辨率分支,以进一步聚合红外图像特征。低分辨率分支采用GPU友好的注意力模块捕获高层全局上下文信息,同时引入一个多轴门控感知机模块并行提取红外图像局部信息和全局信息;高分辨率分支采用跨分辨率注意力模块将低分辨率分支上学习到的全局特征传播扩散到高分辨率分支上以获取更强的语义信息。实验结果表明,该算法在数据集DNDS和MSRS上的分割精度优于现有语义分割算法,证明了提出算法的有效性。

高分辨率遥感图像双解耦语义分割网络模型

语义分割是高空间分辨率遥感图像分析和理解的核心内容之一。现有基于深度学习的语义分割网络会导致遥感图像高频信息损失,边界分割不准确。针对此问题,本文提出一种双解耦语义分割网络模型,将提取的两级特征图解耦为具有高频特性的边界特征和具有低频特性的主体特征,并将解耦后的边界和主体特征图进行融合,从而改善高分辨率遥感图像语义分割性能。进一步提出了一种顾及边界和主体的损失函数,对地物要素及其边界和主体部分进行优化学习。在ISPRS Vaihingen和Potsdam 2D高空间分辨率遥感图像数据集上进行试验,与已有的遥感图像语义分割网络模型结果比较,双解耦语义分割网络模型能有效提高地物要素分割精度。

联合图像—频率监督的图像超分辨率重建算法

针对现有单幅图像超分重建方法难以捕获图像中完备有效信息的问题,提出一种联合图像—频率监督的图像超分辨率重建算法,旨在利用多个域之间的互补信息,进而获得更完备的图像特征表示。首先通过分析图像像素转换到频域空间后的特性,根据其复数表征方式提出了一种新的频域距离监督损失,将频谱信息有效地应用到卷积神经网络的优化过程;然后通过分析频域中不同频带的表征特点,在频域距离损失基础上构建了频谱加权损失,并将其分别应用到低频和高频两个频带;最后结合图像域的监督,构成多个域的联合优化,取得良好的性能。在Set14、B100和Kodak三种公开数据集上进行了验证,结果表明:该算法的PSNR和SSIM分别达到了33.47 dB和0.9859,与几种图像超分方法相比取得了最好的性能。

基于改进坐标注意力和U-Net网络的高分辨率遥感图像建筑物提取

在城市规划、统计调查和灾害应急评估等领域,从遥感图像中准确提取建筑物至关重要。然而,由于高分辨率遥感图像中建筑形态的多样性和地面环境的复杂性,实现建筑的完整、高精度提取仍然是一个挑战。为此,本文提出了一种用于从高分辨率遥感图像中提取建筑物的新网络,该网络保留了U-Net的编码器–解码器结构,并融合了坐标自注意模块(CSAM),以调整网络对输入图像中不同区域的关注程度,使得网络能够有选择性地捕捉和强调重要的语义信息,增强特征提取能力。在空间分辨率为0.3 m的WHU建筑物数据集上进行的实验结果表明,与U-Net、PSPNet、DeepLabV3+相比,所提出的网络能够获得更准确的建筑提取结果,达到98.21%的像素精度、95.28%的精准率、94.57%的召回率和90.34%的交并比。

基于深度学习的高分辨率遥感图像分割方法

以往高分辨率遥感图像分割方法由于没有对遥感图像中的数据模点进行检测,导致分割精度不高,本文设计了一种基于深度学习的高分辨率遥感图像分割方法。首先,通过对遥感图像进行预处理,保留重要的细节信息;其次,对预处理后的遥感图像进行特征提取,并对特征提取后的图像进行滤波处理,增加图像光谱的一致性;最后,利用深度学习方法对遥感图像中的数据模点进行检测,得到遥感图像的最终分割结果。通过实验并与以往的高分辨率遥感图像分割方法进行对比证明基于深度学习的高分辨率遥感图像分割方法具有更高的分割精度。

有监督深度学习的地震资料提高分辨率处理方法

地震资料分辨率直接影响后续处理和解释成果精度,因此备受关注。深度学习方法具备自动提取深层特征和出色的非线性逼近能力,在反问题求解中广泛应用。在地震勘探领域,深度卷积网络中的卷积算子与地震数据的褶积模型相吻合,因而有望通过智能化手段显著提升地震资料的分辨率。目前,针对卷积神经网络提高地震资料分辨率方面的研究发展迅速,但问题的核心在于设计适合、有效的网络结构和损失函数。为此,提出一种基于强监督学习的地震资料高分辨率处理方法。该方法充分利用地下结构的空间连续性,借鉴图像超分辨率重建的思想,设计了一种生成对抗网络结构,用以提高地震资料的纵向分辨率;同时,采用L1损失和多尺度结构相似性(MS-SSIM)损失相结合的损失函数提高感知质量,以提高网络的高分辨率处理效果。合成数据和实际地震数据的应用结果显示,相较于常规损失函数,文中采用的损失函数可以显著提升智能算法的处理效果,明显改善地震数据同相轴的连续性,且高频细节信息更丰富,验证了该方法的可行性和有效性。

面向舌图像分割的高分辨率网络设计

针对舌图像分割算法存在边缘信息损失严重、分割精度低等问题,提出一种面向舌图像分割的高分辨率网络.首先对输入图片进行处理,构建多尺度子网并行连接的结构;其次引入注意力机制构建特征提取模块,加强对全局信息的提取;然后通过多尺度特征融合结构,充分融合低分辨率语义信息和高分辨率特征信息;最后通过空间金字塔池化结构进一步提取边界信息.通过在自建数据集上进行评估,相比于原始HRNet网络,所提算法平均交并比(MIOU)和像素准确率(ACC)分别提高了2.6、0.7个百分点.实验结果表明:所提算法有效提高了分割精度,减少边缘信息的损失,充分满足舌诊仪的需求.

基于深监督跨尺度注意力网络的深度图像超分辨率重建

消费级深度相机拍摄的深度图像具有分辨率较低的问题,深度图像超分辨率重建是解决该问题的有效方法 .为了提高重建性能,提出一种基于深监督跨尺度注意力网络的深度图像超分辨率重建算法.网络逐级放大,在损失函数中对每一级的输出都进行约束,实现深监督的目的 .采用高阶跨尺度注意力模块,将多尺度特征尺度内及跨尺度相关性与注意力机制结合起来,实现多尺度特征的自适应调整.采用内层为宽激活残差、外层为基本残差的双层残差块作为网络基本构成元素,以提高网络对复杂非线性关系的学习能力.实验结果表明,本文算法在主观视觉效果和客观质量评价指标方面都优于当前主流的深度图像超分辨率重建算法.

全局感知与稀疏特征关联图像级弱监督病理图像分割

弱监督语义分割方法可以节省大量的人工标注成本,在病理全切片图像(WSI)的分析中有着广泛应用。针对弱监督多实例学习(MIL)方法在病理图像分析中存在的像素实例相互独立缺乏依赖关系,分割结果局部不一致和图像级标签监督信息不充分的问题,该文提出一种全局感知与稀疏特征关联图像级弱监督的端到端多实例学习方法(DASMob-MIL)。首先,为克服像素实例之间的独立性,使用局部感知网络提取特征以建立局部像素依赖,并级联交叉注意力模块构建全局信息感知分支(GIPB)以建立全局像素依赖关系。其次,引入像素自适应细化模块(PAR),通过多尺度邻域局部稀疏特征之间的相似性构建亲和核,解决了弱监督语义分割结果局部不一致的问题。最后,设计深度关联监督模块(DAS),通过对多阶段特征图生成的分割图进行加权融合,并使用权重因子关联损失函数以优化训练过程,以降低弱监督图像级标签监督信息不充分的影响。DASMob-MIL模型在自建的结直肠癌数据集YN-CRC和公共弱监督组织病理学图像数据集LUAD-HistoSeg-BC上与其他模型相比展示出了先进的分割性能,模型权重仅为14 MB,在YN-CRC数据集上F1 Score达到了89.5%,比先进的多层伪监督(MLPS)模型提高了3%。实验结果表明,DASMob-MIL仅使用图像级标签实现了像素级的分割,有效改善了弱监督组织病理学图像的分割性能。

基于相似性度量的高分辨率SAR图像无监督分割

SAR图像中斑点噪声的存在给分割造成了严重的影响.为此,基于JSEG平台,针对高分辨率SAR图像的特点,提出了一种新的相似性度量,这也是该无监督分割算法的核心.该算法主要由预处理、纹理组合和区域生长三个步骤来完成.在纹理组合中,利用新的相似性度量标准,把预处理后的SAR数据通过计算映射成一组新的数据,这组新数据可初步表征图像的分割;最后利用简单的区域生长完成分割.实验结果表明,该方法充分利用了SAR图像的特征信息,能够准确实现对SAR图像的分割,并具有很好的稳健性.

基于协同训练的半监督学习3D医学图像分割模型

近年来人工智能应用于COVID-19医学影像诊断,降低了检测成本和漏检率,但临床医学图像样本数量较少和标签质量较低,影响了3D模型的分割性能。本文提出基于协同训练的半监督学习3D医学图像分割模型,使用空间翻转和窗口技术生成多视角、多模态图像,增强3D图像样本的空间差异性;采用一种基于加权不确定度的虚拟标签生成模块,为无标签数据生成可靠的虚拟标签,减少过拟合;采用基于三阶段的三维度六模型协同训练,增强分割精度和泛化性能。此外,本文可视化协同训练各阶段的特征关注度热力图,为临床诊断提供有效参考。针对661位新冠患者的771例NIFTI格式3D COVID-19的CT图像展开实验,5折交叉验证结果表明,本文模型Dice系数为73.30%,平均表面距离(ASD)为10.633,灵敏度(Sen⁃sitivity)为0.630,特异度(Specificity)为0.996。与各种典型半监督学习3D分割模型相比,具有更好的分割精度和泛化性能。

面向高分辨率遥感图像的分割模型研究

高分辨率遥感影像往往蕴含着丰富的地物信息、复杂的拓扑关系和多变的目标对象,给复杂环境下情报识别与分析带来了挑战。为了高效、快速、精确地获取到遥感图像中的关键信息,在主流图像分割的编码-解码模式的基础上,提出了一种全新的遥感图像分割方法,内部引入了多种注意力机制以及多尺度的特征表示结构,增强了对遥感图像的解译能力,提升了最终的目标分割效果。在公开数据集上的实验表明,所提方案可以在保持低参数量的情况下,明显优于其余基线方法。

基于重参数化的超分辨率重建

针对现有单图像超分辨率重建(Single Image Super-resolution,SISR)模型存在速度和精度的矛盾,论文给出了一种重参数化(Re-parameterization)的轻量模型用于实现图像重建。该模型训练时通过使用结构较复杂的模型保证精度,推理时通过模型等效变换为简单的卷积以提高速度。同时多监督结构的加入让模型收敛更快且更为灵活。通过峰值信噪比和结构相似度对重建模型的质量和效率进行了评估。验证了所提模型在现有超分辨率重建方法中兼具了轻量和重建质量良好的优点。

基于深度学习的高分辨率遥感图像语义分割方法综述

将常见的基于深度学习的高分辨率遥感图像语义分割方法分为基于卷积神经网络的遥感图像语义分割方法、基于注意力机制的遥感图像语义分割方法及基于Transformer的遥感图像语义分割方法三类。介绍了各类方法的主要算法,总结和评述了各算法的优缺点,展望了高分辨率遥感图像语义分割方法的研究发展趋势。

基于DPMM和MRF的高分辨率遥感图像无监督对象分割

为准确、自动地进行高分辨率遥感图像地物目标对象分割,提出一种基于狄利克雷过程混合模型(DPMM)和马尔可夫随机场(MRF)的无监督对象分割方法(DPMM-OMRF)。首先,使用网格划分超像素为基本对象;其次,使用多维高斯分布构建DPMM先验,并使用相似性度量构建MRF先验,二者以自适应权重方式相结合作为DPMM-OMRF模型的先验分布;然后,在贝叶斯框架下,将基本对象的似然分布与联合先验分布结合,构建DPMM-OMRF模型,并推导类标签的条件分布;最后,通过推导和计算类标签后验概率,设计Gibbs采样方法,更新DPMM-OMRF模型的标签场和参数。实验结果表明,DPMM-OMRF模型的总体分类精度(OA)提高到90%左右,Kappa系数接近0.8,并且能够准确地识别出地物目标类属数和更加准确地分割出完整地物目标对象。

一种结合图特征的高分辨率遥感图像随机行走分割方法

当前高空间分辨率遥感图像分割与目标检测仍然面临着精度与效率的两难问题。文章提出了一种基于图特征的随机行走分割方法来提高分割效果。该方法有3个步骤。首先,通过奇Gabor滤波和分水岭变换将图像从像素转换为图,并进行基于图的特征表达。其次,利用图像的光谱特征、纹理特征、形状特征和位置特征,构建加权函数。为了有效地表达特征,采用KNN(K-nearest neighbors)高分标签交互选择种子点。最后,通过建立拉普拉斯函数并求解Dirichlet边界问题,对最大可能性进行标记,完成随机行走分割。文章讨论了加权函数中的参数设置,并通过对比实验对基于高分辨率遥感图像的分割结果进行了评价。研究表明,文章所采用的结合图特征的随机行走分割算法只需要小样本便可以实现更精确的分割。

基于级联高分辨率网络的活性污泥显微图像分割方法

由于活性污泥显微图像固有的光晕、阴影等伪影以及絮状物和丝状菌多样性和结构性的不均匀性,传统图像分割方法存在絮体和丝状菌欠分割和过分割的问题.笔者基于高分辨率网络(high resolution network, HRNet)提出一种级联高分辨率网络(cascaded high resolution network, CHRNet)的活性污泥显微图像分割方法.该方法基于HRNet网络框架,通过特征金字塔构建级联的解码器结构,利用低分辨率提取语义信息,并中高分辨率恢复与细化边缘信息.引入多标签监督使反向传播更加平滑,从而实现更准确的预测.通过引入加权交叉熵损失函数,改善活性污泥显微图像分割中絮体和丝状菌样本类别不均衡的问题.真实污水处理厂活性污泥显微图像数据集图像分割实验结果表明:CHRNet方法在鲁棒性和泛化能力方面好于HRNet、U-Net和DeepLabV3+方法.

基于解耦区域校准的高分辨率超像素生成算法

超像素分割是计算机视觉领域的一项重要任务,该任务将具有相似属性的像素分组到称为超像素的簇中.图像超像素不仅可以增益图像注释,而且还是各种下游应用的基础,如分割、光流估计和深度估计.尽管超像素分割技术取得了显著进展,特别是随着深度学习方法的出现,但现有解决方案由于GPU内存和计算能力的限制,一直无法有效处理高分辨率图像.针对这个问题,作者提出了一种名为区域解耦校准的高分辨率超像素网络(Patch Calibration Network,PCNet)的新型深度学习框架,通过采用解耦的一致性学习策略,解决了现有方法的局限性.这种方法允许通过从低分辨率输入预测高分辨率输出来高效生成高分辨率超像素结果,从而绕过了GPU内存限制.PCNet的一个关键贡献是解耦的区域块校准(DPC)分支,它将高分辨率图像块作为额外输入,以保留细节并增强边界像素分配.为了改善边界像素的识别,作者利用二进制掩模设计了一种动态引导训练机制.这种机制鼓励网络专注于区域内的主要边界,将任务从多类分类简化为二分类问题.这一创新策略不仅减少了网络优化的复杂性,而且显著提高了边界检测的精度.本文通过在包括Mapillary Vistas、BIG和新创建的Face-Human数据集在内的多样化数据集上进行广泛的实验,证明了PCNet的有效性.结果表明,PCNet能够成功处理5K分辨率图像,并与现有的最先进的SCN方法相比,实现了更优越的性能,后者在处理高分辨率输入时存在困难.作者的贡献包括开发了PCNet,一种针对高分辨率超像素分割的深度学习解决方案,引入了解耦的区域校准架构,并构建了一个超高分辨率基准测试集,用于评估高分辨率场景中超像素分割算法的性能.本文首先回顾了超像素分割领域的相关工作,然后详细介绍了PCNet框架,接着展示了实验结果并与最先进的方法进行了比较.结论部分总结了研究结果并概述了未来研究的潜在方向.代码、预训练模型和新的基准数据集的可用性无疑将促进高分辨率超像素分割领域的进一步发展.总之,本文在超像素分割领域提供了一个重要的进步,提供了一种能够高效、准确处理高分辨率图像的解决方案.所提出的PCNet框架,凭借其创新的DPC分支和动态引导训练机制,为未来在计算机视觉领域的研究和应用提供了一个有前景的方向.本文的代码、预训练模型以及新构建的评估基准数据集可在https://github.com/wangyxxjtu/PCNet上获取.

基于预训练模型的单帧航拍图像无监督语义分割

针对航拍图像语义分割成本高、通用性差和精度低等问题,提出了一种两阶段无监督语义分割网络(two-stage unsupervised semantic segmentation net, TUSSNet),针对单帧航拍图像训练进而生成最终的语义分割结果。算法分为2个阶段。首先,使用对比语言-图像预训练(contrastive language-image pretraining, CLIP)模型生成航拍图像的粗粒度语义标签,然后进行网络的预热训练。其次,在第一阶段的基础上,采用分割一切模型(segment anything model, SAM)对航拍图像进行细粒度类别预测,生成精细化类别掩码伪标签;然后迭代优化网络,得到最终语义分割结果。实验结果显示,相较于现有无监督语义分割方法,算法显著提高了航拍图像的分割精度,同时提供了准确的语义信息。