高级语义修复策略的跨模态融合RGB-D显著性检测

针对显著区域定位不完整以及边缘模糊问题,提出一种RGB-D显著性目标检测方法。该方法首先设计了一个跨模态特征融合模块来逐层融合RGB和Depth信息,并得到六个模态融合特征输出。该模块降低了RGB和Depth信息之间存在的差异性,为后续的高级语义修复提供更具共性和互补性的深层特征;基于上述模块获得的多层次信息,利用后三层特征,联合提取更丰富的高级语义信息,并得到初始显著图。之后,采用UNet的网络结构,从网络的顶层向下融合,每一层经过上采样之后与下一层进行通道维度上的融合,前三层底层特征在融合前后采用高级语义特征进行指导,以完成对底层特征的修复。最后,得到最终的显著图。提出的跨模态特征融合模块能够自适应地融合多模态特征,突出融合特征的共性和互补性,降低融合的模糊度。提出的高级语义修复策略有助于准确检测出显著区域并提高边缘清晰度。实验结果表明,该算法在NJU2K、NLPR、STERE、DES、SIP五个数据集上均超过大部分优秀的方法,达到了较为先进的性能。

基于多层次特征融合的RGB-D显著性检测

大多数RGB-D显著性检测方法在探索各层跨模态信息时,往往直接将深度图不加处理地与RGB图进行融合,并且在各个层次采用相同的融合策略。然而,这会产生两个问题:(1)低质量深度图会把大量的冗余信息带入网络中,给检测带来负面影响;(2)在各个层次上采用相同的融合策略,忽略了模型在不同层次对全局和局部特征具有不同的关注度。为了解决上述问题,提出了一种自顶向下的多层次特征融合结构,通过设计深度增强模块有效地过滤低质量深度图信息;设计高层交融模块有效地整合高层中的全局特征;设计低层交融模块有效提取与融合有用的局部特征。通过在5个公共数据集上与7种先进模型进行的综合实验表明,该模型在F(F-measure)指标、avgF(average F-measure)指标、S(S-measure)指标和MAE(mean absolute error)4个指标上表现出了良好的性能。

基于注意机制和多尺度跨模态融合的RGB-D显著性检测

针对基于深度卷积神经网络的RGB-D显著性检测性能差等问题,提出利用注意机制和多尺度跨模态融合进行RGB-D显著性检测的方法.首先采用多尺度残差注意模块对骨干网络提取的特征进行预处理;然后提出多尺度跨模态融合策略,对高层RGB特征和深度特征进行融合,获得初始显著图;最后采用边界细化模块细化初始显著图中目标的边界,使最终显著图包含敏锐的边界和完整的突出目标.在5个基准数据集上与10种先进方法进行实验的结果表明,所提方法在4个评价指标上均处于前3名;尤其是在NJUD和SIP数据集上,该方法在4个指标上提升了0.5%~1.5%.

基于注意力感知的RGB-D显著性检测

为在进行RGB-D显著性检测时能高效利用RGB信息与深度信息,对跨模态的融合进行研究。区别于现有方法忽略图像中干扰因素的存在或不考虑图像初始信息的缺陷,设计一个基于注意力机制的跨模态融合模块(CFM)。通过空间注意力与通道注意力有效过滤深度特征以及调制后特征的不必要信息,集成RGB特征与深度特征,让二者实现更好的互补。为保证全局信息与初始彩色信息的不丢失,通过残差连接将原始特征作为补充信息。在5个数据集上使用5个评价指标进行的实验结果表明,与当前主流模型相比,该模型具有优越性。

基于改进LBE特征的RGB-D显著性检测

针对LBE算法难以完整检测出结构复杂的目标和过度依赖深度信息的问题,提出一种基于改进LBE特征的RGB-D显著性检测算法。首先,对输入图像进行多级分割;然后,在各级分割图上计算LBE特征并融合,得到深度显著图;最后,利用色彩信息和先验信息对深度显著图进行矫正得到最终显著图。实验结果表明,改进算法与原始LBE算法相比在准确率上略有降低,在召回率上明显提升,得到的显著图更接近真实值。

基于多尺度特征融合的RGB-D显著性检测

深度图的引入为RGB显著性检测提供了丰富的位置线索,但低质量的深度图会错误引导模型的特征拟合,并且由于真实世界的显著物体尺度变化较大,会使网络在预测过程中更加困难,误差变大.为了解决上述问题,本文设计了一种新的基于深度学习的RGB-D显著性检测模型.本文利用VGG19作为主干网络分别提取RGB图和深度图两个模态的特征;然后利用串行的自适应融合模块对提取到的特征进行跨模态融合,使RGB图和深度图的优势互补,自动筛选深度特征;接着利用联合边缘检测的多尺度特征聚合模块将跨模态融合后的特征与边缘信息融合;最后通过全局引导模块对模型进行全局特征引导,得到预测结果.利用本文方法对4个公开数据集上的图像进行了预测。并与6种不同的方法进行对比,本文方法预测结果更接近人工标定的真值图.PR(Precision-Recal)曲线、S(S-measure)指标、F(F-measure)指标和MAE(Mean Absolute Error)指标显示,本文方法的整体性能较其中6种方法高.

基于多模态特征交互的RGB-D显著性目标检测

现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出了一个用于多模态特征交互的RGB-D显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块:用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来,RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息,取得了比RGB显著性检测模型更好的性能,受到学术界的高度关注.然而,现有的RGB-D检测模型仍面临着持续提升检测性能的需求.最近兴起的Transformer擅长建模全局信息,而卷积神经网络(CNN)擅长提取局部细节.因此,如何有效结合CNN和Transformer两者的优势,挖掘全局和局部信息,将有助于提升显著性目标检测的精度.为此,提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法,通过将Transformer网络嵌入U-Net中,从而将全局注意力机制与局部卷积结合在一起,能够更好地对特征进行提取.首先借助U-Net编码-解码结构,高效地提取多层次互补特征并逐级解码生成显著特征图.然后,使用Transformer模块学习高级特征间的全局依赖关系增强特征表示,并针对输入采用渐进上采样融合策略以减少噪声信息的引入.其次,为了减轻低质量深度图带来的负面影响,设计一个跨模态交互融合模块以实现跨模态特征融合.最后,5个基准数据集上的实验结果表明,所提算法与其他最新的算法相比具有显著优势.

多尺度特征融合的RGB-D图像显著性目标检测

显著性目标检测是计算机视觉的一个基础问题,目前很多基于深度学习的显著性检测方法都是将RGB图像和深度图按照输入融合或结果融合的方法进行特征融合,但这些方法并不能有效地融合特征图,为了提升显著性目标检测算法性能,提出了一种多尺度特征融合的RGB-D图像显著性目标检测方法。将模型主体设计为两个特征编码器、两个特征解码器和一个跨模特多尺度特征交错融合模块。两个特征编码器分别对应RGB图和深度图,其采用经过ImageNet数据集预训练的ResNet50网络,特征解码器用于解码编码器的五种不同尺度的输出,跨模态多尺度特征交错融合模块用于融合解码器和编码器提取的不同尺度的特征图,并将五个层次的融合结果进行拼接和降维,输出最终的显著性预测图。实验在四个公开的显著性数据集上与以往具有代表性的十个模型进行了比较,该模型在各个数据集上,相比于性能第二的模型,S-measure平均提高了0.391%,MAE平均减少了0.330%,F-measure平均减少了0.405%。提出了一种多尺度特征融合模型,摒弃了以往融合的方式,采用特征融合,将浅层和深层的特征分别进行交错融合,实验表明,提出的方法较以往的方法有更强的性能,能够取得更好的效果。

边缘信息增强的显著性目标检测网络

针对显著性目标检测任务中识别结果边缘模糊的问题,提出了一种能够充分利用边缘信息增强边缘像素置信度的新模型。该网络主要有两个创新点:设计三重注意力模块,利用预测图的特点直接生成前景、背景和边缘注意力,并且生成注意力权重的过程不增加任何参数;设计边缘预测模块,在分辨率较高的网络浅层进行有监督的边缘预测,并与网络深层的显著图预测融合,细化了边缘。在6种常用公开数据集上用定性和定量的方法评估了该模型,并且与其他模型进行充分对比,证明设计的新模型能够取得最优的效果。此外,该模型参数量为30.28 M,可以在GTX 1080 Ti显卡上达到31帧·s^(-1)的预测速度。

基于特征注意力提纯的显著性目标检测模型

近年来,显著性目标检测技术取得了巨大进展,其中如何选择并有效集成多尺度特征扮演了重要角色。针对现有特征集成方法可能导致的信息冗余问题,提出了一种基于特征注意力提纯的显著性检测模型。首先,在解码器中采用一个全局特征注意力引导模块(GAGM)对带有语义信息的深层特征进行注意力机制处理,得到全局上下文信息;然后,通过全局引导流将其送入解码器各层进行监督训练;最后,利用多尺度特征融合模块(FAM)对编码器提取出的多尺度特征与全局上下文信息进行有效集成,并在网格状特征提纯模块(MFPM)中进行进一步细化,以生成清晰、完整的显著图。在5个公开数据集上进行实验,结果表明,所提模型优于现有的其他显著性检测方法,并且处理速度快,当处理320×320尺寸的图像时,能以30帧以上的速度运行。

基于特征残差融合的显著性检测网络

当前的显著性检测任务得益于卷积神经网络模型的监督训练能够达到很好的效果,但是模型中的显著性特征如何有效地利用仍是一个关键的问题。不同层级的显著性特征信息融合能够达到互补的效果进而促进最终预测的效果,因此提出一个基于局部信息残差融合的网络架构。该结构是对局部范围的卷积层的特征进行残差式的融合,以此降低由于采样操作导致引入噪点的风险。再将融合的新特征图由深层递进式地传递到浅层并输出,进而获得最终的预测结果。

基于提取双选紧密特征的RGB-D显著性检测网络

针对现有算法对不同来源特征之间的交互选择关注度欠缺以及对跨模态特征提取不充分的问题,提出了一种基于提取双选紧密特征的RGB-D显著性检测网络。首先,为了筛选出能够同时增强RGB图像显著区域和深度图像显著区域的特征,引入双向选择模块(bi-directional selection module,BSM);为了解决跨模态特征提取不充分,导致算法计算冗余且精度低的问题,引入紧密提取模块(dense extraction module,DEM);最后,通过特征聚合模块(feature aggregation module,FAM)对密集特征进行级联融合,并将循环残差优化模块(recurrent residual refinement aggregation module,RAM)配合深度监督实现粗显著图的持续优化,最终得到精确的显著图。在4个广泛使用的数据集上进行的综合实验表明,本文提出的算法在4个关键指标方面优于7种现有方法。

基于多层显著性模型的SAR图像舰船目标检测

针对合成孔径雷达图像舰船目标检测问题,提出了一种结合选择机制与轮廓信息的多层显著性目标检测方法。首先,利用非下采样剪切波和频谱残差法进行全局显著性区域提取。其次,提出了一种基于动态恒虚警率的活动轮廓显著性模型,逐步滤除候选区域的虚警,提取目标轮廓,从而实现目标的精确检测。所提方法能够由粗到细地快速捕获目标区域,从而实现高效、高分辨率合成孔径雷达图像舰船检测。最后,在真实SAR数据集进行了测试,与其他经典的舰船检测方法相比,所提算法不仅有效地抑制了海杂波的影响,而且在检测精度上有较大提高。

集成视觉显著性和群决策的航空零件孔特征检测

为了实现复杂环境下航空零件孔特征的高效高精度检测,提出了一种集成视觉显著性和群决策的检测方法。在经典FT显著性检测算法中引入图像增强步骤,并为每个像素赋予以最大显著区域中心为参考的权重,使用改进后的方法对图像进行孔区域分割。设计具有多尺度多结构元素的新型数学形态学边缘检测算法,结合轮廓细化算法对孔区域进行轮廓提取。最后,利用Meanshift算法寻找轮廓点的圆心位置,建立新的基于群决策的圆半径计算模型,获得孔特征的关键几何参数。结果表明:改进的视觉显著性特征检测算法能够生成更加突显孔特征的全分辨率显著图;新型数学形态学边缘检测算法能获得简化且可靠的轮廓点;该方法在不均匀光照、各类孔缺陷和孔内壁干扰等条件下均显示出较好的稳定性;即使在噪声密度高达30%时仍能成功完成孔检测,且圆心坐标和半径的误差均小于0.012 mm;平均检测时间仅为0.236 s。该方法能够在复杂环境下对航空零件孔特征进行准确、稳定的检测。

弱监督显著性目标检测研究进展

显著性目标检测旨在准确检测和定位图像或视频中最引人注目的目标或区域,为更好地进行目标识别和场景分析提供帮助。尽管全监督显著性检测方法取得一定成效,但获取大规模像素级标注数据集十分困难且昂贵。弱监督检测方法利用相对容易获取的图像级标签或带噪声的弱标签训练模型,在实际应用中表现出良好效果。全面对比了全监督和弱监督显著性检测的主流方法和应用场景,重点分析了常用的弱标签数据标注方法及其对显著目标检测的影响。综述了弱监督条件下显著目标检测方法的最新研究进展,并在常用数据集上对不同弱监督方法的性能进行了比较。最后探讨了弱监督显著性检测在农业、医学和军事等特殊领域的应用前景,指出了该研究领域存在的问题及未来发展趋势。

一种基于ConvMixer骨干的显著性目标检测模型

显著性目标检测(Saliency Object Detection,SOD)算法多采用基于卷积神经网络(Convolutional Neural Network,CNN)的骨干网络提取特征,然而CNN无法获取图像的长范围特征依赖。视觉转换器(Vision Transformer,ViT)将图像划分为图块(patch),通过Transformer在patch之间传播全局上下文信息获得长范围特征依赖,但Transformer的自注意力层具有二次方的时间复杂性。因此,提出一种低复杂性的基于patch的SOD算法CM-PoolNet,对经典的显著性目标检测PoolNet模型的骨干网络进行改进,使用卷积模型ConvMixer替换VGG和RestNet,提出新的特征融合方法。基于U型结构,编码器对输入图像进行Patch Embedding,送入重复堆叠的由深度可分离卷积和膨胀卷积构成的ConvMixer特征提取器中。为解码器设计了基于patch的特征融合模块。设计了BCE、SSIM和IOU 3种损失,引导模型在像素级、图块级、特征图级3级层次中学习输入图像和真值图像之间的转换。在DUTS数据集和ECSSD数据集上进行实验,结果表明:提出的模型能够有效地分割突出的目标区域,并且准确预测具有清晰边界的精细结构。

结合视觉显著性和EfficientNetV2的舰船目标检测方法

随着光学遥感图像分辨率逐渐提高,对海面舰船目标快速精准检测成为海事研究的基本挑战之一。为了解决检测过程中面临的待检测图像尺寸大而目标稀疏、复杂环境干扰、目标提取时效性差、模型体积计算量大等问题,提出一种实用的舰船检测方案。引入视觉显著性有效加速预筛选过程,利用小波分解系数表达舰船目标区域与背景的差异,抑制噪声的同时增强目标方向特征,通过改进的四元数傅里叶变换相位谱模型(phase spectrum of quaternion Fourier transform,PQFT)生成显著图,并采用Gini指数引导多尺度显著图融合以增强图像尺度适应性及小目标显著性。与其他显著性方法相比,提出的模型能够有效抑制云、雾、海杂波、舰船尾迹等复杂环境的干扰,与经典的滑动窗口或其他区域建议方法相比产生更小的候选区域集合。得到显著图映射后,采用自适应阈值OTSU法对显著图进行二值分割。在目标判别阶段,利用轻量化网络EfficientNetV2有效剔除虚警。实验结果表明,所提出的船舶检测方法鲁棒性高,准确率高达96%,满足实时性需求。

深度学习时代下的RGB-D显著性目标检测研究进展

受人类的视觉注意力机制启发,显著性目标检测任务旨在定位给定场景中最吸引人注意的目标或区域.近年来,随着深度相机的发展和普及,深度图像已经被成功应用于各类计算机视觉任务,这也为显著性目标检测技术提供了新思路.通过引入深度图像,不仅能使计算机更加全面地模拟人类视觉系统,而且深度图像所提供的结构、位置等补充信息也可以为低对比度、复杂背景等困难场景的检测提供新的解决方案.鉴于深度学习时代下RGB-D显著目标检测任务发展迅速,旨在从该任务关键问题的解决方案出发,对现有相关研究成果进行归纳、总结和梳理,并在常用RGB-DSOD数据集上进行不同方法的定量分析和定性比较.最后,对该领域面临的挑战及未来的发展趋势进行总结与展望.

基于HMSD和改进的显著性检测的图像融合

针对由于可见光与红外图像的特点不同,使得融合图像中会存在目标不突出、对比度低、伪影多的问题,提出了一种基于混合多尺度分解和改进的显著性检测的红外与可见光图像融合方法。利用梯度引导滤波器的边缘保持特性和高斯滤波器的平滑特性将红外和可见光分解为不同特征的层次。对不同层次的图像采用不同的融合策略,针对基层,使用一种改进的显著性检测进行融合。结合各层融合的子图像来重构的融合图像具有突出目标和清晰背景。实验结果表明:所提出的方法与其他经典融合算法相比,融合质量更高、视觉效果更好。