空间约束下自相互注意力的RGB-D显著目标检测

针对RGB-D显著目标检测问题,提出空间约束下自相互注意力的RGB-D显著目标检测方法.首先,引入空间约束自相互注意力模块,利用多模态特征的互补性,学习具有空间上下文感知的多模态特征表示,同时计算两种模态查询位置与周围区域的成对关系以集成自注意力和相互注意力,进而聚合两个模态的上下文特征.然后,为了获得更互补的信息,进一步将金字塔结构应用在一组空间约束自相互注意力模块中,适应不同空间约束下感受野不同的特征,学习到局部和全局的特征表示.最后,将多模态融合模块嵌入双分支编码-解码网络中,解决RGB-D显著目标检测问题.在4个公开数据集上的实验表明,文中方法在RGB-D显著目标检测任务上具有较强的竞争性.

基于跨模态特征融合的RGB-D显著性目标检测

RGB-D显著性目标检测因其有效性和易于捕捉深度线索而受到越来越多的关注。现有的工作通常侧重于通过各种融合策略学习共享表示,少有方法明确考虑如何维持RGB和深度的模态特征。提出了一种跨模态特征融合网络,该网络维持RGB-D显著目标检测的RGB和深度的模态,通过探索共享信息以及RGB和深度模态的特性来提高显著检测性能。具体来说,采用RGB模态、深度模态网络和一个共享学习网络来生成RGB和深度模态显著性预测图以及共享显著性预测图。提出了一种跨模态特征融合模块,用于融合共享学习网络中的跨模态特征,然后将这些特征传播到下一层以整合跨层次信息。此外,提出了一种多模态特征聚合模块,将每个单独解码器的模态特定特征整合到共享解码器中,这可以提供丰富的互补多模态信息来提高显著性检测性能。最后,使用跳转连接来组合编码器和解码器层之间的分层特征。通过在4个基准数据集上与7种先进方法进行的实验表明,方法优于其他最先进的方法。

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来,RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息,取得了比RGB显著性检测模型更好的性能,受到学术界的高度关注.然而,现有的RGB-D检测模型仍面临着持续提升检测性能的需求.最近兴起的Transformer擅长建模全局信息,而卷积神经网络(CNN)擅长提取局部细节.因此,如何有效结合CNN和Transformer两者的优势,挖掘全局和局部信息,将有助于提升显著性目标检测的精度.为此,提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法,通过将Transformer网络嵌入U-Net中,从而将全局注意力机制与局部卷积结合在一起,能够更好地对特征进行提取.首先借助U-Net编码-解码结构,高效地提取多层次互补特征并逐级解码生成显著特征图.然后,使用Transformer模块学习高级特征间的全局依赖关系增强特征表示,并针对输入采用渐进上采样融合策略以减少噪声信息的引入.其次,为了减轻低质量深度图带来的负面影响,设计一个跨模态交互融合模块以实现跨模态特征融合.最后,5个基准数据集上的实验结果表明,所提算法与其他最新的算法相比具有显著优势.

基于互学习和促进分割的RGB-D显著性目标检测

RGB-D显著性目标检测主要通过融合RGB图像和深度图(Depth)从给定场景中分割最显著的对象.由于受到原始深度图固有噪声的影响,会导致模型在检测过程中拟入错误的信息.为了改善检测效果,该文提出了一种基于互学习和促进分割的RGB-D显著性目标检测模型,设计一个深度优化模块来获取深度图和预测深度图之间最优的深度信息;引入特征对齐模块和跨模态集成模块完成跨模态的融合;针对分割造成的精度损失问题,构建了一个基于多源特征集成机制的分离重构解码器.在5个公开数据集上进行了实验测试,实验结果表明:所提模型与其他模型相比,准确率更高,网络更加稳定.

基于多模态特征交互的RGB-D显著性目标检测

现有的大多数RGB-D显著性目标检测方法利用深度图来提高检测效果,而忽视了其质量的影响。低质量的深度图会对最终显著目标预测结果造成污染,影响显著性检测的性能。为了消除低质量深度图带来的干扰,并准确突出RGB图像中的显著目标,提出了一个用于多模态特征交互的RGB-D显著性目标检测模型。在编码阶段,设计了一个特征交互模块,其包含三个子模块:用于增强特征表述能力的全局特征采集子模块、用于过滤低质量深度信息的深度特征精炼子模块和用于实现特征融合的多模态特征交互子模块。在解码阶段,逐层融合经过特征交互后的多模态特征,实现多层次特征融合。通过在五个基准数据集上与十二种先进方法进行的综合实验表明,该模型在NLPR、SIP和NJU2K数据集上的指标上均优于其他对比方法,其中在NJU2K数据集上,该模型的性能比第二名在平均F值上提升了0.008,加权F值上提升了0.014,E-measure上提升了0.007,表现出了较好的检测效果。

边缘信息增强的显著性目标检测网络

针对显著性目标检测任务中识别结果边缘模糊的问题,提出了一种能够充分利用边缘信息增强边缘像素置信度的新模型。该网络主要有两个创新点:设计三重注意力模块,利用预测图的特点直接生成前景、背景和边缘注意力,并且生成注意力权重的过程不增加任何参数;设计边缘预测模块,在分辨率较高的网络浅层进行有监督的边缘预测,并与网络深层的显著图预测融合,细化了边缘。在6种常用公开数据集上用定性和定量的方法评估了该模型,并且与其他模型进行充分对比,证明设计的新模型能够取得最优的效果。此外,该模型参数量为30.28 M,可以在GTX 1080 Ti显卡上达到31帧·s^(-1)的预测速度。

基于特征注意力提纯的显著性目标检测模型

近年来,显著性目标检测技术取得了巨大进展,其中如何选择并有效集成多尺度特征扮演了重要角色。针对现有特征集成方法可能导致的信息冗余问题,提出了一种基于特征注意力提纯的显著性检测模型。首先,在解码器中采用一个全局特征注意力引导模块(GAGM)对带有语义信息的深层特征进行注意力机制处理,得到全局上下文信息;然后,通过全局引导流将其送入解码器各层进行监督训练;最后,利用多尺度特征融合模块(FAM)对编码器提取出的多尺度特征与全局上下文信息进行有效集成,并在网格状特征提纯模块(MFPM)中进行进一步细化,以生成清晰、完整的显著图。在5个公开数据集上进行实验,结果表明,所提模型优于现有的其他显著性检测方法,并且处理速度快,当处理320×320尺寸的图像时,能以30帧以上的速度运行。

基于多层显著性模型的SAR图像舰船目标检测

针对合成孔径雷达图像舰船目标检测问题,提出了一种结合选择机制与轮廓信息的多层显著性目标检测方法。首先,利用非下采样剪切波和频谱残差法进行全局显著性区域提取。其次,提出了一种基于动态恒虚警率的活动轮廓显著性模型,逐步滤除候选区域的虚警,提取目标轮廓,从而实现目标的精确检测。所提方法能够由粗到细地快速捕获目标区域,从而实现高效、高分辨率合成孔径雷达图像舰船检测。最后,在真实SAR数据集进行了测试,与其他经典的舰船检测方法相比,所提算法不仅有效地抑制了海杂波的影响,而且在检测精度上有较大提高。

集成多种上下文与混合交互的显著性目标检测

显著性目标检测目的是识别和分割图像中的视觉显著性目标,它是计算机视觉任务及其相关领域的重要研究内容之一。当下基于全卷积网络(FCNs)的显著性目标检测方法已经取得了不错的性能,然而现实场景中的显著性目标类型多变且尺寸不固定,这使得准确检测并完整分割出显著性目标仍然是一个巨大的挑战。为此,该文提出集成多种上下文和混合交互的显著性目标检测方法,通过利用密集上下文信息探索模块和多源特征混合交互模块来高效预测显著性目标。密集上下文信息探索模块采用空洞卷积、不对称卷积和密集引导连接渐进地捕获具有强关联性的多尺度和多感受野上下文信息,通过集成这些信息来增强每个初始多层级特征的表达能力。多源特征混合交互模块包含多种特征聚合操作,可以自适应交互来自多层级特征中的互补性信息,以生成用于准确预测显著性图的高质量特征表示。此方法在5个公共数据集上进行了性能测试,实验结果表明,该文方法在不同的评估指标下与19种基于深度学习的显著性目标检测方法相比取得优越的预测性能。

基于多任务学习的视频和图像显著目标检测方法

显著目标检测(Salient Object Detection,SOD)能够模拟人类的注意力机制,在复杂的场景中快速发现高价值的显著目标,为进一步的视觉理解任务奠定了基础。当前主流的图像显著目标检测方法通常基于DUTS-TR数据集进行训练,而视频显著目标检测方法(Video Salient Object Detection,VSOD)基于DAVIS,DAVSOD以及DUTS-TR数据集进行训练。图像和视频显著目标检测任务既有共性又有特性,因此需要部署独立的模型进行单独训练,这大大增加了运算资源和训练时间的开销。当前研究大多针对单个任务提出独立的解决方案,而缺少统一的图像和视频显著目标检测方法。针对上述问题,提出了一种基于多任务学习的图像和视频显著目标检测方法,旨在构建一种通用的模型框架,通过一次训练同时适配两种任务,并进一步弥合图像和视频显著目标检测方法之间的性能差异。12个数据集上的定性和定量实验结果表明,所提方法不仅能够同时适配两种任务,而且取得了比单任务模型更好的检测结果。

基于伪标签的弱监督显著特征增强目标检测方法

显著性目标检测旨在检测图像中最明显的区域。传统的基于单一标签的算法不可避免地受到所采用的细化算法的影响,表现出偏见特征,从而进一步影响了显著性网络的检测性能。针对这一问题,基于多指令滤波器结构,提出了一种基于伪标签的弱监督显著特征增强目标检测方法FeaEM,通过从多个标签中集成更全面和准确的显著性线索,从而有效提升目标检测的性能。FeaEM方法的核心是引入一个新的多指令滤波器结构,利用多个伪标签来避免单一标签带来的负面影响;通过在指令滤波器中引入特征选择机制,从噪声伪标签中提取和过滤更准确的显著性线索,从而学习更多有效的具有代表性的特征;同时,针对现有的弱监督目标检测方法对输入图像的尺度十分敏感,同一图像的不同尺寸输入的预测结构存在较大偏差问题,通过引入尺度特征融合机制,以确保在输入不同尺寸的同一图像时,能输出一致的显著图,进而有效提高模型的尺度泛化能力。在多个数据集上进行的大量实验表明,所提出的FeaEM方法优于最具代表性的方法。

弱监督显著性目标检测研究进展

显著性目标检测旨在准确检测和定位图像或视频中最引人注目的目标或区域,为更好地进行目标识别和场景分析提供帮助。尽管全监督显著性检测方法取得一定成效,但获取大规模像素级标注数据集十分困难且昂贵。弱监督检测方法利用相对容易获取的图像级标签或带噪声的弱标签训练模型,在实际应用中表现出良好效果。全面对比了全监督和弱监督显著性检测的主流方法和应用场景,重点分析了常用的弱标签数据标注方法及其对显著目标检测的影响。综述了弱监督条件下显著目标检测方法的最新研究进展,并在常用数据集上对不同弱监督方法的性能进行了比较。最后探讨了弱监督显著性检测在农业、医学和军事等特殊领域的应用前景,指出了该研究领域存在的问题及未来发展趋势。

基于多尺度视觉感知特征融合的显著目标检测方法

显著性物体检测具有重要的理论研究意义和实际应用价值,已在许多计算机视觉应用中发挥了重要作用,如视觉追踪、图像分割、物体识别等。然而,自然环境下显著目标的类别未知、尺度多变依然是物体检测面临的一大挑战,影响着显著目标的检测效果。因此,提出了一种基于多尺度视觉感知特征融合的显著目标检测方法。首先,基于视觉感知显著目标的特性,设计并提取多个图像感知特征。其次,图像感知特征采用多尺度自适应方式,获取特征显著图。然后,将各个显著特征图融合,获得最终的显著目标。该方法基于不同图像感知特征的特点,自适应提取显著目标,能够适应多变的检测目标与复杂的检测环境。实验结果表明,在受自然环境中背景干扰的情况下,该方法能有效检测出未知类别和不同尺度的显著目标。

视觉显著性和稀疏学习相融合的船舶图像目标检测

为抑制船舶图像目标检测受光照变化、海浪干扰、背景杂波等因素的影响,设计视觉显著性和稀疏表示学习相融合的船舶图像目标检测方法,提升船舶图像目标检测效果。利用船舶图像建立船舶图像字典;通过稀疏表示算法结合字典,稀疏编码船舶图像;依据稀疏编码结果,在船舶图像内提取视觉显著图;通过自适应阈值法,分割视觉显著图,得到船舶目标候选区域,缩小船舶目标检测范围;在概率神经网络内,输入船舶目标候选区域,判断其是否为船舶目标,完成船舶图像目标检测。实验证明,该方法可有效稀疏编码船舶图像,并提取视觉显著图;该方法可有效分割视觉显著图;在简单背景与复杂背景下,该方法均可精准检测船舶目标。

基于特征重聚焦和精细化的遥感显著性目标检测

为了提升网络对特征的表征,提出一种基于特征重聚焦和精细化的光学遥感显著目标检测算法。利用相邻层特征交互捕获上下文语义互补信息,并通过膨胀卷积调节感受野提取信息的范围,完成初次特征聚焦。再将注意机制作用于深层特征,组成位置引导模块,增强对显著性特征的关注,完成特征重聚焦。最后,通过浅层特征获得显著特征注意图和反注意图,引导网络进一步挖掘高置信度显著区域和低置信度背景区域的信息,精细化优化后的特征。采用EORSSD和ORSSD 2个公开数据集进行实验与评估,以证明算法的有效性。

一种基于ConvMixer骨干的显著性目标检测模型

显著性目标检测(Saliency Object Detection,SOD)算法多采用基于卷积神经网络(Convolutional Neural Network,CNN)的骨干网络提取特征,然而CNN无法获取图像的长范围特征依赖。视觉转换器(Vision Transformer,ViT)将图像划分为图块(patch),通过Transformer在patch之间传播全局上下文信息获得长范围特征依赖,但Transformer的自注意力层具有二次方的时间复杂性。因此,提出一种低复杂性的基于patch的SOD算法CM-PoolNet,对经典的显著性目标检测PoolNet模型的骨干网络进行改进,使用卷积模型ConvMixer替换VGG和RestNet,提出新的特征融合方法。基于U型结构,编码器对输入图像进行Patch Embedding,送入重复堆叠的由深度可分离卷积和膨胀卷积构成的ConvMixer特征提取器中。为解码器设计了基于patch的特征融合模块。设计了BCE、SSIM和IOU 3种损失,引导模型在像素级、图块级、特征图级3级层次中学习输入图像和真值图像之间的转换。在DUTS数据集和ECSSD数据集上进行实验,结果表明:提出的模型能够有效地分割突出的目标区域,并且准确预测具有清晰边界的精细结构。

深度学习时代下的RGB-D显著性目标检测研究进展

受人类的视觉注意力机制启发,显著性目标检测任务旨在定位给定场景中最吸引人注意的目标或区域.近年来,随着深度相机的发展和普及,深度图像已经被成功应用于各类计算机视觉任务,这也为显著性目标检测技术提供了新思路.通过引入深度图像,不仅能使计算机更加全面地模拟人类视觉系统,而且深度图像所提供的结构、位置等补充信息也可以为低对比度、复杂背景等困难场景的检测提供新的解决方案.鉴于深度学习时代下RGB-D显著目标检测任务发展迅速,旨在从该任务关键问题的解决方案出发,对现有相关研究成果进行归纳、总结和梳理,并在常用RGB-DSOD数据集上进行不同方法的定量分析和定性比较.最后,对该领域面临的挑战及未来的发展趋势进行总结与展望.

采用特征优化和引导的显著目标检测研究

针对目前深度图存在对比度不明显和预测图边界模糊等问题,提出了一种新型显著目标检测网络模型。该模型包括特征优化模块和特征引导模块。为了降低低质量深度图的负面影响,并精确地突出显著目标,在特征优化模块对深度图的各层特征进行混合注意力计算并进行双向融合。为解决边界模糊问题,在特征引导模块利用引导融合的方式引入低层特征来精细化目标边界。在解码阶段,引入不增加模型参数的权值计算方法,计算RGB特征和深度特征对最终预测的贡献比重。通过与近年来十二种先进方法进行的对比实验表明,所提算法模型在NJU2K、NLPR、DES、SIP、STERE和LFSD测试数据集上具有更优秀的检测性能,其中在SIP数据集上,提出的模型与第二名相比,最大F值提升了1.3%,平均F值提升了1%,E-measure提升了1.7%,S-measure提升了1.5%,消融实验证明了所提模块的有效性。

基于深度神经网络的视频显著目标检测综述

视频显著目标检测作为计算机视觉领域广泛关注的研究方向之一,其旨在定位和分割出视频中最显著的目标或区域。现有视频显著目标检测方法主要通过构建深度神经网络来从动态视频序列中提取时空特征进行显著性预测。对基于深度学习的视频显著目标检测方法进行全面梳理,阐述了视频显著目标检测的基本概念及应用场景;对基于深度学习的视频显著目标检测方法进行了分类,并按类别进行深入的分析和讨论;对视频显著目标检测领域的权威基准测试数据集及评价指标进行介绍,并在这些基准数据集上对最先进的模型进行了定量和定性实验对比分析和讨论;总结了视频显著目标检测面临的挑战,对其未来发展方向进行了展望。

基于分层解码和渐进融合的快速显著性目标检测

现有显著性目标检测方法大多只关心模型的检测精度,容易忽略模型的编解码效率,导致网络运行速度较慢.针对上述问题,本文提出一种基于分层解码和渐进融合的快速显著性目标检测网络,并分别设计语义提取模块、空间增强模块和边界提取模块,对编码器提取到的多尺度特征进行分层筛选和高效解码.其中,语义提取模块可准确定位显著性目标的整体区域,空间增强模块可完整保留显著性目标的空域信息,边界提取模块可增强显著性目标的边界轮廓.由于不同层级特征的感受野和分辨率不同,本文设计了邻间聚合模块和边界细化模块,对筛选后的特征进行渐进式融合并逐步细化得到最后的显著性预测图.实验结果表明,所提方法不仅能够得到边界清晰、区域完整的显著性预测图,还能显著提升模型的编解码效率,快速检测显著性目标,在ECSSD和HKU-IS数据集上的最大值F max分别为0.947和0.936,优于其他方法.