边缘信息增强的显著性目标检测网络

针对显著性目标检测任务中识别结果边缘模糊的问题,提出了一种能够充分利用边缘信息增强边缘像素置信度的新模型。该网络主要有两个创新点:设计三重注意力模块,利用预测图的特点直接生成前景、背景和边缘注意力,并且生成注意力权重的过程不增加任何参数;设计边缘预测模块,在分辨率较高的网络浅层进行有监督的边缘预测,并与网络深层的显著图预测融合,细化了边缘。在6种常用公开数据集上用定性和定量的方法评估了该模型,并且与其他模型进行充分对比,证明设计的新模型能够取得最优的效果。此外,该模型参数量为30.28 M,可以在GTX 1080 Ti显卡上达到31帧·s^(-1)的预测速度。

基于特征注意力提纯的显著性目标检测模型

近年来,显著性目标检测技术取得了巨大进展,其中如何选择并有效集成多尺度特征扮演了重要角色。针对现有特征集成方法可能导致的信息冗余问题,提出了一种基于特征注意力提纯的显著性检测模型。首先,在解码器中采用一个全局特征注意力引导模块(GAGM)对带有语义信息的深层特征进行注意力机制处理,得到全局上下文信息;然后,通过全局引导流将其送入解码器各层进行监督训练;最后,利用多尺度特征融合模块(FAM)对编码器提取出的多尺度特征与全局上下文信息进行有效集成,并在网格状特征提纯模块(MFPM)中进行进一步细化,以生成清晰、完整的显著图。在5个公开数据集上进行实验,结果表明,所提模型优于现有的其他显著性检测方法,并且处理速度快,当处理320×320尺寸的图像时,能以30帧以上的速度运行。

基于多层显著性模型的SAR图像舰船目标检测

针对合成孔径雷达图像舰船目标检测问题,提出了一种结合选择机制与轮廓信息的多层显著性目标检测方法。首先,利用非下采样剪切波和频谱残差法进行全局显著性区域提取。其次,提出了一种基于动态恒虚警率的活动轮廓显著性模型,逐步滤除候选区域的虚警,提取目标轮廓,从而实现目标的精确检测。所提方法能够由粗到细地快速捕获目标区域,从而实现高效、高分辨率合成孔径雷达图像舰船检测。最后,在真实SAR数据集进行了测试,与其他经典的舰船检测方法相比,所提算法不仅有效地抑制了海杂波的影响,而且在检测精度上有较大提高。

集成多种上下文与混合交互的显著性目标检测

显著性目标检测目的是识别和分割图像中的视觉显著性目标,它是计算机视觉任务及其相关领域的重要研究内容之一。当下基于全卷积网络(FCNs)的显著性目标检测方法已经取得了不错的性能,然而现实场景中的显著性目标类型多变且尺寸不固定,这使得准确检测并完整分割出显著性目标仍然是一个巨大的挑战。为此,该文提出集成多种上下文和混合交互的显著性目标检测方法,通过利用密集上下文信息探索模块和多源特征混合交互模块来高效预测显著性目标。密集上下文信息探索模块采用空洞卷积、不对称卷积和密集引导连接渐进地捕获具有强关联性的多尺度和多感受野上下文信息,通过集成这些信息来增强每个初始多层级特征的表达能力。多源特征混合交互模块包含多种特征聚合操作,可以自适应交互来自多层级特征中的互补性信息,以生成用于准确预测显著性图的高质量特征表示。此方法在5个公共数据集上进行了性能测试,实验结果表明,该文方法在不同的评估指标下与19种基于深度学习的显著性目标检测方法相比取得优越的预测性能。

跨模态交互融合与全局感知的RGB-D显著性目标检测

近年来,RGB-D显著性检测方法凭借深度图中丰富的几何结构和空间位置信息,取得了比RGB显著性检测模型更好的性能,受到学术界的高度关注.然而,现有的RGB-D检测模型仍面临着持续提升检测性能的需求.最近兴起的Transformer擅长建模全局信息,而卷积神经网络(CNN)擅长提取局部细节.因此,如何有效结合CNN和Transformer两者的优势,挖掘全局和局部信息,将有助于提升显著性目标检测的精度.为此,提出一种基于跨模态交互融合与全局感知的RGB-D显著性目标检测方法,通过将Transformer网络嵌入U-Net中,从而将全局注意力机制与局部卷积结合在一起,能够更好地对特征进行提取.首先借助U-Net编码-解码结构,高效地提取多层次互补特征并逐级解码生成显著特征图.然后,使用Transformer模块学习高级特征间的全局依赖关系增强特征表示,并针对输入采用渐进上采样融合策略以减少噪声信息的引入.其次,为了减轻低质量深度图带来的负面影响,设计一个跨模态交互融合模块以实现跨模态特征融合.最后,5个基准数据集上的实验结果表明,所提算法与其他最新的算法相比具有显著优势.

弱监督显著性目标检测研究进展

显著性目标检测旨在准确检测和定位图像或视频中最引人注目的目标或区域,为更好地进行目标识别和场景分析提供帮助。尽管全监督显著性检测方法取得一定成效,但获取大规模像素级标注数据集十分困难且昂贵。弱监督检测方法利用相对容易获取的图像级标签或带噪声的弱标签训练模型,在实际应用中表现出良好效果。全面对比了全监督和弱监督显著性检测的主流方法和应用场景,重点分析了常用的弱标签数据标注方法及其对显著目标检测的影响。综述了弱监督条件下显著目标检测方法的最新研究进展,并在常用数据集上对不同弱监督方法的性能进行了比较。最后探讨了弱监督显著性检测在农业、医学和军事等特殊领域的应用前景,指出了该研究领域存在的问题及未来发展趋势。

基于特征重聚焦和精细化的遥感显著性目标检测

为了提升网络对特征的表征,提出一种基于特征重聚焦和精细化的光学遥感显著目标检测算法。利用相邻层特征交互捕获上下文语义互补信息,并通过膨胀卷积调节感受野提取信息的范围,完成初次特征聚焦。再将注意机制作用于深层特征,组成位置引导模块,增强对显著性特征的关注,完成特征重聚焦。最后,通过浅层特征获得显著特征注意图和反注意图,引导网络进一步挖掘高置信度显著区域和低置信度背景区域的信息,精细化优化后的特征。采用EORSSD和ORSSD 2个公开数据集进行实验与评估,以证明算法的有效性。

视觉显著性和稀疏学习相融合的船舶图像目标检测

为抑制船舶图像目标检测受光照变化、海浪干扰、背景杂波等因素的影响,设计视觉显著性和稀疏表示学习相融合的船舶图像目标检测方法,提升船舶图像目标检测效果。利用船舶图像建立船舶图像字典;通过稀疏表示算法结合字典,稀疏编码船舶图像;依据稀疏编码结果,在船舶图像内提取视觉显著图;通过自适应阈值法,分割视觉显著图,得到船舶目标候选区域,缩小船舶目标检测范围;在概率神经网络内,输入船舶目标候选区域,判断其是否为船舶目标,完成船舶图像目标检测。实验证明,该方法可有效稀疏编码船舶图像,并提取视觉显著图;该方法可有效分割视觉显著图;在简单背景与复杂背景下,该方法均可精准检测船舶目标。

基于跨模态特征融合的RGB-D显著性目标检测

RGB-D显著性目标检测因其有效性和易于捕捉深度线索而受到越来越多的关注。现有的工作通常侧重于通过各种融合策略学习共享表示,少有方法明确考虑如何维持RGB和深度的模态特征。提出了一种跨模态特征融合网络,该网络维持RGB-D显著目标检测的RGB和深度的模态,通过探索共享信息以及RGB和深度模态的特性来提高显著检测性能。具体来说,采用RGB模态、深度模态网络和一个共享学习网络来生成RGB和深度模态显著性预测图以及共享显著性预测图。提出了一种跨模态特征融合模块,用于融合共享学习网络中的跨模态特征,然后将这些特征传播到下一层以整合跨层次信息。此外,提出了一种多模态特征聚合模块,将每个单独解码器的模态特定特征整合到共享解码器中,这可以提供丰富的互补多模态信息来提高显著性检测性能。最后,使用跳转连接来组合编码器和解码器层之间的分层特征。通过在4个基准数据集上与7种先进方法进行的实验表明,方法优于其他最先进的方法。

基于互学习和促进分割的RGB-D显著性目标检测

RGB-D显著性目标检测主要通过融合RGB图像和深度图(Depth)从给定场景中分割最显著的对象.由于受到原始深度图固有噪声的影响,会导致模型在检测过程中拟入错误的信息.为了改善检测效果,该文提出了一种基于互学习和促进分割的RGB-D显著性目标检测模型,设计一个深度优化模块来获取深度图和预测深度图之间最优的深度信息;引入特征对齐模块和跨模态集成模块完成跨模态的融合;针对分割造成的精度损失问题,构建了一个基于多源特征集成机制的分离重构解码器.在5个公开数据集上进行了实验测试,实验结果表明:所提模型与其他模型相比,准确率更高,网络更加稳定.

一种基于ConvMixer骨干的显著性目标检测模型

显著性目标检测(Saliency Object Detection,SOD)算法多采用基于卷积神经网络(Convolutional Neural Network,CNN)的骨干网络提取特征,然而CNN无法获取图像的长范围特征依赖。视觉转换器(Vision Transformer,ViT)将图像划分为图块(patch),通过Transformer在patch之间传播全局上下文信息获得长范围特征依赖,但Transformer的自注意力层具有二次方的时间复杂性。因此,提出一种低复杂性的基于patch的SOD算法CM-PoolNet,对经典的显著性目标检测PoolNet模型的骨干网络进行改进,使用卷积模型ConvMixer替换VGG和RestNet,提出新的特征融合方法。基于U型结构,编码器对输入图像进行Patch Embedding,送入重复堆叠的由深度可分离卷积和膨胀卷积构成的ConvMixer特征提取器中。为解码器设计了基于patch的特征融合模块。设计了BCE、SSIM和IOU 3种损失,引导模型在像素级、图块级、特征图级3级层次中学习输入图像和真值图像之间的转换。在DUTS数据集和ECSSD数据集上进行实验,结果表明:提出的模型能够有效地分割突出的目标区域,并且准确预测具有清晰边界的精细结构。

基于分层解码和渐进融合的快速显著性目标检测

现有显著性目标检测方法大多只关心模型的检测精度,容易忽略模型的编解码效率,导致网络运行速度较慢.针对上述问题,本文提出一种基于分层解码和渐进融合的快速显著性目标检测网络,并分别设计语义提取模块、空间增强模块和边界提取模块,对编码器提取到的多尺度特征进行分层筛选和高效解码.其中,语义提取模块可准确定位显著性目标的整体区域,空间增强模块可完整保留显著性目标的空域信息,边界提取模块可增强显著性目标的边界轮廓.由于不同层级特征的感受野和分辨率不同,本文设计了邻间聚合模块和边界细化模块,对筛选后的特征进行渐进式融合并逐步细化得到最后的显著性预测图.实验结果表明,所提方法不仅能够得到边界清晰、区域完整的显著性预测图,还能显著提升模型的编解码效率,快速检测显著性目标,在ECSSD和HKU-IS数据集上的最大值F max分别为0.947和0.936,优于其他方法.

基于时空信息的轻量视频显著性目标检测网络

现有视频显著性目标检测(VSOD)网络面临2个问题:一是在捕获时间信息时计算成本过大,导致网络难以在移动端实际应用;二是网络泛化能力较弱,难以处理视频中诸如遮挡、运动模糊等挑战性场景。因此,提出一种基于动态滤波器和对比学习思想的轻量视频显著性目标检测网络。首先,对连续帧的每帧图像进行粗略的前景特征点采样并进行相似度矩阵的计算,利用相似度矩阵进行加权从而滤除存在的噪声特征;其次,用滤波后的前景特征生成动态滤波器参数,对原始特征图执行卷积操作以提取前景物体;同时在训练阶段设计了一个对比学习模块帮助网络学习,在推理阶段并不会引入额外的计算量。在三个数据集DAVIS、DAVSOD和VOS上进行了广泛实验,实验结果表明,所提网络相较于DCFNet(Dynamic Context-sensitive Filtering Network for video salient object detection),在Fmeasure、S-measure以及平均绝对误差(MAE)3个指标上性能接近,帧率从28 frame/s提升到38 frame/s,提升了35.7%,同时网络参数量仅有15.6×10^(6),更有利于实际应用中在边缘侧进行部署。

双特征流融合和边界感知的显著性目标检测

显著性目标检测是计算机视觉领域的热门研究方向之一,许多基于深度学习的检测算法虽然已经取得了显著的成果,但是仍然存在待测目标漏检误检和边界模糊等问题。针对这些问题提出了一种基于双特征流融合和边界感知的目标检测算法,通过改变输入图像尺寸来丰富多尺度信息,并自顶向下逐层聚合特征得到精细的预测结果。首先将输入图像调整为两种不同分辨率分别送入编码器,提取丰富的多层级特征形成双特征流;其次将双特征流自顶向下逐层融合,生成由粗到细的显著图;最后构建了边界感知结构,凭借上下文语义信息的指导生成精细的物体轮廓。在五个公开数据集上进行了大量实验,实验结果表明,所提算法在结构相似性(Sm)等多个指标上取得了更高的检测精度,生成的显著图目标完整且边缘清晰。

一种基于改进剩余谱的红外舰船目标显著性检测方法

为了解决传统显著性检测方法在红外舰船目标检测中精度不高的问题,提出了一种基于改进剩余谱的显著性检测方法。该方法首先利用自适应六边形中值滤波和小波图像融合对红外图像去除噪声;然后在剩余谱显著性检测算法的基础上,引入超像素分割处理舰船目标区域以减少计算量,同时保留舰船目标的边缘信息;此外,引入目标掩码排除背景干扰以提高算法的准确性;最后,通过提取图像的显著图实现舰船目标的检测。实验证明,该方法相较于改进之前检测舰船目标的准确性提高了约3%,在岛屿等复杂背景下能够准确检测出舰船目标。

结合多层次监督与边界损失的显著性目标检测

针对PoolNet网络多次下采样操作易降低空间分辨率、仅使用二分类交叉熵损失函数(BCE)不利于捕捉显著性目标边缘特征,易导致边缘检测精度不高的问题。通过在PoolNet网络解码器的5级特征融合模块(fuse)之后分别加入多层次监督模型(MSM),并对5级MSM的输出分别按照BCE、SSIM与IoU三个损失函数计算值的和作为边界损失函数值,最后将5级边界损失函数值的平均值作为网络的最终输出损失值,并按照随机梯度下降法进行学习。从而提出一种结合多层次监督与边界损失的显著性目标检测方法:PoolNet-D。在6个常用数据集上的对比实验结果表明,提出的PoolNet-D模型在MAE和F-measure评价指标方面均有明显提升。

基于逐层融合收缩网络的显著性目标检测

为了进一步提高显著性目标检测的准确性,提出了一种基于逐层融合收缩的网络。首先,通过特征增强模块对基本框架提取的初始特征进行增强;其次,通过相邻特征收缩模块分两个层次将增强后的特征进一步收缩;最后,收缩后的多个特征通过多特征集成模块得到最终的显著图。通过与10种方法进行比较证明,所提模型在4个基准数据集上都能取得较优的结果,从而证明该模型的有效性。

基于RD-YOLO的毫米波雷达和视觉融合显著性目标检测

为了解决单传感器在复杂环境下目标检测精度低问题,提出了一种基于RD-YOLO的毫米波雷达和视觉融合的显著性目标检测方法。首先设计了能够将毫米波雷达点云转换为图像的方法,使毫米波雷达和视觉数据在模型输入时实现特征融合;然后通过动态互补注意力机制,对两个图像分支生成特征设置空间和通道动态注意力权重;最后采用YOLOv8检测融合后特征,引入改进损失函数Focal Loss以解决样本不均衡问题。在数据集nuScenes上开展的相关实验表明,与YOLOv5、YOLOv7、YOLOv8、Faster R-CNN和FCOS相比,所提方法目标检测综合性能良好,均值平均精度比原始YOLOv8提升了9.19%。

基于特征残差融合的显著性检测网络

当前的显著性检测任务得益于卷积神经网络模型的监督训练能够达到很好的效果,但是模型中的显著性特征如何有效地利用仍是一个关键的问题。不同层级的显著性特征信息融合能够达到互补的效果进而促进最终预测的效果,因此提出一个基于局部信息残差融合的网络架构。该结构是对局部范围的卷积层的特征进行残差式的融合,以此降低由于采样操作导致引入噪点的风险。再将融合的新特征图由深层递进式地传递到浅层并输出,进而获得最终的预测结果。

边缘信息引导多级尺度特征融合的显著性目标检测方法

针对基于FCN和U型网络架构的深度学习显著性目标检测方法提取的显著性图存在边界不清晰和结构不完整的问题,文中提出了一种基于边缘信息引导多级尺度特征融合网络(EGMFNet)。EGMFNet使用多通道融合残差块(RCFBlock)以嵌套的U型网络架构作为主干模型。同时,在网络的较低层级引入具有边缘信息引导的全局空间注意力模块(EGSAM)以增强空间特征及边缘特征。此外,在损失函数中引入了图像边界损失,用于提升显著性图的质量并在学习过程中保留更加清晰的边界。在四个基准数据集上进行实验,实验结果表明,文中方法的F值较典型方法提升1.5%、2.7%、1.8%和1.6%,验证了EGMFNet网络模型的有效性。