基于特征排列和空间激活的显著物体检测方法

显著物体检测目前在计算机视觉领域中非常重要,如何处理不同尺度的特征信息成为能否获得优秀预测结果的关键。该文有两个主要贡献,一是提出一种用于显著目标检测的特征排列方法,基于自编码结构的卷积神经网络模型,利用尺度表征的概念将特征图进行分组和重排列,以获得一个更加泛化的显著目标检测模型和更加准确的显著目标预测结果;二是在输出部分利用了双重卷积残差和FReLU激活函数,抓取更全面的像素信息,完成空间信息上的激活。利用两种算法的特点融合作用于模型的学习训练。实验结果表明,将该文算法与主流的显著目标检测算法进行比较,在所有评测指标上都达到了最优的效果。

多目标场景下的显著物体提取

已有获取显著区域的方法存在不能适应实际物体的大小、包含冗余信息及应用范围有限的问题。为此,提出一种多目标场景下的显著物体提取方法。对基于空间的计算模型得到的显著图进行聚类,将多目标场景划分为多个单目标的子场景,在子场景集合中,引入注意转移机制,并使用基于物体的计算模型依次提取显著物体。实验结果表明,该方法能提取图像中的多个显著目标。

基于马尔科夫链和物体先验的显著物体检测

针对现有算法不能较好完整高亮显著物体和有效抑制背景问题,提出一种结合物体先验和吸收马尔科夫链的显著物体检测模型。根据熵信息自适应确定区域分割的超像素个数,利用边界连通性准则筛选出边界背景节点,利用吸收马尔科夫链进行初步显著性计算,将其与基于物体先验的显著性计算结果相融合,将融合图进行二值分割得到的背景节点信息作为吸收节点,再次进行随机游走计算得到最终的显著图。实验在4个公开的图像数据集上与16种流行算法就5种客观评价指标和直观的视觉检测效果进行比较,比较结果表明了所提算法的有效性。

全局信息引导的多尺度显著物体检测模型

目前方法不能有效提取图像的多尺度特征并完全利用全局信息,对此提出一种新的全局信息引导的多尺度显著物体检测模型。设计了多尺度特征提升模块,提升了各个侧输出特征的多尺度表征能力;利用空洞空间卷积池化金字塔模块提取图像的全局特征;将全局特征直接与各个侧边输出的多尺度特征相融合,利用全局特征引导侧边特征聚焦于目标区域中有用的中低层特征;采用由粗至细的方式得到最终的预测结果。该模型在四个广泛使用的数据集上进行了测试,并与8种近3年具有代表性的方法进行比较。实验结果表明,该模型对各种场景的显著物体检测具有较好的鲁棒性,可以均匀高亮显著目标的同时抑制背景噪声。

显著物体提取算法综述

随着基于显著性的视觉注意计算框架的演化和机器视觉应用的不断增长,显著物体提取成为基于显著性的视觉注意研究领域的重要研究方向。文中介绍了显著物体提取算法的最新研究成果。首先给出了显著物体提取的关键问题。然后根据不同的提取框架对现有的显著物体提取算法进行了分类和分析。并在一个包含1 000幅图像的公开的显著物体数据集上对不同的显著物体提取算法进行了评测。最后总结并展望了显著物体提取算法下一步发展方向。

基于特征感知和更新的显著物体检测

为了解决显著物体检测方法中浅层特征未能有效利用深层语义信息的目标定位优势进行细节特征定位和学习问题,提出一种基于特征感知和更新的显著物体检测模型。采用卷积组提升不同层级侧输出特征性能和降低特征维度,设计全局信息感知模块提取和融合多尺度的全局特征,在每侧直接融合深层的语义特征和浅层的细节特征,并通过计算空间注意力进行显著性特征更新。通过在4个公开基准数据集上与12种近3年发表的具有代表性的主流模型对比,实验结果表明,所提模型面对各种复杂场景均具有较强的鲁棒性,得到具有均匀内部和清晰边界的检测结果。

融合显著物体检测的图像显示适配

目的图像显著适配旨在自动调节图像尺寸,对图像内容进行非均匀缩放,以便在受限的展示空间内更好地保留显著物体。为了解决显示适配过程中显著物体部分扭曲的问题,提出一种基于显著物体检测的图像显示适配方法。方法本文方法采用显著物体分割结果来替代显著性图,以改进显示适配结果。首先,采用显著性融合和传播的方法生成显著性图;接着,结合输入图像和显著性图,采用自适应三阈值方法实现显著物体分割;然后,以此为基础,生成输入图像的曲边网格表示;最后,通过对不同网格的非均匀缩放,生成符合目标尺寸的适配结果。结果在面向图像显示适配的公开数据集RetargetMe上,将本文方法与现有的10种代表性显示适配方法的结果进行了人工评估和比较。本文方法可以有效地减少显著物体出现部分扭曲的现象,能在48.8%的图像上取得无明显缺陷的适配效果,比现有最好的方法提高了5%。结论基于显著物体检测的图像显示适配方法有助于提高显示适配过程中对显著物体处理的一致性,减少由于显著物体部分扭曲而引起的明显人工处理痕迹,从而达到提升显示适配效果的目的。

MTMS300:面向显著物体检测的多目标多尺度基准数据集

目的在显著物体检测算法发展过程中,基准数据集发挥了重要作用。然而,现有基准数据集普遍存在数据集偏差,难以充分体现不同算法的性能,不能完全反映某些典型应用的技术特点。针对这一问题,本文对基准数据集的偏差和统计特性展开定量分析,提出针对特定任务的新基准数据集。方法首先,讨论设计和评价数据集时常用的度量指标;然后,定量分析基准数据集的统计学差异,设计新的基准数据集MTMS300(multiple targets and multiple scales);接着,使用基准数据集对典型视觉显著性算法展开性能评估;最后,从公开基准数据集中找出对多数非深度学习算法而言都较为困难(指标得分低)的图像,构成另一个基准数据集DSC(difficult scenes in common)。结果采用平均注释图、超像素数目等6种度量指标对11个基准数据集进行定量分析,MTMS300数据集具有中心偏差小、目标面积比分布均衡、图像分辨率多样和目标数量较多等特点,DSC数据集具有前景/背景差异小、超像素数量多和图像熵值高的特点。使用11个基准数据集对18种视觉显著性算法进行定量评估,揭示了算法得分和数据集复杂度之间的相关性,并在MTMS300数据集上发现了现有算法的不足。结论提出的两个基准数据集具有不同的特点,有助于更为全面地评估视觉显著性算法,推动视觉显著性算法向特定任务方向发展。

基于背景学习的显著物体检测

目的显著物体检测的目标是提取给定图像中最能吸引人注意的物体或区域,在物体识别、图像显示、物体分割、目标检测等诸多计算机视觉领域中都有广泛应用。已有的基于局部或者全局对比度的显著物体检测方法在处理内容复杂的图像时,容易造成检测失败,其主要原因可以总结为对比度参考区域设置的不合理。为提高显著物体检测的完整性,提出背景驱动的显著物体检测算法,在显著值估计和优化中充分利用背景先验。方法首先采用卷积神经网络学习图像的背景分布,然后从得到的背景图中分割出背景区域作为对比度计算参考区域来估计区域显著值。最后,为提高区域显著值的一致性,采用基于增强图模型的优化实现区域显著值的扩散,即在传统k-正则图局部连接的基础上,添加与虚拟节点之间的先验连接和背景区域节点之间的非局部连接,实现背景先验信息的嵌入。结果在公开的ASD、SED、SOD和THUS-10000数据库上进行实验验证,并与9种流行的算法进行对比。本文算法在4个数据库上的平均准确率、查全率、F-measure和MAE指标分别为0.873 6、0.795 2、0.844 1和0.112 2,均优于当前流行的算法。结论以背景区域作为对比度计算参考区域可以明显提高前景区域的显著值。卷积神经网络可以有效学习图像的背景分布并分割出背景区域。基于增强图模型的优化可以进一步实现显著值在前景和背景区域的扩散,提高区域显著值的一致性,并抑制背景区域的显著性响应。实验结果表明,本文算法能够准确、完整地检测图像的显著区域,适用于复杂图像的显著物体检测或物体分割应用。

基于区域特征聚类的RGBD显著性物体检测

本文根据在显著性检测领域的问题,提出一种基于区域特征聚类的RGBD显著性物体检测算法.首先使用结合深度信息的超像素算法对图片分割,提取分割后每个区域的特征构成特征向量.然后使用十个不同带宽的Mean Shift算法对特征向量聚类得到聚类图,并对十个聚类后的图进行显著性计算.通过神经网络把十个显著性图合并成一个显著性图,并把该显著性图作为一个新特征加到上面提到在特征向量中.继续计算显著性图,直到循环达到十次,输出最终的显著性图.通过实验,在三个RGBD显著性物体数据库中把本算法通过和七个算法进行对比,显示出本算法有更好的性能.

显著性物体检测研究综述

人类的视觉系统能够迅速地、有选择地从视觉场景中检测出感兴趣的目标或者具有显著特征的物体,并根据更高层次的视觉任务目的对它们进行处理和理解,从而实现相应的行为或决策。将人类这种选择性视觉注意机制引入到计算机视觉的信息处理中,可以有效地减少视觉计算所需处理的数据量、加速整个处理过程,并进一步方便更高层次视觉任务的处理,因而该方面的研究受到学术界的广泛关注并应用到计算机视觉的各个领域。首先简单介绍了视觉注意力研究的发展历程,然后综述了显著性物体检测的各种方法,包括传统的方法和基于深度学习的方法,并对这两大类的方法作了进一步的分类和小结。接着,介绍了现有的显著性物体检测的数据集,并详细描述了用于评价检测算法效果的多种评测方法和指标。此外,还探讨了显著性物体检测在不同领域的应用。最后,对显著性物体检测研究的发展趋势和方向进行了分析和总结。

基于前景增强与背景抑制的显著性物体检测

显著性物体检测的关键在于准确地突出前景区域,多数传统方法在处理复杂背景图像时效果不理想。针对上述问题,提出了一种基于前景增强与背景抑制的显著性物体检测方法。首先,利用简单线性迭代聚类(SLIC)将图像进行分割得到多个超像素区域,通过区域间的对比和边界信息分别获得图像的显著区域与背景种子,并通过计算得到基于区域间对比和基于背景的两幅显著图。然后,在两幅图像中运用Seam Carving和Graph-based的图像分割法区分显著与非显著区域,进而得到前景增强与背景抑制模板。最终,融合两幅显著图与模板得到最终的显著图。在公开数据集MSRA-1000上对算法进行验证,结果表明,所提算法与7种主流算法相比具有更好的查准率和查全率。

基于双向消息链路卷积网络的显著性物体检测

有效特征的提取和高效使用是显著性物体检测中极具挑战的任务之一。普通卷积神经网络很难兼顾提取有效特征和高效使用这些特征。本文提出双向消息链路卷积网络(bidirectional message link convolution net-work,BML-CNN)模型,提取和融合有效特征信息用于显著性物体检测。首先,利用注意力机制引导特征提取模块提取实体有效特征,并以渐进方式选择整合多层次之间的上下文信息。然后使用带有跳过连接结构的网络与带门控函数的消息传递链路组成的双向信息链路,将高层语义信息与浅层轮廓信息相融合。最后,使用多尺度融合策略,编码多层有效卷积特征,以生成最终显著图。实验表明,BML-CNN在不同指标下均获得最好的表现。

多尺度卷积神经网络显著物体检测

目的传统显著性检测模型大多利用手工选择的中低层特征和先验信息进行物体检测,其准确率和召回率较低,随着深度卷积神经网络的兴起,显著性检测得以快速发展。然而,现有显著性方法仍存在共性缺点,难以在复杂图像中均匀地突显整个物体的明确边界和内部区域,主要原因是缺乏足够且丰富的特征用于检测。方法在VGG(visual geometry group)模型的基础上进行改进,去掉最后的全连接层,采用跳层连接的方式用于像素级别的显著性预测,可以有效结合来自卷积神经网络不同卷积层的多尺度信息。此外,它能够在数据驱动的框架中结合高级语义信息和低层细节信息。为了有效地保留物体边界和内部区域的统一,采用全连接的条件随机场(conditional random field,CRF)模型对得到的显著性特征图进行调整。结果本文在6个广泛使用的公开数据集DUT-OMRON(Dalian University of Technology and OMRON Corporation)、ECSSD(extended complex scene saliency dataset)、SED2(segmentation evalution database 2)、HKU、PASCAL-S和SOD(salient objects dataset)上进行了测试,并就准确率—召回率(precision-recall,PR)曲线、F测度值(F-measure)、最大F测度值、加权F测度值和均方误差(mean absolute error,MAE)等性能评估指标与14种最先进且具有代表性的方法进行比较。结果显示,本文方法在6个数据集上的F测度值分别为0.696、0.876、0.797、0.868、0.772和0.785;最大F测度值分别为0.747、0.899、0.859、0.889、0.814和0.833;加权F测度值分别为0.656、0.854、0.772、0.844、0.732和0.762;MAE值分别为0.074、0.061、0.093、0.049、0.099和0.124。无论是前景和背景颜色相似的图像集,还是多物体的复杂图像集,本文方法的各项性能均接近最新研究成果,且优于大多数具有代表性的方法。结论本文方法对各种场景的图像显著性检测都具有较强的鲁棒性,同时可以使显著性物体的边界和内部区域更均匀,检测结果更准确。

显著性物体检测研究综述:方法、应用和趋势

显著性物体检测旨在快速定位图像中的显著性目标,可用于目标检测和识别、关键点定位、视觉跟踪、语义分割等计算机视觉任务中。为梳理显著性检测研究的发展脉络,从方法、应用领域和研究方向等方面分析显著性检测的研究现状和发展趋势。首先,阐述了显著性检测与相关研究的区别和联系;然后,分析了目前主流的显著性物体检测算法的流程、创新点、性能和适用性;接下来,介绍了显著性检测领域数据集的发展和演化;最后,展望了显著性检测研究的发展趋势并总结了显著性检测的主要应用领域。

基于多特征扩散方法的显著性物体检测

现有的大部分基于扩散理论的显著性物体检测方法只用了图像的底层特征来构造图和扩散矩阵,并且忽视了显著性物体在图像边缘的可能性。针对此,该文提出一种基于图像的多层特征的扩散方法进行显著性物体检测。首先,采用由背景先验、颜色先验、位置先验组成的高层先验方法选取种子节点。其次,将选取的种子节点的显著性信息通过由图像的底层特征构建的扩散矩阵传播到每个节点得到初始显著图,并将其作为图像的中层特征。然后结合图像的高层特征分别构建扩散矩阵,再次运用扩散方法分别获得中层显著图、高层显著图。最后,非线性融合中层显著图和高层显著图得到最终显著图。该算法在3个数据集MSRA10K,DUT-OMRON和ECSSD上,用3种量化评价指标与现有4种流行算法进行实验结果对比,均取得最好的效果。

基于深度图像增益的RGB-D显著性物体检测

深度信息已被证明在显著性物体检测中是一个实用信息,但是深度信息和RGB信息如何更好地实现互补从而达到更高的性能仍是一个值得探究的事情。为此,本文提出一种基于深度图像增益的RGB-D显著性物体检测方法。在双分支的网络结构中增加一个增益子网,采用显著图作差的方法获得深度图片为显著性检测带来的增益,作为增益子网预训练的伪GT。三分支网络分别获取RGB特征、深度特征和深度增益信息,最终将三分支的特征进行融合得到最终的显著性物体检测的结果,增益信息为双分支特征融合提供融合依据。基于深度图像增益的显著性物体检测实验结果表明,该方法得到的显著性物体前景物体更加突出,在多个实验数据集上也有着更优秀的表现。

基于多图神经网络协同学习的显著性物体检测方法

目前基于深度卷积神经网络的显著性物体检测方法难以在非欧氏空间不规则结构数据中应用,在复杂视觉场景中易造成显著物体边缘及结构等高频信息损失,影响检测性能。为此,该文面向显著性物体检测任务提出一种端到端的多图神经网络协同学习框架,实现显著性边缘特征与显著性区域特征协同学习的过程。在该学习框架中,该文构造了一种动态信息增强图卷积算子,通过增强不同图节点之间和同一图节点内不同通道之间的信息传递,捕获非欧氏空间全局上下文结构信息,完成显著性边缘信息与显著性区域信息的充分挖掘;进一步地,通过引入注意力感知融合模块,实现显著性边缘信息与显著性区域信息的互补融合,为两种信息挖掘过程提供互补线索。最后,通过显式编码显著性边缘信息,指导显著性区域的特征学习,从而更加精准地定位复杂场景下的显著性区域。在4个公开的基准测试数据集上的实验表明,所提方法优于目前主流的基于深度卷积神经网络的显著性物体检测方法,具有较强的鲁棒性和泛化能力。

融合轮廓提取的显著性物体完整性检测方法

针对现有基于背景模板的方法不能完整检测部分区域与背景具有相似特征的显著性目标这一问题,提出了一种基于轮廓检测的显著性目标完整性检测方法。首先,提取输入图像的初始轮廓,利用提出的基于虚拟连接的轮廓处理方案合并相邻的轮廓并移除孤立的轮廓,利用设计的基于最短路径的闭环搜寻方案合并距离较远的轮廓,获取基于轮廓检测的显著图。然后,利用自适应阈值分割算法处理基于背景模板抑制的显著图,获取二值化显著图与显著像素点。通过去除含有显著像素点比例小于指定阈值的轮廓完整区域,获取优化的基于轮廓检测的显著图。最后,将其与二值化显著图进行融合,获取完整显著图。实验结果表明,该方法针对显著性目标位于任意位置的图像均能取得较好的显著图。

多尺度特征融合的RGB-D图像显著性目标检测

显著性目标检测是计算机视觉的一个基础问题,目前很多基于深度学习的显著性检测方法都是将RGB图像和深度图按照输入融合或结果融合的方法进行特征融合,但这些方法并不能有效地融合特征图,为了提升显著性目标检测算法性能,提出了一种多尺度特征融合的RGB-D图像显著性目标检测方法。将模型主体设计为两个特征编码器、两个特征解码器和一个跨模特多尺度特征交错融合模块。两个特征编码器分别对应RGB图和深度图,其采用经过ImageNet数据集预训练的ResNet50网络,特征解码器用于解码编码器的五种不同尺度的输出,跨模态多尺度特征交错融合模块用于融合解码器和编码器提取的不同尺度的特征图,并将五个层次的融合结果进行拼接和降维,输出最终的显著性预测图。实验在四个公开的显著性数据集上与以往具有代表性的十个模型进行了比较,该模型在各个数据集上,相比于性能第二的模型,S-measure平均提高了0.391%,MAE平均减少了0.330%,F-measure平均减少了0.405%。提出了一种多尺度特征融合模型,摒弃了以往融合的方式,采用特征融合,将浅层和深层的特征分别进行交错融合,实验表明,提出的方法较以往的方法有更强的性能,能够取得更好的效果。