基于多图神经网络协同学习的显著性物体检测方法

目前基于深度卷积神经网络的显著性物体检测方法难以在非欧氏空间不规则结构数据中应用,在复杂视觉场景中易造成显著物体边缘及结构等高频信息损失,影响检测性能。为此,该文面向显著性物体检测任务提出一种端到端的多图神经网络协同学习框架,实现显著性边缘特征与显著性区域特征协同学习的过程。在该学习框架中,该文构造了一种动态信息增强图卷积算子,通过增强不同图节点之间和同一图节点内不同通道之间的信息传递,捕获非欧氏空间全局上下文结构信息,完成显著性边缘信息与显著性区域信息的充分挖掘;进一步地,通过引入注意力感知融合模块,实现显著性边缘信息与显著性区域信息的互补融合,为两种信息挖掘过程提供互补线索。最后,通过显式编码显著性边缘信息,指导显著性区域的特征学习,从而更加精准地定位复杂场景下的显著性区域。在4个公开的基准测试数据集上的实验表明,所提方法优于目前主流的基于深度卷积神经网络的显著性物体检测方法,具有较强的鲁棒性和泛化能力。

基于区域特征聚类的RGBD显著性物体检测

本文根据在显著性检测领域的问题,提出一种基于区域特征聚类的RGBD显著性物体检测算法.首先使用结合深度信息的超像素算法对图片分割,提取分割后每个区域的特征构成特征向量.然后使用十个不同带宽的Mean Shift算法对特征向量聚类得到聚类图,并对十个聚类后的图进行显著性计算.通过神经网络把十个显著性图合并成一个显著性图,并把该显著性图作为一个新特征加到上面提到在特征向量中.继续计算显著性图,直到循环达到十次,输出最终的显著性图.通过实验,在三个RGBD显著性物体数据库中把本算法通过和七个算法进行对比,显示出本算法有更好的性能.

显著性物体检测研究综述

人类的视觉系统能够迅速地、有选择地从视觉场景中检测出感兴趣的目标或者具有显著特征的物体,并根据更高层次的视觉任务目的对它们进行处理和理解,从而实现相应的行为或决策。将人类这种选择性视觉注意机制引入到计算机视觉的信息处理中,可以有效地减少视觉计算所需处理的数据量、加速整个处理过程,并进一步方便更高层次视觉任务的处理,因而该方面的研究受到学术界的广泛关注并应用到计算机视觉的各个领域。首先简单介绍了视觉注意力研究的发展历程,然后综述了显著性物体检测的各种方法,包括传统的方法和基于深度学习的方法,并对这两大类的方法作了进一步的分类和小结。接着,介绍了现有的显著性物体检测的数据集,并详细描述了用于评价检测算法效果的多种评测方法和指标。此外,还探讨了显著性物体检测在不同领域的应用。最后,对显著性物体检测研究的发展趋势和方向进行了分析和总结。

基于前景增强与背景抑制的显著性物体检测

显著性物体检测的关键在于准确地突出前景区域,多数传统方法在处理复杂背景图像时效果不理想。针对上述问题,提出了一种基于前景增强与背景抑制的显著性物体检测方法。首先,利用简单线性迭代聚类(SLIC)将图像进行分割得到多个超像素区域,通过区域间的对比和边界信息分别获得图像的显著区域与背景种子,并通过计算得到基于区域间对比和基于背景的两幅显著图。然后,在两幅图像中运用Seam Carving和Graph-based的图像分割法区分显著与非显著区域,进而得到前景增强与背景抑制模板。最终,融合两幅显著图与模板得到最终的显著图。在公开数据集MSRA-1000上对算法进行验证,结果表明,所提算法与7种主流算法相比具有更好的查准率和查全率。

基于双向消息链路卷积网络的显著性物体检测

有效特征的提取和高效使用是显著性物体检测中极具挑战的任务之一。普通卷积神经网络很难兼顾提取有效特征和高效使用这些特征。本文提出双向消息链路卷积网络(bidirectional message link convolution net-work,BML-CNN)模型,提取和融合有效特征信息用于显著性物体检测。首先,利用注意力机制引导特征提取模块提取实体有效特征,并以渐进方式选择整合多层次之间的上下文信息。然后使用带有跳过连接结构的网络与带门控函数的消息传递链路组成的双向信息链路,将高层语义信息与浅层轮廓信息相融合。最后,使用多尺度融合策略,编码多层有效卷积特征,以生成最终显著图。实验表明,BML-CNN在不同指标下均获得最好的表现。

显著性物体检测研究综述:方法、应用和趋势

显著性物体检测旨在快速定位图像中的显著性目标,可用于目标检测和识别、关键点定位、视觉跟踪、语义分割等计算机视觉任务中。为梳理显著性检测研究的发展脉络,从方法、应用领域和研究方向等方面分析显著性检测的研究现状和发展趋势。首先,阐述了显著性检测与相关研究的区别和联系;然后,分析了目前主流的显著性物体检测算法的流程、创新点、性能和适用性;接下来,介绍了显著性检测领域数据集的发展和演化;最后,展望了显著性检测研究的发展趋势并总结了显著性检测的主要应用领域。

基于多特征扩散方法的显著性物体检测

现有的大部分基于扩散理论的显著性物体检测方法只用了图像的底层特征来构造图和扩散矩阵,并且忽视了显著性物体在图像边缘的可能性。针对此,该文提出一种基于图像的多层特征的扩散方法进行显著性物体检测。首先,采用由背景先验、颜色先验、位置先验组成的高层先验方法选取种子节点。其次,将选取的种子节点的显著性信息通过由图像的底层特征构建的扩散矩阵传播到每个节点得到初始显著图,并将其作为图像的中层特征。然后结合图像的高层特征分别构建扩散矩阵,再次运用扩散方法分别获得中层显著图、高层显著图。最后,非线性融合中层显著图和高层显著图得到最终显著图。该算法在3个数据集MSRA10K,DUT-OMRON和ECSSD上,用3种量化评价指标与现有4种流行算法进行实验结果对比,均取得最好的效果。

基于深度图像增益的RGB-D显著性物体检测

深度信息已被证明在显著性物体检测中是一个实用信息,但是深度信息和RGB信息如何更好地实现互补从而达到更高的性能仍是一个值得探究的事情。为此,本文提出一种基于深度图像增益的RGB-D显著性物体检测方法。在双分支的网络结构中增加一个增益子网,采用显著图作差的方法获得深度图片为显著性检测带来的增益,作为增益子网预训练的伪GT。三分支网络分别获取RGB特征、深度特征和深度增益信息,最终将三分支的特征进行融合得到最终的显著性物体检测的结果,增益信息为双分支特征融合提供融合依据。基于深度图像增益的显著性物体检测实验结果表明,该方法得到的显著性物体前景物体更加突出,在多个实验数据集上也有着更优秀的表现。

融合轮廓提取的显著性物体完整性检测方法

针对现有基于背景模板的方法不能完整检测部分区域与背景具有相似特征的显著性目标这一问题,提出了一种基于轮廓检测的显著性目标完整性检测方法。首先,提取输入图像的初始轮廓,利用提出的基于虚拟连接的轮廓处理方案合并相邻的轮廓并移除孤立的轮廓,利用设计的基于最短路径的闭环搜寻方案合并距离较远的轮廓,获取基于轮廓检测的显著图。然后,利用自适应阈值分割算法处理基于背景模板抑制的显著图,获取二值化显著图与显著像素点。通过去除含有显著像素点比例小于指定阈值的轮廓完整区域,获取优化的基于轮廓检测的显著图。最后,将其与二值化显著图进行融合,获取完整显著图。实验结果表明,该方法针对显著性目标位于任意位置的图像均能取得较好的显著图。

多尺度特征融合的RGB-D图像显著性目标检测

显著性目标检测是计算机视觉的一个基础问题,目前很多基于深度学习的显著性检测方法都是将RGB图像和深度图按照输入融合或结果融合的方法进行特征融合,但这些方法并不能有效地融合特征图,为了提升显著性目标检测算法性能,提出了一种多尺度特征融合的RGB-D图像显著性目标检测方法。将模型主体设计为两个特征编码器、两个特征解码器和一个跨模特多尺度特征交错融合模块。两个特征编码器分别对应RGB图和深度图,其采用经过ImageNet数据集预训练的ResNet50网络,特征解码器用于解码编码器的五种不同尺度的输出,跨模态多尺度特征交错融合模块用于融合解码器和编码器提取的不同尺度的特征图,并将五个层次的融合结果进行拼接和降维,输出最终的显著性预测图。实验在四个公开的显著性数据集上与以往具有代表性的十个模型进行了比较,该模型在各个数据集上,相比于性能第二的模型,S-measure平均提高了0.391%,MAE平均减少了0.330%,F-measure平均减少了0.405%。提出了一种多尺度特征融合模型,摒弃了以往融合的方式,采用特征融合,将浅层和深层的特征分别进行交错融合,实验表明,提出的方法较以往的方法有更强的性能,能够取得更好的效果。

深度学习背景下视觉显著性物体检测综述

视觉显著性物体检测是对人类视觉和认知系统的模拟,而深度学习则是对人类大脑计算方式的模拟,将两者有机结合可以有效推动计算机视觉的发展。视觉显著性物体检测的任务是从图像中定位并提取具有明确轮廓的显著性物体实例。随着深度学习的发展,视觉显著性物体检测的精度和效率都得到巨大提升,但仍然面临改进主流算法性能、减少对像素级标注样本的依赖等主要挑战。针对上述挑战,本文从视觉显著性物体检测思想与深度学习方法融合策略的角度对相关论述进行分类总结。1)分析传统显著性物体检测方法带来的启示及其缺点,指出视觉显著性物体检测的核心思路为多层次特征的提取、融合与修整;2)从改进特征编码方式与信息传递结构、提升边缘定位精度、改善注意力机制、提升训练稳定性和控制噪声的角度对循环卷积神经网络、全卷积神经网络和生成对抗网络3种主流算法的性能提升进行分析,从优化弱监督样本处理模块的角度分析了减少对像素级标注样本依赖的方法;3)对协同显著性物体检测、多类别图像显著性物体检测以及未来的研究问题和方向进行介绍,并给出了可能的解决思路。

基于中心-对角对比度的显著性检测

针对图像显著性检测中广泛运用的中心-四周对比度方法存在的缺陷,提出了中心-对角对比度(corner-surround contrast,CSC)算法,实现从背景中有效提取显著区域;中心-四周对比度方法难以保证分割的准确性,容易导致错误的显著检测结果,并且仅使用中心-四周对比度对目标物体进行显著性编码并不十分有效;CSC算法在提取中心和周边区域差异性的同时,结合它们之间位置的相对性,并设计了一个多核信息融合模型,以不同权重融合多种对比度方法以产生最优显著图,最后用图分割算法来进行二元分割,获得准确的显著图;实验结果表明CSC算法能够有效捕捉显著物体的局部差异,提高显著性物体定位及分割精度的性能,减少噪声的影响,从背景中分离出精确的显著性区域,获得更优的显著性检测结果。

基于改进F3Net网络的显著性目标检测

针对F3Net网络中因特征抽取导致的空间分辨率损失问题,采用一种锥体卷积和感受野模块相结合的方法,有效减少空间分辨率的损失.该方法中锥体卷积能够以不同深度或大小的卷积核并行处理输入图像,从而考虑不同级别空间的上下文依赖关系.此外,编码器提取的最高层特征在通过感受野模块后可以捕获更多的目标细节.实验结果表明,改进后的F3Net网络生成的图像质量明显提高,检测性能得到改善.

视觉和物体显著性检测方法

显著性检测的目标是快速找出图像视频等视觉数据中最吸引人注意的区域,作为计算机视觉领域的基本任务之一,近年来备受关注,众多的方法被提出。这些显著性检测工作可分为2个分支:视觉显著性检测方法和显著性物体检测方法。尽管这2个分支的方法有很多相同点甚至共享相同的计算模型,但是在不同分支的评价数据集上有巨大的性能差异,很少有工作对这2个分支的方法进行比较和分析。通过详细分析和阐述2个分支主流方法的计算模型、采用的评价机制以及使用的数据集,总结了多种改进视觉显著性检测方法用来检测显著性物体的方式,通过这些方式视觉显著性检测方法可应用于显著性物体检测数据集,其性能达到了领先水平甚至超过了一些主流显著性物体检测方法,从而缓解了2个分支显著性检测方法在不同分支数据集上表现的不一致的问题。

基于改进ViBe算法与三帧差法的运动检测算法

针对ViBe(visual background extractor)算法存在的鬼影和漏检问题,文章提出了一种基于改进ViBe算法和三帧差法的运动目标检测的方法。首先针对ViBe算法检测结果存在鬼影的问题提出一种改进的方法,改变ViBe算法中仅通过第1帧建立背景模型的方式;该文在前5帧中每个像素点的邻域随机选取4个像素点建立一种具有时间和空间信息的背景模型进行运动检测,并采用"或"类型三帧差法做"或"运算改善漏检的问题;然后对显著性检测结果做"与"运算去除过检点以提高运动目标检测的准确性;最后进行适当地后处理得到最终的检测结果。该算法能够去除噪声、抑制鬼影以及减少空洞点,实验结果表明能够快速并准确地检测出运动目标。

多尺度卷积神经网络显著物体检测

目的传统显著性检测模型大多利用手工选择的中低层特征和先验信息进行物体检测,其准确率和召回率较低,随着深度卷积神经网络的兴起,显著性检测得以快速发展。然而,现有显著性方法仍存在共性缺点,难以在复杂图像中均匀地突显整个物体的明确边界和内部区域,主要原因是缺乏足够且丰富的特征用于检测。方法在VGG(visual geometry group)模型的基础上进行改进,去掉最后的全连接层,采用跳层连接的方式用于像素级别的显著性预测,可以有效结合来自卷积神经网络不同卷积层的多尺度信息。此外,它能够在数据驱动的框架中结合高级语义信息和低层细节信息。为了有效地保留物体边界和内部区域的统一,采用全连接的条件随机场(conditional random field,CRF)模型对得到的显著性特征图进行调整。结果本文在6个广泛使用的公开数据集DUT-OMRON(Dalian University of Technology and OMRON Corporation)、ECSSD(extended complex scene saliency dataset)、SED2(segmentation evalution database 2)、HKU、PASCAL-S和SOD(salient objects dataset)上进行了测试,并就准确率—召回率(precision-recall,PR)曲线、F测度值(F-measure)、最大F测度值、加权F测度值和均方误差(mean absolute error,MAE)等性能评估指标与14种最先进且具有代表性的方法进行比较。结果显示,本文方法在6个数据集上的F测度值分别为0.696、0.876、0.797、0.868、0.772和0.785;最大F测度值分别为0.747、0.899、0.859、0.889、0.814和0.833;加权F测度值分别为0.656、0.854、0.772、0.844、0.732和0.762;MAE值分别为0.074、0.061、0.093、0.049、0.099和0.124。无论是前景和背景颜色相似的图像集,还是多物体的复杂图像集,本文方法的各项性能均接近最新研究成果,且优于大多数具有代表性的方法。结论本文方法对各种场景的图像显著性检测都具有较强的鲁棒性,同时可以使显著性物体的边界和内部区域更均匀,检测结果更准确。