基于显著性检测的云边协同视频流分析

为解决实时视频分析任务中精度和延迟的平衡问题,进一步提升系统性能,提出一种基于显著性检测的云边协同视频流分析框架。通过计算推理结果在视频帧上的梯度来准确衡量不同区域的显著性,结合监控摄像机的上下文特征构建宏块(视频编码的基本单元)粒度的感知区。通过建立这些感知区,边缘端可以针对视频帧中不同区域的内容进行不同层次的压缩过滤,降低传输过程中的带宽消耗。实验结果表明,该框架在较小精度损失的前提下,能够显著降低带宽消耗和延迟。

利用显著性检测的机器视觉视频编码算法

近年来,面向机器视觉视频的研究和应用越来越广泛,这对此类视频的存储和传输都提出了巨大的挑战。视频编码标准如多功能视频编码(Versatile Video Coding,VVC)能实现高效的全分辨率压缩与重建,但是对机器视觉任务而言,这种压缩方法是有冗余的。因此,提出了一种在VVC编码过程中结合显著性检测的视频编码方法用于机器任务,用实例分割网络掩膜基于区域的卷积神经网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)获得包含对象的二进制掩膜,并依此判定是否为感兴趣区域,指导VVC编码过程中编码树单元(Coding Tree Unit,CTU)的量化参数的偏移。实验证明,与VVC基线方法相比,所提方法可以在相似的检测精度下节省一定的比特率。

融合背景先验信息及自适应采样的显著性检测

为了提高计算机视觉系统对视觉场景中显著目标的检测精度,提出了融合背景先验信息及自适应采样视觉显著性检测方法.利用超像素分割提取图像边缘获取场景先验信息,将频域高斯差分特征谱图映射到空间域生成灰度密度散点图,使采样窗口根据散点图自适应移动到前景区域,实现自适应采样.该过程模拟了人的眼动追踪检测显著目标,并采用主成分分析法融合背景先验信息和自适应采样得到的特征,综合提取前景信息获得分辨率更高的显著图.实验结果表明,与其他采样机制的对比,自适应采样方法具有高效性,在ECSSD、HUK-IS、MSRA-5K、SOD公开数据集上与其他13种显著性检测算法对比显示,在各个数据集上MAE平均减少0.01~0.04,F-measure平均提高0.01~0.04,IoU平均提高0.02~0.08,验证了所提算法在显著目标检测的准确性方面具有优势.

基于HMSD和改进的显著性检测的图像融合

针对由于可见光与红外图像的特点不同,使得融合图像中会存在目标不突出、对比度低、伪影多的问题,提出了一种基于混合多尺度分解和改进的显著性检测的红外与可见光图像融合方法。利用梯度引导滤波器的边缘保持特性和高斯滤波器的平滑特性将红外和可见光分解为不同特征的层次。对不同层次的图像采用不同的融合策略,针对基层,使用一种改进的显著性检测进行融合。结合各层融合的子图像来重构的融合图像具有突出目标和清晰背景。实验结果表明:所提出的方法与其他经典融合算法相比,融合质量更高、视觉效果更好。

基于特征残差融合的显著性检测网络

当前的显著性检测任务得益于卷积神经网络模型的监督训练能够达到很好的效果,但是模型中的显著性特征如何有效地利用仍是一个关键的问题。不同层级的显著性特征信息融合能够达到互补的效果进而促进最终预测的效果,因此提出一个基于局部信息残差融合的网络架构。该结构是对局部范围的卷积层的特征进行残差式的融合,以此降低由于采样操作导致引入噪点的风险。再将融合的新特征图由深层递进式地传递到浅层并输出,进而获得最终的预测结果。

船舶涡轮机叶片细小裂痕视觉显著性检测研究

为精准掌握涡轮机叶片的运行状态,判断其是否需要进行更换,提出船舶涡轮机叶片细小裂痕视觉显著性检测方法。利用改进同态滤波算法平滑叶片CCD图像,增强图像的对比度以及均衡度,基于谱残差视觉注意模型提取显著图,通过线性迭代聚类算法分割获取的显著图,设定判断阈值,确定最终的船舶涡轮机叶片微小裂痕区域,完成船舶涡轮机叶片细小裂痕检测。测试结果显示,该方法具备较好的应用效果,可显著提升图像整体均匀度;显著图的提取效果较好,平均绝对误差至均在0.021以下,可靠确定船舶涡轮机叶片微小裂痕区域。

一种基于改进剩余谱的红外舰船目标显著性检测方法

为了解决传统显著性检测方法在红外舰船目标检测中精度不高的问题,提出了一种基于改进剩余谱的显著性检测方法。该方法首先利用自适应六边形中值滤波和小波图像融合对红外图像去除噪声;然后在剩余谱显著性检测算法的基础上,引入超像素分割处理舰船目标区域以减少计算量,同时保留舰船目标的边缘信息;此外,引入目标掩码排除背景干扰以提高算法的准确性;最后,通过提取图像的显著图实现舰船目标的检测。实验证明,该方法相较于改进之前检测舰船目标的准确性提高了约3%,在岛屿等复杂背景下能够准确检测出舰船目标。

基于多尺度显著性检测的SAR图像海岸线检测

SAR图像岸线检测是SAR近岸海洋目标检测的一项重要环节。提出了一种基于多尺度显著性检测的SAR图像海岸线检测方法,用以检测低对比度SAR图像的海岸线。首先将SAR图像依据尺度系数进行多尺度变换,然后对于每种尺度图像进行谱残差法显著性检测,得到一系列显著性子图;而后应用NSCT变换融合各显著子图得到最终显著图,将显著图代入到活动轮廓模型中进行检测,得到检测结果。SAR图像实验结果表明,该方法相比于传统方法,提升了对于低对比度图像的适应性,增强了抗噪性能。

基于显著性检测的全变差去高光研究

选矿浮选过程中浮选槽中的泡沫图像,受到工业摄像角度和光照点位置影响,导致泡沫图像颜色特征以及纹理特征的提取达不到预期效果。为解决上述问题,提出一种基于显著性检测的自适应全变差去高光算法。将处于RGB颜色空间的图像转换到处于YUV颜色空间中,根据显著值的大小,判定某个像素点是否为高光像素点,并修复图像高光区域。构建改进的全变差修复模型,并对图像修复模型完成求解。实验结果可知,所提算法对图像高光区域的识别以及细微处的处理具有一定的提高,且均方误差值与峰值信噪比在一定程度上得到了改善,可以有效的提取泡沫图像存在的亮点区域且修复。

一种显著性检测提取高分遥感影像建筑物的方法

针对高分辨率遥感影像上建筑物的特征,设计并实现了用于提取高分遥感影像上建筑物的深度学习显著性检测方法。首先,使用FCN语义分割高分遥感影像,并通过对高分遥感影像上独特性、紧凑性和背景性中水平特征,计算每个像素与像素之间的中水平特征差异,得到每个像素的特征图,并将这些特征图组合在一起得到全局先验特征图;其次,给出了显著检测目标方法,即在深度学习网络模型中输入全局先验特征图后获取全局先验显著图;最后,通过实验数据,采用准确率和召回率P-R曲线以及F-Measure作为评价指标对该方法进行了验证并对结果进行了分析,表明所提出的方法能够完整准确地提取高分遥感影像上建筑物,且计算速度快、性能优良、过程无须人工参与,具有较高的应用价值。

融合显著性检测的图像检索方法研究

针对在大量图像中进行图像检索的准确度不高的问题,提出了一种显著性检测和卷积神经网络相结合的两阶段图像检索模型NL-VG。在模型的第一阶段使用局部特征图与全局特征图相结合的非局部深度特征模型(NLDF)进行显著性检测;在第二阶段使用VGG-16卷积神经网络进行特征提取得到特征向量,将得到的特征向量利用相似性度量方法和建立的图像检索库相匹配并显示与之相似的图像;使用交互式界面工具包PyQt5设计图像检索系统实现检索任务。使用网络爬虫技术获取图片并预处理构建数据集,对数据集上所有图像通过两阶段的显著性检测模型进行检测得到图像特征库。实验结果表明:所提出的检索算法map值为0.767,相较于SpoC等算法精度有所提高,查询结果更符合预期。

面向检索应用的商标显著性检测方法

商标显著性检测是商标检索的重要前提之一,待申请商标需要商标显著性判断,商标相似或侵权判定也需要对商标显著性特征加以判别。考虑到商标多由图案组成,该文提出了一套面向商标图像的显著性检测方案。首先,基于中国商标数据库内的商标图像抽取、加工并制成商标数据集,搭建商标数据库并陆续开源一批商标显著性检测数据集。基于已有显著性检测框架,开发并评估了多种主流显著性检测算法。结果表明一种适配商标图像的U 2-Net深度模型对商标显著性检测效果较好,综合准确率在92%左右,后续还需要深入优化和评测。最后,提出一个面向相似商标检索的显著性检测服务和特征生成解决方案,并开发了相关搜索系统,为后续工业级应用奠定基础。

基于上下文感知跨层特征融合的光场图像显著性检测

光场图像的显著性检测是视觉跟踪、目标检测、图像压缩等应用中的关键技术。然而,现有深度学习方法在处理特征时,忽略特征差异和全局上下文信息,导致显著图模糊,甚至在前景与背景颜色、纹理相似或者背景杂乱的场景中,存在检测对象不完整以及背景难抑制的问题,因此该文提出一种基于上下文感知跨层特征融合的光场图像显著性检测网络。首先,构建跨层特征融合模块自适应地从输入特征中选择互补分量,减少特征差异,避免特征不准确整合,以更有效地融合相邻层特征和信息性系数;同时利用跨层特征融合模块构建了并行级联反馈解码器(PCFD),采用多级反馈机制重复迭代细化特征,避免特征丢失及高层上下文特征被稀释;最后构建全局上下文模块(GCM)产生多尺度特征以利用丰富的全局上下文信息,以此获取不同显著区域之间的关联并减轻高级特征的稀释。在最新光场数据集上的实验结果表明,该文方法在定量和定性上均优于所比较的方法,并且能够精确地从前/背景相似的场景中检测出完整的显著对象、获得清晰的显著图。

基于多模态遥感影像的边缘感知引导显著性检测

针对多模态遥感影像显著性检测鲁棒性差和检测精确度不佳等问题,提出一种基于多模态边缘感知引导的显著性检测方法,该方法主要由多模态遥感影像显著检测主干网络、跨模态特征共享模块和边缘感知引导网络构成。通过在特征提取主干网络中加入跨模态特征共享模块,使得不同模态间特征通过共享交互实现协同增强,并且抑制具有缺陷的特征信息。基于边缘感知引导网络,通过边缘图监督模块来检测边缘特征的有效性,从而生成准确边界。在3种显著目标检测遥感图像数据集上进行实验,平均的F_(β)、平均绝对误差(MAE)、S_(m)分数分别为0.9176,0.0095和0.9199。实验结果表明,提出的多模态边缘感知引导网络(MEGNet)适用于在多模态场景中进行显著性检测。

基于鲁棒视觉变换和多注意力的全景图像显著性检测

针对当前全景图像显著性检测方法存在检测精度偏低、模型收敛速度慢和计算量大等问题,该文提出一种基于鲁棒视觉变换和多注意力的U型网络(URMNet)模型。该模型使用球形卷积提取全景图像的多尺度特征,减轻了全景图像经等矩形投影后的失真。使用鲁棒视觉变换模块提取4种尺度特征图所包含的显著信息,采用卷积嵌入的方式降低特征图的分辨率,增强模型的鲁棒性。使用多注意力模块,根据空间注意力与通道注意力间的关系,有选择地融合多维度注意力。最后逐步融合多层特征,形成全景图像显著图。纬度加权损失函数使该文模型具有更快的收敛速度。在两个公开数据集上的实验表明,该文所提模型因使用了鲁棒视觉变换模块和多注意力模块,其性能优于其他6种先进方法,能进一步提高全景图像显著性检测精度。

基于视区追踪的可见光图像显著性检测方法

为能准确检测出可见光图像中的目标区域,并提高图像检测的准确性,提出基于视区追踪的可见光图像显著性检测方法。对全局显著性度量,根据度量结果,运用亮度增强算法增强可见光图像后,提取图像亮度、颜色以及方向的特征信息,采用视区追踪的方法分割可见光图像,构建关于图像背景与目标的指示向量,并对背景图排序,实现可见光图像显著性检测。实验结果表明,所研究的方法在主观评价和客观评价上,检测的准确度都较高,满足方法的设计需求。

显著性检测引导的图像数据增强方法

针对多数数据增强方法在裁剪区域的选择中过于随机,以及多数方法过分关注图像中的特征显著区域而忽略了对图像中鉴别性较差区域进行加强学习,提出SaliencyOut以及SaliencyCutMix方法,旨在加强对图像中鉴别性较差区域特征的学习。具体来说,SaliencyOut首先利用显著性检测技术生成原图像的显著性映射图,之后在显著性图中寻找一个特征显著区域,接着将此区域中的像素去除。SaliencyCutMix则是将原图像的裁剪区域去除之后,使用补丁图像中相同区域的图块进行替换。通过对图像中部分特征显著区域的遮挡或替换,引导模型学习关于目标对象的其他特征。此外,针对在裁剪区域较大时,可能丢失过多显著特征区域的问题,提出在裁剪边界的选定中加入自适应缩放因子。该因子可以根据裁剪区域边界初始大小的不同,动态地调整裁剪边界。在4个数据集中的实验表明:本文方法可显著提升模型的分类性能以及抗干扰能力,优于多数先进方法。尤其是在Mini-ImageNet数据集中,应用于ResNet-34网络,SaliencyCutMix相较于CutMix的Top-1准确率提升了1.18%。

视觉显著性检测综述

视觉显著性(Visual Saliency)是指人类在观察某一区域时视野中存在能够引起人类视觉关注的局部区域,该局部区域被称为显著性区域。与此对应,视觉显著性检测(Visual Saliency Detection)则主要用于凸显图像或者视频中的显著性区域。近年来,基于计算机技术的视觉显著性检测模型被广泛应用于图像分割、目标检测和视频编码等领域。因此,进行视觉显著性检测研究具有相当的实际应用价值。该文针对视觉显著性检测研究进行了系统地介绍,主要包括RGB图像显著性检测、RGBD图像显著性检测、视频显著性检测和协同显著性检测等,同时总结分析了各种视觉显著性检测模型的特点,并进一步探讨了视觉显著性检测研究未来的发展方向。

基于边界检测和骨骼提取的显著性检测网络

目前一些方法通过多任务联合实现显著性检测,在一定程度上提升了检测精度,但仍存在误检和漏检问题,其原因在于各任务优化目标不同且特征域差异较大,导致网络对显著性、物体边界等特征辨识能力不足.基于此,借助边界检测和骨骼提取提出一种多任务辅助的显著性检测网络,其包括特征提取子网络、边界检测子网络、骨骼提取子网络以及显著性填充子网络.其中,特征提取子网络利用ResNet101预训练模型提取图像的多尺度特征;边界检测子网络选择前3层特征进行融合,可完整保留显著性目标的边界信息;骨骼提取子网络选择后两层特征进行融合,可准确定位显著性目标的中心位置;所提方法基于边界检测数据集和骨骼提取数据集分别对两个子网络进行训练,保留最好的边界检测模型和骨骼提取模型,作为预训练模型辅助显著性检测任务.为降低网络优化目标与特征域之间的差异,设计了显著性填充子网络将提取的边界特征和骨骼特征进行融合和非线性映射.在4种数据集上的实验结果表明,所提方法能有效恢复缺失的显著性区域,优于其他显著性目标检测方法.

基于Gabor滤波和显著性检测的红外与可见光图像融合

红外和可见光图像的融合既要突出红外图像中重要的亮度特征,又要使融合图像保留清晰的视觉效果。因此,提出了基于Gabor滤波和显著性检测的融合方法。首先,采用显著性检测得到红外和可见光图像的显著层,再使用Frankle-McCann Retinex增强算法对可见光图像进行增强,之后用Gabor滤波器将红外图像和增强后的可见光图像分解为细节层和基础层。然后,采用“最大绝对”的融合策略对显著层与细节层进行融合,最后进行图像重构。实验结果表明,得到的结果与其他八种经典算法比较中表现优异,尤其是AG、EI、IE、SF等指标方面尤为突出。