基于时空信息的轻量视频显著性目标检测网络

现有视频显著性目标检测(VSOD)网络面临2个问题:一是在捕获时间信息时计算成本过大,导致网络难以在移动端实际应用;二是网络泛化能力较弱,难以处理视频中诸如遮挡、运动模糊等挑战性场景。因此,提出一种基于动态滤波器和对比学习思想的轻量视频显著性目标检测网络。首先,对连续帧的每帧图像进行粗略的前景特征点采样并进行相似度矩阵的计算,利用相似度矩阵进行加权从而滤除存在的噪声特征;其次,用滤波后的前景特征生成动态滤波器参数,对原始特征图执行卷积操作以提取前景物体;同时在训练阶段设计了一个对比学习模块帮助网络学习,在推理阶段并不会引入额外的计算量。在三个数据集DAVIS、DAVSOD和VOS上进行了广泛实验,实验结果表明,所提网络相较于DCFNet(Dynamic Context-sensitive Filtering Network for video salient object detection),在Fmeasure、S-measure以及平均绝对误差(MAE)3个指标上性能接近,帧率从28 frame/s提升到38 frame/s,提升了35.7%,同时网络参数量仅有15.6×10^(6),更有利于实际应用中在边缘侧进行部署。

时空渐进式学习的视频显著性目标检测

视频显著性目标检测需要同时结合空间信息和时间信息,连续地定位视频序列中与运动相关的显著性目标,其核心问题在于如何高效地刻画运动目标的时空特征.现有的视频显著性目标检测算法大多使用光流,ConvLSTM以及3D卷积等提取时域特征,缺乏对时间信息的连续学习能力.为此,设计了一种鲁棒的时空渐进式学习网络(spatial-temporal progressive learning network,STPLNet),以完成对视频序列中显著性目标的高效定位.在空间域中使用一种U型结构对各视频帧进行编码解码,在时间域中通过学习视频序列中帧间运动目标的主体部分和形变区域特征,渐进地对运动目标特征进行编码,能够捕捉到目标的时间相关性特征和运动趋向性.在4个公开数据集上与13个主流的视频显著性目标检测算法进行一系列对比实验,所提出的模型在多个指标(maxF,Smeasure(S),MAE)上达到了最优结果,同时在运行速度上具有较好的实时性.

基于压缩域编码长度的视频显著性检测

生物学研究表明,人会明显地注意视频中的运动目标。为模拟该特性并快速完成视频显著图的计算,提出一种压缩域时空显著度检测方法(Temporal-Spatial Saliency in Compress Domain model,TS2CD)。分别利用H.264视频中对宏块的残差编码长度和运动矢量编码长度模拟人眼的显著性刺激强度,从而得到视频显著特征。通过线性的加权融合算法,综合两种编码长度得到的空域显著图和时域显著图,得到最终的视频显著图。在3个公开的数据库上的实验表明,TS2CD算法是当前性能最优的方法。

基于时空信息融合的视频显著性区域检测算法

针对目前显著性区域检测算法处理存在背景扰动的视频时鲁棒性较差的问题,本文提出一种基于时空信息自适应融合的视频显著性区域检测算法。在时间上,利用光流法提取运动矢量场,综合像素点在连续多帧的运动熵以及与邻域点的方向一致性值表征时间显著性;在空间上,通过区域间的颜色对比度计算空间显著性值,以保证显著性区域的空间完整;最后,提出时、空显著图的自适应动态融合方法,以适应不同情形视频的显著性检测要求。实验结果表明:本文算法能够较为准确地检测出视频中的显著性区域,在精确度和鲁棒性等方面均具有较好的效果。

基于深度残差网络的双阶段视频显著性检测

为了进一步推进视频显著性检测的研究,提出一种以深度残差网络和U-net为基本结构的双阶段视频显著性检测方法。用静态图像和视频序列训练第一阶段模型来分别提高模型对于空间特征和时序特征的学习能力;通过调整基本结构的输入端,融合连续三帧视频序列以及第一阶段得到的显著图作为每次的输入来训练第二阶段的模型,增强模型学习的时序特征;融合周期性学习率,使得学习率周期性变化,保证模型在训练的每个阶段可以利用到最佳学习率,以此更好更快地达到收敛。实验表明,该方法在两个公开视频数据集上的检测效果均超过了当前主流的方法,检测精度更高,鲁棒性更好。

基于CNN-TrajGRU的视频显著性检测技术

视频显著性检测通过预测人类视觉注意位置提取视频中的重要信息,已被广泛应用于视频分割、目标识别等计算机视觉领域。目前基于循环神经网络的时空模型在预测显著性上获得了优异的性能。在此基础上,提出了一种基于上下文感知的卷积-轨迹门控循环单元网络(convolutional neural network-trajectory gated recurrent unit,CNN-TrajGRU)的视频显著性检测方法。首先,提取输入视频帧的多尺度金字塔特征,利用深层特征的通道注意模块和浅层特征的空间注意模块进行特征融合,生成静态显著性特征。然后,将静态显著性特征输入到轨迹门控循环单元网络,实现时间轴上连续多帧的动态显著性特征提取。最后预测当前时刻的记忆状态作为显著性概率,获得视频帧的显著图。提出的方法能够获取多尺度特征的上下文信息,有效地融合空间域和时间域上的显著性信息。在DHF1K、UCF-Sports数据集上进行定性和定量测试,实验结果表明文章方法的结果优于其他同类模型。

基于运动谱残差的视频显著性检测算法

借鉴静态图像中通过计算像素灰度的谱残差检测显著性区域的方法,提出基于运动谱残差的视频显著性检测算法。通过提取每一帧的运动矢量场,对矢量场的水平和垂直分量分别计算运动谱残差,融合2个方向的运动谱残差形成运动谱残差图,将谱残差图进行顶帽变换形成视频显著图。实验结果表明,该算法能准确地分割出各种运动场景的显著性区域,在检测效果和抗噪能力方面优于现有视频显著性检测算法,适用于运动微生物检测、行人车辆检测等领域。

空时一致的视频显著性检测

针对现有视频检测算法在空间和时间显著度上一致性不足,提出了空时一致性模型。首先构造梯度流场,整合空间上的颜色对比度与时间上的目标运动信息。而后基于空时梯度流场构造全局对比度,综合局部对比度和全局对比度,得到初始检测结果。最后通过马尔可夫随机场,对其进行空时一致性优化,得到最终显著图。在3个公开数据集上的大量实验表明,所提算法检测性能较好,并且具有较强的鲁棒性。

视频显著性计算模型及其在广告插入中的应用

提出了一种新的基于频域分析的视频显著性计算模型。该模型具有计算量小、速度快的优点。首先将原始视频处理成一系列视频场景图片;然后根据频域分析方法分别计算视频的空域显著图和时域显著图,并用Renyi熵度量显著图的显著性;最后,融合时域和空域显著性结果,得到视频的显著性曲线。将本文模型应用于视频广告插入系统中并与现有方法比较,结果证明了其有效性。

视频显著性检测研究进展

视频显著性检测是计算机视觉领域的一个热点研究方向,其目的在于通过联合空间和时间信息实现视频序列中与运动相关的显著性目标的连续提取.由于视频序列中目标运动模式多样、场景复杂以及存在相机运动等,使得视频显著性检测极具挑战性.对现有的视频显著性检测方法进行梳理,介绍相关实验数据集,并通过实验比较分析现有方法的性能.首先,介绍了基于底层线索的视频显著性检测方法,主要包括5类:基于变换分析的方法、基于稀疏表示的方法、基于信息论的方法、基于视觉先验的方法和其他方法.然后,对基于学习的视频显著性检测方法进行了总结,主要包括传统学习方法和深度学习方法,并着重对后一类方法进行了介绍.随后,介绍了常用的视频显著性检测数据集,给出了4种算法性能评价指标,并在不同数据集上对最新的几种算法进行了定性和定量的比较分析.最后,对视频显著性检测的关键问题进行了总结,并对未来的发展趋势进行展望.

基于运动和空间方向一致性的视频显著性检测

根据人眼的视觉特点,提出一种基于对比运动和空间方向一致性的算法,用来检测视频序列的显著性区域。在该算法中,首先针对每一帧图像利用sobel算子计算其水平梯度、垂直梯度,然后用光流法计算运动矢量;接着构建三维张量结构,得到每个像素点与周围点的水平、垂直梯度和运动矢量一致性,并对比每个像素点与周边点的一致性;最后把对比结果转化为视频显著图。将该方法与已经存在的方法进行比较,实验结果表明,该方法可以很好地排除背景纹理区域的运动所带来的影响,能够准确地检测出各种运动场景的显著性区域。

基于边缘特征和自适应融合的视频显著性检测

针对目前大多数视频显著性检测中背景复杂以及显著目标边缘模糊、显著目标内部存在空洞不能一致高亮的问题,提出了一种基于动静态边缘和自适应融合的视频显著性检测算法。该算法利用静态边缘和运动边缘信息融合后初步定位显著目标,并对其进行一系列平滑操作获得目标的精确边缘然后计算梯度获得初始显著图。然后,考虑前一帧对当前帧的有效性约束,计算相邻两帧的颜色直方图进而得到两帧的相似度,由相似度决定两帧在自适应融合时各自的比重,得到当前帧的最终显著图。在公开视频显著性数据集ViSal上算法F值接近0.8,MAE接近0.06,表明该方法性能优于目前主流算法,对复杂背景有较强鲁棒性,同时能够快速、清晰而准确地提取出视频序列中的显著性目标。

基于帧间差分和深度语义特征的视频显著性目标检测算法

视频显著性目标检测旨在利用计算机自动识别提取视频序列中具有显著性特征的区域或目标。随着大数据时代的到来,视频内部包含的空时信息愈发复杂,实现高效准确的检测成为当下研究的难点。因此,提出基于帧间差分和深度语义特征的视频显著性目标检测算法。首先,利用改进后的帧间差分算法计算相邻视频帧在RGB这3个颜色通道上的差分值,加权求和后提取视频流在时间上的运动特征,计算时间显著性线索;其次,基于深度卷积神经网络提取每一帧视频的深度空间特征,计算空间显著性线索;最后,运用GOP算法从语义层次提取每一帧视频的建议目标候选对象,并结合时间显著性线索和空间显著性线索评估每个目标候选对象,得出每个候选对象为显著性目标的置信度得分,根据置信度得分将这些目标候选对象进行加权融合,得到最后的视频显著性目标检测结果。在公开数据集上的测试结果表明,所提算法实时性好,检测精度高,整体性能优于目前的主流算法。

基于多流网络一致性的视频显著性检测

现有的视频显著性检测算法通常采用双流结构提取视频的时空线索,其中运动信息作为双流结构的一个分支,在显著物体发生剧烈或慢速移动时存在运动估计准确率低的问题,并且不合理的训练数据或方案使得权重偏向单个分支结构。提出一种基于多流网络一致性的视频显著性检测算法MSNC。设计并使用一种新的三重网络结构提取预选目标区域的颜色信息、时序信息和先验特征,通过先验特征补偿运动流的缺陷,并提高运动线索的利用率。采用多流一致性融合模型优化三流分支,得到不同特征的最佳融合方案。同时通过循环训练策略平衡三重网络的权重,以避免网络过度拟合单流分支,从而有效地提高运动估计和定位的准确率。在Davis数据集上的实验结果表明,相比PCSA、SSAV、MGA等算法,该算法的鲁棒性更优,其maxF和S-Measure值分别达到0.893和0.912,MAE仅为0.021。

基于级联优化策略的视频显著性检测

为了在复杂的场景中均匀突出时空一致的显著物体,提出了一种无监督的视频显著性检测框架。该框架包含3种显著图,运动显著图、空间显著图和时间显著图。首先,本文提出利用运动对比度来突出视频中显著运动的物体,并自适应融合时空梯度场图生成运动显著图;接着,利用帧内的局部对比度和全局对比度对运动显著图中的前景目标进行精细化,得到空间显著图;其次,根据视频序列相邻帧之间的目标存在时间一致性的特点,利用相邻帧之间的颜色和运动相似度加权融合前一帧的显著图,生成时间显著图;最后,融合3种显著图得到视频显著图。本文在3个公开的数据集(DAVIS、FBMS和Seg⁃trackv2)上对本算法进行了定性和定量的评估。实验表明,本算法在具有挑战性的场景中对目标物体的检测性能优于目前经典的显著性检测算法。

基于条件生成对抗网络的视频显著性目标检测

针对传统的显著性检测方法存在着流程复杂,计算成本高,特征学习不足等问题,受生成对抗网络以及弹性网络的启发,提出一种基于条件生成对抗网络(cGAN)与L1,L2范式联合正则的视频显著性目标检测方法。方法需训练2个模型:生成器和判别器。生成器尽可能生成与真实值一样的显著图来迷惑判别器,使其难以辨别预测的显著图的真实性。判别器则尽可能准确地区分“假”显著图。实验表明:所提方法在两个公开视频数据集上的检测效果都超过了当前主流方法,且算法流程简单,运算效率更高。

基于深度空时特征编码的视频显著性检测

针对目前视频显著性检测算法中存在难以提取鲁棒的空时特征和缺乏有效的空时显著性融合模型问题,提出基于深度空时特征编码的视频显著性检测算法。首先运用FlowNet提取视频帧的深度光流场,并基于全局对比度模型构造时间特征线索;其次,基于卷积网络提取每一帧图像的语义显著性区域,构造空间特征线索;最后,通过联合前后帧的空时显著性编码网络实现空时显著线索的融合,并得到最终显著图。在公开数据集上的实验结果表明,所提算法在检测精度上优于目前的主流算法,具有较强的鲁棒性。

联合时空注意力的视频显著性预测

为了解决视频显著性预测任务中时间与空间特征联合建模的问题,提出联合时空注意力机制(COStA),共同提取时间和空间维度的注意信息,突出特定时间和区域的特征供模型来感知。基于该机制,进一步提出视频显著性预测模型TASED-COStA,对比实验表明:COStA机制能为神经网络模型在CC、NSS与SIM三个评价指标上获得大于8%的性能提升,TASED-COStA模型能有效地建模视频信息中的时间与空间关系,并给出准确的预测结果。

基于多特征图像视觉显著性的视频摘要化生成

如何高效提取视频内容即视频摘要化,一直是计算机视觉领域研究的热点。简单通过图像颜色、纹理等特征进行检测已无法有效、完整地获取视频摘要。基于视觉注意力金字塔模型,提出了一种改进的可变比例及双对比度计算的中心-环绕视频摘要化方法。首先,以超像素方法对视频图像序列进行像素块划分以加速图像计算;然后,检测不同颜色背景下的图像对比度特征差异并进行融合;最后,结合光流运动信息,合并静态图像与动态图像显著性结果提取视频关键帧,在提取关键帧时,利用感知哈希函数进行相似性判断完成视频摘要化生成。在Segtrack V2、ViSal及OVP数据集上进行仿真实验,结果表明:所提方法可以有效提取图像感兴趣区域,得到以关键帧图像序列表示的视频摘要。

结合稠密轨迹与视频显著性特征的人体动作识别

传统稠密轨迹算法在人体动作识别中取得了较大的成功,但是其在轨迹的形成过程中将动作产生的轨迹和背景运动导致的轨迹进行了相同处理,导致视频表示过于冗余,识别精度受限。为解决这一问题,首先分析背景运动与行为运动模式的差异性,以特征字典的稀疏系数矩阵为基础,利用低秩分解的方法得到稀疏误差矩阵,进一步求解出视频的显著图,然后以显著图作为依据仅在动作相关区域内形成显著性轨迹,并以此表征人体动作。最后基于公开数据集:UCF Sports数据集和YouTube数据集,验证了本文方法的有效性。