Parametric Evaluation of Video Motion Tracking Data Sets

Video tracking is a complex problem because the environment, in which video motion needs to be tracked, is widely varied based on the application and poses several constraints on the design and performance of the tracking system. Current datasets that are used to evaluate and compare video motion tracking algorithms use a cumulative performance measure without thoroughly analyzing the effect of these different constraints imposed by the environment. But it needs to analyze these constraints as parameters. The objective of this paper is to identify these parameters and define quantitative measures for these parameters to compare video datasets for motion tracking.

A no-reference blocking artifact metric for B-DCT video

A new no-reference blocking artifact metric for B-DCT compression video is presented in this paper. We first present a new definition of blocking artifact and a new method for measuring perceptive blocking artifact based on HVS taking into account the luminance masking and activity masking characteristic. Then, we propose a new concept of blocking artifact cluster and the algorithm for clustering blocking artifacts. Considering eye movement and fixation, we select several clusters with most serious blocking artifacts and utilize the average of their blocking artifacts to assess the total blocking artifact of B-DCT reconstructed video. Experimental results illustrating the performance of the proposed method are presented and evaluated.

基于深度学习的视频修复方法综述

视频作为常见的媒体信息之一,目前已在各个领域得到广泛应用。尤其是以抖音等为代表的短视频软件的兴起,使得与视频相关的技术不断迭代更新。其中,视频修复技术是视频处理研究中的一个热点。视频修复技术是利用视频帧内的像素信息和帧间的时域参考信息对视频帧受损的区域进行内容推理并修复,在补全缺损视频、物体移除及视频伪造检测等场景中具有广泛应用前景。该技术可追溯到二十世纪末的老电影修复技术,该任务通常由专业的技术团队逐帧修复完成。而随着数字技术的发展,近年来已有一些人工智能技术用于视频修复,让老电影重获新生。目前,视频修复技术可分为传统方法和基于深度学习的两类方法。其中,传统方法由于缺少对高层语义信息的理解,在场景复杂、缺失区域较大的情况下修复效果不佳;而基于深度学习的方法随着算法框架的优化和图形处理器性能的提升展现了出色的效果,对修复结果的语义结构准确性和时间一致性都有明显的提升。本文在简要回顾传统视频修复方法的基础上,重点分析四类基于深度学习视频修复方法的网络结构、参数模型、性能表现与优缺点;介绍视频修复领域中常用的数据集和评价指标;最后,对视频修复领域现存的问题进行总结并展望未来可能的研究方向。

基于多任务学习的行人重识别算法研究

行人重识别(person re-identification,re-ID)在多摄像机之间进行跨镜检索以匹配目标行人图像,可以在人脸、指纹等生物特征失效的情况下实现行人关联,已成为智能视频监控系统的关键技术,对智能安防、智慧城市等领域的产业落地进行了有效赋能。传统的行人重识别算法通常采用表征学习或度量学习方法。基于多任务学习的机器学习模式,结合表征学习与度量学习方法,综合利用特征表示和距离度量两方面的优势,采用分类损失和三元组损失共同训练模型,使模型在特征提取和相似性度量上都得到充分的训练。实验结果表明,该方法在行人重识别任务中取得了更好的性能,验证了鲁棒性和在泛化能力方面的优越性。

基于度量正则化的红外与可见光跨模态行人重识别算法

红外与可见光跨模态行人重识别对提升智能视频监控系统的全天作战能力具有重要作用。现有跨模态行人重识别方法通常专注于特征对齐,未重视多模态度量对齐,导致重识别对模态变化不够鲁棒。为此,提出一种基于度量正则化的红外与可见光跨模态行人重识别算法。首先,设计度量正则化损失函数,用于约束不同模态检索模式下匹配行为的差异,提升算法的鲁棒性。其次,考虑到实际监控场景中红外图像的数量少于可见光图像的数量,利用模态数据比例修正交叉熵损失函数,减少模态数据不平衡对模型训练的不利影响。实验结果证明了所提算法的优越性,例如在RegDB数据集由可见光检索红外图像的首位识别率达到89.52%。

智能视频监控系统中行人再识别技术研究综述

现今社会中的视频监控网络已日渐成为人们生活中不可缺少的安防体系,行人再识别技术正是智能视频监控的关键。为使读者对行人再识别问题有一个深入、整体的了解,本文首先回顾行人再识别的研究以及发展历程;然后针对当前研究热点,分别从基于特征表示、度量学习以及深度学习网络的角度将经典算法进行分类总结;其次介绍常用行人数据集、性能评价指标以及经典数据集的实验结果对比;最后对行人再识别今后的发展趋势作进一步展望。

基于外观模型学习的视频目标跟踪方法综述

视频跟踪是机器视觉领域中的热点研究问题,在过去的几十年内得到了广泛研究.为了获得鲁棒的跟踪效果,设计能够适应跟踪目标外观变化的外观模型成为算法研究中的一种重要内容.近年来,将机器学习理论引入外观模型设计中的思想大大推动了视频跟踪研究的发展.为了使读者能够快速了解其发展的趋势并且掌握基于外观模型学习跟踪算法研究的技术,在介绍外观模型学习跟踪算法原理和机制的基础上,重点综述了外观模型学习跟踪方法的研究进展,包括目标特征描述和3类主要目标外观建模方式及其各自研究过程中跟踪方法的对比与分析,进而总结了外观模型学习跟踪算法在理论及应用方面的研究现状,最后提出进一步研究的主要发展内容和趋势.

面向增强视频的基于结构和运动恢复的摄像机定标

提出了一种高效鲁棒的长序列摄像机定标算法,能稳定处理焦距未知且变化的视频序列,适用于增强视频的应用.该算法从长视频序列中根据特征匹配点提炼出相互之间具有较长基线的关键帧,以保证求解的稳定性.算法先在关键帧序列上渐进式求解,以准确恢复特征匹配点的三维结构信息;利用精确恢复的三维点,求解整个序列的摄像机运动参数.该算法选择最适合初始化的三帧求解,并将解及时从射影空间转换到欧氏空间.实验结果显示了所恢复的摄像机参数和三维点的高度精确性,证明了该方法稳定高效,能够满足增强视频的高端要求.

应用于视频编码的实时多测度联合突变场景切换检测算法

提出一种与视频编码器共用运动搜索模块的实时场景切换检测算法.通过分析原始图像与其运动补偿图像的一阶与二阶差值信号统计特性,分别构造对应于不同场景切换类型的两种测度函数,并联合使用该测度函数检测突变场景切换,同时自适应调节每个测度函数输出值的判决门限.分析和实验结果表明,该算法在视频编码位移估值基础上只增加少量的计算,而对视频序列中的突变场景切换检测的查全率和查准率均优于已有的几种实时检测算法.

压缩视频图像质量的客观测量方法

介绍了基于特征的视频质量客观测量方法,给出了一种利用时空和颜色特征实现的视频质量客观测量方法(OVQM)。实验结果表明,在测量压缩损伤方面,OVQM比MSE具有更大的优势。

用非监督式聚类进行视频镜头分割

镜头边界检测是基于内容的视频检索首先要解决的问题。研究人员通常将镜头转换分为突变和渐变 ,并根据各种转换的特点采用不同的检测算法。在研究中发现 ,视频镜头的抽象程度与对其进行边界划分的精度相关。为此 ,提出采用非监督式聚类算法 ,按照给定的相似尺度对视频数据进行自组织和动态分析 ,完成层次化的镜头分割。该算法侧重于揭示视频的层次结构 ,能实现不同精度的视频抽象要求。

基于MPQM模型的IPTV视频质量实时评估算法

针对实时测量和评估IPTV视频质量的迫切需求以及当前主要商用测量方案的不足,通过分析影响IPTV视频质量的主要因素,提出以MPQM模型为评估基础,综合运用Markov模型分别为网络信息包丢失概率、图像复杂程度以及视频流传输位速率进行建模和评测的实时评估算法,并依据所建模型推导出相关估算公式。商用测试结果表明该算法能够在实时环境中较准确地评估IPTV视频质量。

基于自正则化非负编码和自适应距离度量学习的视频人脸识别

针对鲁棒人脸识别中K近邻分类无法利用图像集中附加信息的问题,提出基于自正则化非负编码(SRNNC)和自适应距离度量学习的方法。首先,利用样本图像和从样本获得的仿射包模型联合表示一幅图像并进行自正则化非负编码;然后,通过保留大间距架构中数据之间的相似关系来学习更具判别性的马氏距离度量;最后,利用维度加权马氏距离和K近邻分类器完成人脸分类。针对灰度像素值和局部二值模式进行测试,在UCSD/Honda、CMU Moby和You Tube明星数据集上的实验表明,相比其他几种较为新颖的识别方法,该方法取得了更好的识别性能。

基于视频页的视频流分割方法

提出了基于视频页的视频流分割方法 .该方法通过定义视频帧的色彩相近区、光照变化区和色彩变化区 ,获得视觉内容改变的局部区域 ,由此进一步确定两帧的视觉内容相似性 ,从而实现视频页的分割 .经与几种有代表性的视频流分割算法的实验比较 ,证明该检测算法不仅对光照变化的影响具有很高的鲁棒性 ,而且使得分割能在较高信噪比上进行 ,明显提高了视频流分割的准确性 .

结合对齐度准则的视频人脸快速配准算法

在视频人脸替换过程中,针对人脸检测和特征点定位不考虑前后帧的时域联系,导致处理后的视频人脸出现抖动、错位现象的问题,提出结合对齐度准则的视频序列人脸配准方法。通过人脸特征点定位确定待匹配人脸的候选区域和参考人脸五官图像,并根据梯度信息得到参考人脸搜索子图像。构造图像尺度金字塔,在尺度金字塔中快速搜索对齐度极值,极值坐标对应搜索子图像相似度最高的配准点,构造匹配点对。采用Procrustes analysis算法计算对应匹配点的变换关系矩阵,完成待配准图像的坐标变换。根据实验数据,提出的算法提高了优化搜索的速度,处理后的视频与其他算法相比,前后帧对齐的人脸位置和姿态稳定,经处理的视频播放过程中人脸位置自然流畅。算法消除了肤色区域的影响,采用前后帧人脸的有效信息,保持了灰度变化大的人脸区域的位置和姿态,实现视频人脸的精确配准。

基于视敏度的Q-STAR模型参数预测

Q-STAR模型是现有的客观视频质量评价中最接近主观得分的模型,但是在解码端难以从丢包解码后的YUV视频序列中提取与编码端相一致的运动矢量信息,从而影响模型参数的预测。针对该问题,提出了基于视敏度信息的模型参数预测方法,从YUV视频序列中提取时间域和空间域视敏度特征,并结合Q-STAR模型中提取的特征进行预测。通过实验发现,使用视敏度信息代替原有的运动矢量信息进行预测,所得模型参数值与Q-STAR基本相符,并且计算更为简单。

变权无参考视频质量评价模型研究

传输信道失真是导致视频图像质量损失的重要原因,而不需要任何附加传输信息的无参考客观评价是监测视频传输质量受损的主要方法。为了提高无参考客观评价模型的准确性和效率,提出模拟人类视觉特性的变权评价模型。变权评价模型综合考虑视频的空域和时域两类质量指标,引入运动强度来量化视频内容中的运动变化程度,根据统计学习的非线性回归法建立变权控制函数;通过变权控制函数动态调整清晰度和平滑度权值来模仿人类视觉特性。实验结果表明该变权评价模型与主观评价符合度高,优于现有评价方案。

基于HVS时频特性的视频质量评价方法

对于内容变化快的视频,现有仿真人类视觉系统的质量评价方法效果较差。因为主观评价者具有带通和掩蔽两种重要时域特征,现有方法中并未考虑这类与运动变化相关的视觉特性,导致客观与主观评价存在较大偏差。为提高运动变化快视频的评价准确性,利用统计学习的方法确定人类视觉阈值并建立模拟视觉系统的带通滤波模型;通过衰减权函数仿真人眼掩蔽特性。与基于信号特征的峰值信噪比(PSNR)方法、常权特征组合法、基于规则的变权特征评价法进行实验比较,在丢包率小于5%情况下获得最优评价效果。在带通模型的滤波作用下评价算法的执行效率得到提高。总之,该方法用简单方式有效地模拟复杂人类视觉特性,不仅提高评价性能而且降低计算复杂度。

一种优化自正则化非负编码的图像集人脸识别方法

针对图像集分类中无法确保特征空间的每个位置上的良好性能的问题,提出一种优化自正则化非负编码方法。首先,将图像集由萁样本图像和从样本获得的仿射包联合表示,并将其集间距离表示为自正则化非负约束的仿射包的最近点间的距离;然后,通过维度加权马氏距离进行度量;最后,利用K近邻分类器完成人脸分类。结果表明:在UCSD/Honda明星数据集上针对灰度像素值模式的实验相比其他几种较为新颖的识别方法具有更好的识别性能。

基于缩减参考帧的高清图像质量评价研究

结合人眼视觉特性,分析现有客观评价算法,实现缩减参考帧模型,它是一种可与图像质量主观评价保持一致的图像质量客观评价算法。实验结果证明,该方法能较好地符合人眼的视觉特性。