基于帧间差异的人脸篡改视频检测方法

近几年,随着计算机硬件设备的不断更新换代和深度学习技术的不断发展,新出现的多媒体篡改工具可以让人们更容易地对视频中的人脸进行篡改。使用这些新工具制作出的人脸篡改视频几乎无法被肉眼所察觉,因此我们急需有效的手段来对这些人脸篡改视频进行检测。目前流行的视频人脸篡改技术主要包括以自编码器为基础的Deepfake技术和以计算机图形学为基础的Face2face技术。我们注意到人脸篡改视频里人脸区域的帧间差异要明显大于未被篡改的视频中人脸区域的帧间差异,因此视频相邻帧中人脸图像的差异可以作为篡改检测的重要线索。在本文中,我们提出一种新的基于帧间差异的人脸篡改视频检测框架。我们首先使用一种基于传统手工设计特征的检测方法,即基于局部二值模式(Local binary pattern,LBP)/方向梯度直方图(Histogram of oriented gradient,HOG)特征的检测方法来验证该框架的有效性。然后,我们结合一种基于深度学习的检测方法,即基于孪生网络的检测方法进一步增强人脸图像特征表示来提升检测效果。在FaceForensics++数据集上,基于LBP/HOG特征的检测方法有较高的检测准确率,而基于孪生网络的方法可以达到更高的检测准确率,且该方法有较强的鲁棒性;在这里,鲁棒性指一种检测方法可以在三种不同情况下达到较高的检测准确率,这三种情况分别是:对视频相邻帧中人脸图像差异用两种不同方式进行表示、提取三种不同间隔的帧对来计算帧间差异以及训练集与测试集压缩率不同。

基于互信息量的镜头边界检测算法

为快速稳健地检测镜头边界,提出基于互信息量的镜头边界检测算法。采用基于HSV空间不均匀分块直方图求取的帧间互信息量作为视频帧间差异度量,结合相应的阈值策略与时域窗策略,实现对镜头的切变,以及常见渐变与计算机特效技术制作的镜头变换检测。对包括广告、综艺节目、新闻等多类视频数据进行实验,结果证明,该算法对切变检测的综合效果比经典基于直方图的双阈值法平均提高11.9%,渐变检测的综合效果平均提高7.6%,能有效减弱摄像机运动与光照变化对镜头检测的影响,对不同类型视频镜头检测效果稳定,具有较高的查全率与查准率。

基于因果的自适应双阈值镜头边界检测算法

将因果检测法与双阈值法相结合,提出了一种基于因果的自适应双阈值镜头边界检测算法。首先,利用相邻两帧之间的帧间差异值对突变和渐变进行预检;然后,加入渐变检测容忍度、边缘和非相邻帧间差异值等信息,对初检结果进行复检,排除闪光灯、剧烈物体运动、淡入、淡出以及溶解等造成的误检和漏检,以提高整体检测效果。实验结果表明,与传统的双阈值镜头检测方法相比,本方法可获得更好的检测性能。

面向连续矢量图的简易数字水印方案

为了给矢量动画提供一种实现简单、对原图影响小、计算量低的数字水印方案,提出了以连续矢量图帧来描述矢量动画的格式。基于此描述格式,利用连续矢量图帧中特定图形元素颜色轻微修改,实现了数字水印数据的嵌入;通过特定图形元素帧间颜色值的差异分析,可以提取并验证数字水印。分析结果表明,该方案可以用简单和低计算成本的方式实现面向连续矢量图的数字水印嵌入与检测。

一种基于双阈值法改进的镜头边界检测算法

提出了一种基于双阈值法改进的镜头边界检测算法。该方法的优势在于通过复检有效降低了突变镜头以及淡入淡出渐变镜头的误检率,同时该方法针对包含较多视频帧的镜头给出了一种进行溶解型渐变镜头检测的方法,有效地提高了溶解型渐变镜头的检出率。实验表明与原算法相比其查全率约提高了11%。

鲁棒的广告视频检测技术研究

将基于自适应双阈值镜头检测算法与电视节目的音频特征相结合,本文提出了一个鲁棒的电视节目广告片段检测算法.首先采用将自适应双阈值镜头检测算法分割出电视节目和广告视频镜头.为了提高镜头边界检测的准确率,本文提出将音频切变信息融合到镜头边界检测算法中.最后利用非对称AdaBaost算法对镜头进行分类,得到无广告视频的完整电视节目.实验结果表明此广告视频检测技术具有实用性.

监控视频异常检测与质量诊断

监控视频可能会出现一系列影响视频质量的异常情况,如清晰度、亮度异常或者视频画面存在噪声、偏色、画面冻结、水波纹、以及水平杂波等故障的情况。针对这些情况,提出监控视频异常检测与质量诊断算法。算法分析上述各种异常情况,利用图像的灰度统计信息、梯度信息,结合图像的中值滤波和帧间差异分析,完成相应的异常检测与质量诊断。实验结果表明,该方法可以有效地对监控视频进行异常检测与质量诊断。