基于动作单元强度曲线相似性的深度伪造人脸视频检测

通过分析现阶段换脸视频的合成效果和不同语者说话时独特的面部运动模式,提出一种的深度的造人脸视频的检测方法。实验分成训练和测试两部分,训练阶段包括面部动作单元的选择、Savitzky-Golay滤波器拟合去噪、分类器的训练等。测试阶段先使用Openface2.0提取待测视频中面部动作单元数据,然后截取有效讲话时间段的面部动作单元强度曲线,对曲线进行拟合,计算出同一语者的待测视频和样本视频中同类动作单元的曲线相似值,提供分类器检测,为选取代表性的动作单元,采用了随机森林法,并用消融实验验证其有效性,最后以ROC曲线评价该方法检测效果。在私有数据库中,该方法的检测效果较好,AUC值为0.953。研究表明,针对视频内容为人说话时的换脸视频,采用基于动作单元强度曲线相似值的检测方法,能有效检测出视频的真伪。

结合深度伪造特征对比的人脸伪造检测

随着AIGC(Artificial Intelligence-Generated Content)技术的不断发展,其伪造技术的多样性对现有检测方法发起巨大的挑战.现有大部分的检测方法是基于各种先进的卷积神经网络提取的人脸伪造特征进行检测,泛化能力不足以解决未知方法伪造的图像鉴伪.因此文中提出结合深度伪造特征对比的人脸伪造检测方法,对未知的伪造技术具有较好的适应能力.方法分为两个阶段:一方面挖掘不同伪造手段的相似特征,提出基于元学习的相似特征融合网络,利用元学习的学习能力获取不同伪造手法之间的相似性特征;另一方面结合具体任务下的独特伪造特征,提出具体任务下的独特性微调方法,提高模型对未知伪造方法的适应能力.在跨伪造手法和跨库测试上实验表明文中方法性能有所提升,在面对未知手段攻击时具有较优的检测能力.

深度网络生成式伪造人脸检测方法研究综述

随着深度网络生成式伪造人脸技术的迅速传播,不法分子通过伪造人脸图像和视频实施电信诈骗等犯罪活动,如何从海量数据中高效、准确地检测出伪造人脸成为研究焦点.文中从深度网络生成式伪造人脸图像和生成式伪造人脸视频2个角度出发,系统归纳、分析、比较了当前伪造人脸检测方法.针对伪造人脸图像,从基于数字图像处理基础、深层次特征提取、空间域特征分析、多特征融合分析和指纹检测5个类别详细介绍了检测方法;并从生理信号、身份信息、多模态和时空不一致4个类别对伪造人脸视频的检测方法进行了探讨.分析表明,目前深度网络生成式伪造人脸检测方法的泛化能力有待提高,在未来的研究中,应当着重提升模型的跨数据集泛化能力、准确性和实用性,从而更好地防范虚假信息传播,以保护个人隐私和维护网络安全环境.

基于改进三元组损失的伪造人脸视频检测方法

当前大部分伪造人脸检测技术使用深度学习来鉴别真实视频与伪造视频之间的特征差异,此类方法在未压缩视频上取得了不错的效果,但在检测经过压缩处理的视频时检测效果就会严重下降。针对此类问题,提出了基于改进三元组损失的伪造人脸视频检测方法。首先,使用伪影图生成器生成一幅伪影图来加深伪造人脸与真实人脸之间的特征差异;其次,使用改进的三元组损失来解决难例样本难以被正确检测的问题;最后,选用更适合人脸鉴伪的深度学习网络提取卷积特征。在FaceForensics++数据集上与目前领先的人脸鉴伪方法的对比表明,该方法检测准确率优于对比方法。

说话人生成研究现状与发展趋势

说话人生成是视觉生成领域的热门研究方向,旨在根据输入的多模态信息生成逼真的说话人视频。说话人生成在影视传媒、游戏动漫和互联网相关产业中具有广阔的应用前景,同时也可以为唇读识别、伪造鉴别和数字人生成等任务的研究提供数据支持。现阶段主流的说话人生成方法已经能够实现包含个性化属性、视听同步的说话人视频生成,但还未能达到虚拟现实、人机交互和元宇宙等新兴应用场景的要求。因此,研究说话人生成对于推动相关产业发展具有重要意义。对说话人生成的研究现状进行梳理与总结,首先阐述了说话人生成的研究背景和相关技术,然后根据方法分类介绍了近年来主流的说话人生成方法,整理了相关研究中常用的视听数据集和评价指标,最后总结现有方法存在的问题,分析了说话人生成未来潜在的研究方向。

5种流行假脸视频检测网络性能分析和比较

为对抗假脸视频的危害,研究者目前已经提出了多种不同的基于卷积神经网络(convolutional neural networks,CNN)的假脸视频检测器,然而这些检测器所存在的一个共同问题是库内检测通常能达到较高的准确率,但跨库检测时性能出现严重下降,即存在严重的泛化能力不足问题.该文对基于MesoInception-4、MISLnet、ShallowNetV1、Inception-v3、Xception这5种流行网络的假脸视频检测器,在现有3个假脸视频库上进行库内和跨库测试,重点分析数据库的划分方式、数据增广操作以及检测阈值选取这3个因素对假脸视频检测器泛化能力的影响.

多级特征全局一致性的伪造人脸检测

目的随着深度伪造技术的快速发展,人脸伪造图像越来越难以鉴别,对人们的日常生活和社会稳定造成了潜在的安全威胁。尽管当前很多方法在域内测试中取得了令人满意的性能表现,但在检测未知伪造类型时效果不佳。鉴于伪造人脸图像的伪造区域和非伪造区域具有不一致的源域特征,提出一种基于多级特征全局一致性的人脸深度伪造检测方法。方法使用人脸结构破除模块加强模型对局部细节和轻微异常信息的关注。采用多级特征融合模块使主干网络不同层级的特征进行交互学习,充分挖掘每个层级特征蕴含的伪造信息。使用全局一致性模块引导模型更好地提取伪造区域的特征表示,最终实现对人脸图像的精确分类。结果在两个数据集上进行实验。在域内实验中,本文方法的各项指标均优于目前先进的检测方法,在高质量和低质量FaceForensics++数据集上,AUC(area under the curve)分别达到99.02%和90.06%。在泛化实验中,本文的多项评价指标相比目前主流的伪造检测方法均占优。此外,消融实验进一步验证了模型的每个模块的有效性。结论本文方法可以较准确地对深度伪造人脸进行检测,具有优越的泛化性能,能够作为应对当前人脸伪造威胁的一种有效检测手段。

基于空域变换和频域功率特征的伪造人脸双重甄别技术

Deepfake等图像处理技术若被不当应用,如伪造人脸,将对个人隐私造成巨大威胁,引发信息安全事故。提出基于空域变换和频域功率特征的伪造人脸双重甄别技术。在空域变换方法中,使用人脸X-ray生成算法,结合HR-net架构,在"无需特定伪造人脸数据集训练"的情况下实现伪造人脸甄别;在频域功率特征方法中,利用二维离散傅里叶变换(DFT)分析伪造图像在高频信息上的缺陷,使用分辨率更强的功率特征信息提升甄别精度,同时弥补HR-net架构训练效率较低的不足。将两种方法相融合,提出序列化数据处理等改进策略,在深度神经网络(DNN)模型下开展验证,模拟测试AUC值最高可达99.69%。