深度伪造人脸视频检测技术综述

近年来,随着短视频平台的兴起,各种自媒体的出现,网络上的视频数据增长迅速。深度伪造的视频的传播给网络安全带来了严峻的挑战。深度伪造技术被滥用的同时也提醒了学术界,使得学术界关于研究和探索基于深度神经网络和人工智能技术的图像视频数据生成技术,逐步转向针对人像伪造的图像和视频数据的检测技术的研究和探索中。基于此,首先介绍了深度伪造检测的相关方面的技术如自编码器、生成对抗网络及其衍生技术,以及依托这些技术进行伪造的工具以及开源项目,同时也回顾了深度伪造与检测技术的发展;其次介绍了主流的深度伪造检测数据集,回顾了深度伪造检测技术的发展,并对现有的工作进行了总结和归类;最后分析并且总结了深度伪造技术对于个人生活以及社会影响的两面性,归纳并指出目前的深度伪造检测方法存在的局限性,根据其局限性讨论了深度伪造检测未来可能的研究方向,旨在为后续的研究者进一步推动深度伪造检测技术的发展指出方向。

基于增强Swin Transformer的深度伪造人脸检测

针对传统卷积神经网络感受野的大小受限和特征交互学习能力弱,基于卷积神经网络的伪造人脸检测技术提取到的特征相对单一的问题,提出了基于增强Swin Transformer的深度伪造人脸检测方法,引入了局部多头自注意力和全局多头自注意力机制,结合了Swin Transformer的优势,能够有效地捕获图像上下文信息和视频时序关系,具有较强的全局感受野和长距离依赖建模能力。在DFDC数据集的实验结果表明,该方法优于基线方法,具有较好的深度伪造人脸检测能力。

结合深度伪造特征对比的人脸伪造检测

随着AIGC(Artificial Intelligence-Generated Content)技术的不断发展,其伪造技术的多样性对现有检测方法发起巨大的挑战.现有大部分的检测方法是基于各种先进的卷积神经网络提取的人脸伪造特征进行检测,泛化能力不足以解决未知方法伪造的图像鉴伪.因此文中提出结合深度伪造特征对比的人脸伪造检测方法,对未知的伪造技术具有较好的适应能力.方法分为两个阶段:一方面挖掘不同伪造手段的相似特征,提出基于元学习的相似特征融合网络,利用元学习的学习能力获取不同伪造手法之间的相似性特征;另一方面结合具体任务下的独特伪造特征,提出具体任务下的独特性微调方法,提高模型对未知伪造方法的适应能力.在跨伪造手法和跨库测试上实验表明文中方法性能有所提升,在面对未知手段攻击时具有较优的检测能力.

人脸视频伪造检测技术进展与趋势

伪造与伪造检测之间作为动态的攻防关系,一方的进步会促使另一方进行技术上的迭代和升级。然而,随着AIGC技术的快速发展,逼真的伪造人脸视频可以欺骗人类视觉感知,人脸视频伪造检测技术已经落后于人脸视频伪造技术,伪造检测技术难以适应复杂的伪造场景,导致视频内容安全防护受到了重大挑战。因此,对于人脸视频伪造数据的检测,在国家和社会安全等方面具有重要的研究和应用价值,近年来已成为亟待研究的热点问题。在此背景下,通过探索评测基准客观量化、基准数据动态更新、应对新型伪造检测、伪造检测自主进化等方面的技术攻关,可以为人脸视频防伪领域提供新视角和发展方向,促进防伪检测技术的进一步发展。

人脸视频深度伪造检测方法综述

深度伪造(deepfake)技术的非法应用会对社会稳定、个人名誉甚至国家安全造成恶劣影响,因此针对人脸视频的深度伪造检测成为计算机视觉领域中的难点与研究热点。目前该领域的研究建立在传统人脸识别与图像分类技术基础上,通过搭建深度学习网络判别真伪,但存在数据集质量不一、多模态特征如何有效结合、模型泛化能力较差等问题。为进一步促进深度伪造检测技术的发展,对当前各类人脸视频深度伪造算法进行了全面总结,并对已有算法进行了归类、分析、比较。首先,主要介绍人脸视频深度伪造检测数据集;其次,对近三年主要的伪造视频检测方法进行总结,以特征选择为切入点,从空间特征、时空融合特征、生物特征的角度对各项检测技术进行分类整理,并对基于水印与区块链等非主流检测方法进行介绍;然后,从特征选择、迁移学习、模型设计与训练思路等方面介绍了各类检测方法所呈现出的主流趋势;最后,对全文进行总结并对未来技术发展进行展望。

深度人脸伪造视频检测研究综述

对目前人脸伪造视频检测技术进行了总结,分析了相关技术的特点和面临的挑战以及未来发展趋势。首先,总结了目前人脸伪造视频检测发展现状;然后,根据检测依据不同,将人脸伪造视频检测技术分为基于传统图像取证、基于生物特征和基于深度学习等3种方法;最后,在对各种检测方法的特点和不足进行分析后,进一步讨论了目前人脸伪造视频检测技术所面临的主要问题和难点,指出了未来的发展趋势。

深度伪造人脸检测技术发展综述

近年来,使用深度伪造人脸的视频进行欺诈、虚假身份认证等事件频出,给维护社会安定和保障个人权益带来了巨大的挑战。因此,对视频中的深度伪造人脸检测技术成为一个备受关注的新兴技术领域。基于此,结合中国专利全文数据库(CNTXT)中2019—2023年间申请的涉及视频中深度伪造人脸检测技术的专利文献,分析视频中深度伪造人脸检测技术的最新研究进展及发展方向,为后续视频中深度伪造人脸检测技术的研发、专利申请或专利分析等提供依据。

基于Transformer的人脸深度伪造检测技术综述

人脸深度伪造检测旨在对人脸图像和视频进行真伪鉴别,能为肖像权保护、虚假消息鉴定、网络诈骗防范等提供理论和技术支撑。早期的检测技术主要基于卷积神经网络(Convolutional Neural Networks,CNNs)实现,并取得了显著的效果,但普遍存在泛化性能不足的问题。为了进一步提高人脸深度伪造检测技术的泛化性,最新的研究工作开始引入一种基于自我注意力机制的深度神经网络Transformer,其具有长距离依赖建模能力和全局感受野,可用于捕捉到图像上下文关联和视频时序关系,有效提高了检测器的表征能力。本综述首先简要介绍了该领域研究背景,阐述了人脸深度伪造生成典型技术,然后对现有基于Transformer的检测技术进行总结和归纳,最后探讨人脸深度伪造检测技术面临的挑战和未来研究方向。

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。

基于注意力机制和一致性损失的深度伪造人脸检测方法

为解决目前深度仿造检测方法对于跨数据集的检测性能难以提高的问题,提出基于注意力机制和一致性损失相结合的深度伪造人脸检测方法(method based on attention mechanism and consistency loss,MAMCL)。采用多注意力机制,迫使网络捕捉到更细微的局部异常。采用基于注意力机制的擦除方式,鼓励模型深入挖掘之前忽略的区域。设计一致性模块获取伪造图像中普遍存在的不一致细节特征,并应用一致性损失引导模型更加关注伪造细节。在面部取证++(FaceForensics++,FF++)数据集上进行实验,准确率达到96.38%,受试者工作特征曲线(receiver operating characteristic curve,ROC)的曲线下面积达到99.34%,在泛化性能测试中也取得了良好的效果。通过消融实验,证明了每个模块的有效性。结果表明,提出的检测方法能够较为准确地检测深度伪造人脸,且具有良好的泛化性能,可以作为应对当前人脸伪造威胁的有效检测手段。

基于增量学习的深度人脸伪造检测

【目的】随着计算机视觉、计算机图形学以及深度学习技术的发展,深度人脸伪造(DeepFake)技术取得了以假乱真的效果,若被非法利用,将给个人、社会和国家带来严重的安全隐患。已有的人脸伪造检测方法大多通过一次训练来推断或预测伪造人脸存在的某种特定“指纹”进行真伪检测,当面对新的伪造类型时,这些方法使用全部数据重新训练网络以保持其检测能力,否则检测效果将急剧下降。然而,重新训练网络需要相对大的代价,并且阻碍了模型实时学习新知识的能力。鉴于此,本文提出一种检测伪造人脸的增量学习方法。【方法】引入动态可扩展的增量学习框架,以保证模型在吸收新知识的同时能保留对旧知识的记忆;使用多分类指导二分类的方式来提高模型的分类能力,最终实现对人脸图像的精确分类。【结果】在两个公开数据集上进行实验。在实验定义的FF++扩充集和ForgeryNet扩充集上,本文方法能同时保持在新旧任务上的人脸伪造检测性能;在实验定义的ForgeryNet扩充集上,现有的人脸伪造检测方法达到了近98.33%的平均ACC(accuracy),本文方法达到了96.16%的平均ACC,但前者使用了超出后者接近3倍的存储和计算资源;将实验定义的ForgeryNet扩充集的后5个任务视为新任务,每个任务下每个类别仅包含100张训练数据,现有方法在该5个任务上达到了近88.72%的平均ACC,本文方法达到了93.83%的平均ACC。【局限】为了保持正负样本的平衡,训练时需要成对的训练样本,这引入了不必要的训练数据,增加了训练负担。【结论】本文提出的人脸伪造检测方法通过增量学习的方式提高了模型对检测不断出现的伪造样本的有效性。实验结果表明,本文方法能以较低的计算代价,达到与现有方法相当的检测能力;在训练数据匮乏的情况下,达到比现有方法更优的伪造检测能力。

基于帧内关系建模的人脸深度伪造视频帧间检测模型

互联网在给人们带来便利的同时,也带来了信息安全隐患。现有的深度伪造检测技术大多单独应用帧内或帧间检测方法,少有二者结合的做法。基于此,提出集合帧内关系与帧间比对的方法,利用FaceForensic++数据集、Retina Face人脸检测模型和ResNet34模型,搭建一种基于帧内关系建模的人脸深度伪造视频帧间检测模型。

人脸伪造与检测中的对抗攻防综述

人脸伪造和检测是当前的研究热点。通过人脸伪造方法可以制作虚假人脸图像和视频,一些出于恶意目的而将名人虚假视频在社交网络上广泛传播,不仅侵犯了受害者的声誉,而且造成了不良的社会影响,因此需要开发对应的检测方法用于鉴别虚假视频。近年来,深度学习技术的发展与应用降低了人脸伪造与检测的难度。基于深度学习的人脸伪造方法能生成看起来更加真实的人脸,而基于深度学习的虚假人脸检测方法比传统方法具有更高的准确度。大量研究表明,深度学习模型容易受到对抗样本的影响而导致性能下降。近来在人脸伪造与检测的领域中,出现了一些利用对抗样本进行博弈的工作。原先的博弈模式变得更加复杂,伪造方和检测方在原先方法的基础上,都需要更多考虑对抗安全性。将深度学习方法和对抗样本相结合,是该研究领域未来的趋势。专注于对人脸伪造与检测中的对抗攻防这一领域进行综述。介绍人脸伪造与检测的概念以及目前主流的方法;回顾经典的对抗攻击和防御方法。阐述对抗攻击和防御方法在人脸伪造和检测上的应用,分析目前的研究趋势;总结对抗攻防对人脸伪造和检测带来的挑战,并讨论未来发展方向。

人脸深度伪造检测综述

近年来,视频媒体随着移动互联网的普及发展迅猛,与此同时人脸伪造技术也随着计算机视觉的发展取得了很大的进步.诚然人脸伪造可以用来制作有趣的短视频应用,但由于其易生成、生成用时短、逼真度高等特性,其恶意使用对社会稳定和信息安全产生了极大威胁,如何检测互联网中的人脸伪造视频成为亟待解决的问题.在国内外学者的努力下,伪造检测在近些年也取得了很大的突破,因此旨在对现有的伪造检测方法进行详细的梳理和总结.特别地,首先介绍伪造检测数据集,然后从伪造视频的痕迹、神经网络结构、视频时序信息、人脸身份信息、检测算法泛化性等方面对现有的方法进行归纳和总结,并对相应方法的检测结果进行对比和分析,最后对深度伪造检测的研究现状进行总结,并展望其面临的挑战和发展趋势,为相关研究工作提供借鉴.

基于超分辨率重建的强压缩深度伪造视频检测

经典的深度伪造(DeepFake)视频检测方法一般使用卷积神经网络进行检测,但在强压缩深度伪造换脸视频数据集上表现较差,并会对真实数据做出大量误检测。针对这个问题,该文提出一种基于超分辨率重建的强压缩深度伪造视频检测方法。该方法基于深度神经网络检测模型,通过融入超分辨率重建技术,恢复强压缩视频所损失的空间与时间信息,进而提升对强压缩视频的检测准确率。使用FaceForensics++及DFDC数据集进行实验,针对强压缩的深度伪造视频,该方法较ResNet50提高了单帧以及视频的测试准确率,有效缓解强压缩真实视频的误检测问题。

多模态深度伪造及检测技术综述

随着各种深度学习生成模型在各领域的应用,生成的多媒体文件的真伪越来越难以辨别,深度伪造技术也因此得以诞生和发展.深度伪造技术通过深度学习相关技术能够篡改视频或者图片中的人脸身份信息、表情和肢体动作,以及生成特定人物的虚假语音.自2018年Deepfakes技术在社交网络上掀起换脸热潮开始,大量的深度伪造方法被提出,并展现了其在教育、娱乐等领域的潜在应用.但同时深度伪造技术在社会舆论、司法刑侦等方面产生的负面影响也不容忽视.因此有越来越多的对抗手段被提出用于防止深度伪造被不法分子所应用,如深度伪造的检测和水印.首先,针对不同模态类型的深度伪造技术以及相应的检测技术进行了回顾和总结,并根据研究目的和研究方法对现有的研究进行了分析和归类;其次,总结了近年研究中广泛使用的视频和音频数据集;最后,探讨了该领域未来发展面临的机遇和挑战.

人脸视频深度伪造与防御技术综述

近年来,得益于深度生成模型的发展,人脸的操控技术取得了巨大突破,以Deepfake为代表的人脸视频深度伪造技术在互联网快速流行,受到了学术界和工业界的广泛重视。这种深度伪造技术通过交换原始人脸和目标人脸的身份信息或编辑目标人脸的属性信息来合成虚假的人脸视频。人脸深度伪造技术激发了很多相关的娱乐应用,如使用面部替换技术将使用者的人脸替换到某段电影片段中,或使用表情重演技术来驱动某个著名人物的静态肖像等。但当前人脸深度伪造技术仍处于快速发展阶段,其生成的真实感和自然度仍有待进一步提升。另一方面,这类人脸深度伪造技术也很容易被不法分子恶意使用,用来制作色情电影、虚假新闻,甚至被用于政要人物来制造政治谣言等,这对国家安全与社会稳定都带来了极大的潜在威胁,因此伪造人脸视频的防御技术至关重要。为了降低深度伪造人脸视频所带来的负面影响,众多学者对伪造人脸视频的检测鉴别技术进行了深入研究,并从不同视角提出了一系列防御方法。然而由于数据集分布形式单一、评价标准不一致、主动性不足等问题,使得防御技术在走向实用的道路上仍有很长一段距离。事实上,人脸深度伪造与防御技术的研究仍旧处在发展期,其技术的内涵与外延正在快速的更新与迭代。本综述将对迄今为止的主要研究工作进行科学系统的总结与归纳,并对现有技术的局限性做简要分析。最后,本文将探讨人脸深度伪造与检测技术的潜在挑战与发展方向,为领域内未来的研究工作提供借鉴。

融合全局时序和局部空间特征的伪造人脸视频检测方法

近年来,深度学习在人工智能领域表现出优异的性能。基于深度学习的人脸生成和操纵技术已经能够合成逼真的伪造人脸视频,也被称作深度伪造,让人眼难辨真假。然而,这些伪造人脸视频可能会给社会带来巨大的潜在威胁,比如被用来制作政治虚假新闻,从而引发政治暴力或干扰正常选举等。因此,亟需研发对应的检测方法来主动发现伪造人脸视频。现有的方法在制作伪造人脸视频时,容易在空间上和时序上留下一些细微的伪造痕迹,比如纹理和颜色上的扭曲或脸部的闪烁等。主流的检测方法同样采用深度学习,可以被划分为两类,即基于视频帧的方法和基于视频片段的方法。前者采用卷积神经网络(Convolutional Neural Network,CNN)发现单个视频帧中的空间伪造痕迹,后者则结合循环神经网络(Recurrent Neural Network,RNN)捕捉视频帧之间的时序伪造痕迹。这些方法都是基于图像的全局信息进行决策,然而伪造痕迹一般存在于五官的局部区域。因而本文提出了一个统一的伪造人脸视频检测框架,利用全局时序特征和局部空间特征发现伪造人脸视频。该框架由图像特征提取模块、全局时序特征分类模块和局部空间特征分类模块组成。在FaceForensics++数据集上的实验结果表明,本文所提出的方法比之前的方法具有更好的检测效果。

全局视野多层次特征增强的人脸伪造检测方法

针对现有的深度伪造检测方法的偏重于局部伪造纹理信息以及对于未知伪造类型人脸泛化性检测精度低的问题,提出了一种基于全局视野的多层次检测网络,利用多头注意力机制聚合空域中Query的像素级别强度以及梯度信息生成Key和Value,使得网络在空域中构建长距离依赖关系便于获取全局伪造信息,并结合多层次特征增强策略对检测网络不同层次之间的提取伪造特征进行增强,用于提升网络的空间感知局部伪造信息能力。实验结果表明在数据集内和跨伪造类型数据集上均有较高的ACC和AUC测试得分,消融研究验证了模型各个子模块的有效性。

结合纹理和多注意力机制的深度人脸伪造检测

提出一种结合纹理和多注意力机制的高效检测方法来解决深度人脸伪造问题.首先,引入图像分解技术提取图像的纹理部分.其次,利用注意力机制对纹理进行增强.最后,设计了一个多注意力模块,使网络关注更重要的区域.本方法在多个数据集上可以达到99%的检测准确率.