基于增量学习的深度人脸伪造检测

【目的】随着计算机视觉、计算机图形学以及深度学习技术的发展,深度人脸伪造(DeepFake)技术取得了以假乱真的效果,若被非法利用,将给个人、社会和国家带来严重的安全隐患。已有的人脸伪造检测方法大多通过一次训练来推断或预测伪造人脸存在的某种特定“指纹”进行真伪检测,当面对新的伪造类型时,这些方法使用全部数据重新训练网络以保持其检测能力,否则检测效果将急剧下降。然而,重新训练网络需要相对大的代价,并且阻碍了模型实时学习新知识的能力。鉴于此,本文提出一种检测伪造人脸的增量学习方法。【方法】引入动态可扩展的增量学习框架,以保证模型在吸收新知识的同时能保留对旧知识的记忆;使用多分类指导二分类的方式来提高模型的分类能力,最终实现对人脸图像的精确分类。【结果】在两个公开数据集上进行实验。在实验定义的FF++扩充集和ForgeryNet扩充集上,本文方法能同时保持在新旧任务上的人脸伪造检测性能;在实验定义的ForgeryNet扩充集上,现有的人脸伪造检测方法达到了近98.33%的平均ACC(accuracy),本文方法达到了96.16%的平均ACC,但前者使用了超出后者接近3倍的存储和计算资源;将实验定义的ForgeryNet扩充集的后5个任务视为新任务,每个任务下每个类别仅包含100张训练数据,现有方法在该5个任务上达到了近88.72%的平均ACC,本文方法达到了93.83%的平均ACC。【局限】为了保持正负样本的平衡,训练时需要成对的训练样本,这引入了不必要的训练数据,增加了训练负担。【结论】本文提出的人脸伪造检测方法通过增量学习的方式提高了模型对检测不断出现的伪造样本的有效性。实验结果表明,本文方法能以较低的计算代价,达到与现有方法相当的检测能力;在训练数据匮乏的情况下,达到比现有方法更优的伪造检测能力。

结合纹理和多注意力机制的深度人脸伪造检测

提出一种结合纹理和多注意力机制的高效检测方法来解决深度人脸伪造问题.首先,引入图像分解技术提取图像的纹理部分.其次,利用注意力机制对纹理进行增强.最后,设计了一个多注意力模块,使网络关注更重要的区域.本方法在多个数据集上可以达到99%的检测准确率.

深度人脸伪造与检测技术综述

由于现有深度人脸伪造软件通常是开源的或者被封装为APP免费分发,导致了虚假视频的泛滥。因此开展针对深度人脸伪造检测技术的研究就显得尤为重要。目前,深度人脸伪造及检测技术正处在快速发展时期,各种相应的算法也在不断更新迭代。本文首先介绍了深度人脸伪造和其检测技术的代表性算法并给出简要分析,其中深度人脸伪造技术包括身份替换、面部重演、属性编辑、人脸生成等,检测技术包括图像级伪造检测技术和视频级伪造检测技术。然后归纳总结了常用的深度人脸伪造与检测数据集及不同算法的评估结果,最后讨论了伪造技术及其检测技术目前面临的主要问题及发展方向。

基于Transformer的人脸深度伪造检测技术综述

人脸深度伪造检测旨在对人脸图像和视频进行真伪鉴别,能为肖像权保护、虚假消息鉴定、网络诈骗防范等提供理论和技术支撑。早期的检测技术主要基于卷积神经网络(Convolutional Neural Networks,CNNs)实现,并取得了显著的效果,但普遍存在泛化性能不足的问题。为了进一步提高人脸深度伪造检测技术的泛化性,最新的研究工作开始引入一种基于自我注意力机制的深度神经网络Transformer,其具有长距离依赖建模能力和全局感受野,可用于捕捉到图像上下文关联和视频时序关系,有效提高了检测器的表征能力。本综述首先简要介绍了该领域研究背景,阐述了人脸深度伪造生成典型技术,然后对现有基于Transformer的检测技术进行总结和归纳,最后探讨人脸深度伪造检测技术面临的挑战和未来研究方向。

深度伪造人脸检测技术发展综述

近年来,使用深度伪造人脸的视频进行欺诈、虚假身份认证等事件频出,给维护社会安定和保障个人权益带来了巨大的挑战。因此,对视频中的深度伪造人脸检测技术成为一个备受关注的新兴技术领域。基于此,结合中国专利全文数据库(CNTXT)中2019—2023年间申请的涉及视频中深度伪造人脸检测技术的专利文献,分析视频中深度伪造人脸检测技术的最新研究进展及发展方向,为后续视频中深度伪造人脸检测技术的研发、专利申请或专利分析等提供依据。

人脸视频深度伪造与防御技术综述

近年来,得益于深度生成模型的发展,人脸的操控技术取得了巨大突破,以Deepfake为代表的人脸视频深度伪造技术在互联网快速流行,受到了学术界和工业界的广泛重视。这种深度伪造技术通过交换原始人脸和目标人脸的身份信息或编辑目标人脸的属性信息来合成虚假的人脸视频。人脸深度伪造技术激发了很多相关的娱乐应用,如使用面部替换技术将使用者的人脸替换到某段电影片段中,或使用表情重演技术来驱动某个著名人物的静态肖像等。但当前人脸深度伪造技术仍处于快速发展阶段,其生成的真实感和自然度仍有待进一步提升。另一方面,这类人脸深度伪造技术也很容易被不法分子恶意使用,用来制作色情电影、虚假新闻,甚至被用于政要人物来制造政治谣言等,这对国家安全与社会稳定都带来了极大的潜在威胁,因此伪造人脸视频的防御技术至关重要。为了降低深度伪造人脸视频所带来的负面影响,众多学者对伪造人脸视频的检测鉴别技术进行了深入研究,并从不同视角提出了一系列防御方法。然而由于数据集分布形式单一、评价标准不一致、主动性不足等问题,使得防御技术在走向实用的道路上仍有很长一段距离。事实上,人脸深度伪造与防御技术的研究仍旧处在发展期,其技术的内涵与外延正在快速的更新与迭代。本综述将对迄今为止的主要研究工作进行科学系统的总结与归纳,并对现有技术的局限性做简要分析。最后,本文将探讨人脸深度伪造与检测技术的潜在挑战与发展方向,为领域内未来的研究工作提供借鉴。

面向AIGC对抗的人脸深度伪造检测方法研究

深度学习的发展使得AI深度伪造技术日臻完善,特别是AIGC技术利用海量数据训练后生成的伪造人脸真假难辨,对个人隐私和社会安全构成了潜在威胁。人脸伪造是AI深度伪造的一个重要分支,分析人脸深度伪造的有关原理和检测方法,有助于应对人脸深度伪造所带来的负面影响。本文主要从深度伪造生成人脸及其检测两个方向进行了相关研究,全面地分析当前人脸伪造生成的方法和检测的方法,对于进行AIGC对抗以及人工智能安全保护具有指导意义。

人脸深度伪造主动防御技术综述

深度生成模型的飞速发展推动了人脸深度伪造技术的进步,以Deepfake为代表的深度伪造模型也得到了十分广泛的应用。深度伪造技术可以对人脸图像或视频进行有目的的操纵,一方面,这种技术广泛应用于电影特效、娱乐场景中,丰富了人们的娱乐生活,促进了互联网多媒体的传播;另一方面,深度伪造也应用于一些可能造成不良影响的场景,给公民的名誉权、肖像权造成了危害,同时也给国家安全和社会稳定带来了极大的威胁,因此对深度伪造防御技术的研究日益迫切。现有的防御技术主要分为被动检测和主动防御,而被动检测的方式无法消除伪造人脸在广泛传播中造成的影响,难以做到“事前防御”,因此主动防御的思想得到了研究人员的广泛关注。然而,目前学术界有关深度伪造防御的综述主要关注基于检测的被动式防御方法,几乎没有以深度伪造主动防御技术为重点的综述。基于此,本文对当前学术界提出的人脸深度伪造主动防御技术进行梳理、总结和讨论。首先阐述了深度伪造主动防御的提出背景和主要思想,并对现有的人脸深度伪造主动防御算法进行汇总和归类,然后对各类主动防御算法的技术原理、性能、优缺点等进行了系统性的总结,同时介绍了研究常用的数据集和评估方法,最后对深度伪造主动防御所面临的技术挑战进行了分析,对其未来的发展方向展开了思考和讨论。

基于区块链存证的Deepfake内容监管技术研究

随着人工智能技术的发展,基于深度学习的深度伪造技术日趋成熟,通过多媒体篡改工具可以对视频中的人脸进行随意的篡改,并且几乎无法被肉眼察觉。深度伪造人脸视频成为互联网内容监管中不可或缺的重要部分。以短视频社交平台为应用场景,提出了一种基于区块链存证技术的深度伪造人脸视频内容监管方法。方法针对实际场景中图像内容质量差异的特点设计出一种线性混合的检测方法,在边缘端采用基于轻量级微调神经网络的分类器架构,结合服务器端采取频谱特征进行分类。解决了传统独立检测方法面对数亿级短视频内容的上传与发布过程中检测效率与准确率之间难以平衡的问题。上述方法针对视频文件大且大量转发导致的数据冗余问题,采用超级账本与IPFS相结合的数据存储方式,可以对深度伪造人脸视频内容进行快速精准的追溯并对用户行为进行评价。实验结果表明,所提方法在两个公共深度伪造人脸视频数据集(DeepfakeDetection、Celeb-DF)中都表现出较好的效果,并且在针对内容监管平台的性能测试中表现较好。

局部相似度异常的强泛化性伪造人脸检测

目的人脸伪造技术迅猛发展,对社会信息安全构成了严重威胁,亟需强泛化性伪造人脸检测算法抵抗多种多样的伪造模型。目前的研究发现伪造算法普遍包含人脸与背景融合的操作,这意味着任何伪造方式都难以避免在人脸边缘遗留下伪造痕迹。根据这一发现,本文将模型的学习目标从特定的伪造痕迹特征转化为更加普适的人脸图像局部相似度特征,并提出了局部相似度异常的深度伪造人脸检测算法。方法首先提出了局部相似度预测(local similarity predicator,LSP)模块,通过一组局部相似度预测器分别计算RGB图像中间层特征图的局部异常,同时,为了捕捉频域中的真伪线索,还提出了可学习的空域富模型卷积金字塔(spatial rich model convolutional pyramid,SRMCP)来提取多尺度的高频噪声特征。结果在多个数据集上进行了大量实验。在泛化性方面,本文以ResNet18为骨干网络的模型在FF++4个子集上的跨库检测精度分别以0.77%、5.59%、6.11%和4.28%的优势超越了对比方法。在图像压缩鲁棒性方面,在3种不同压缩效果下,分别以2.48%、4.83%和10.10%的优势超越了对比方法。结论本文方法能够大幅度提升轻量型卷积神经网络的检测性能,相比于绝大部分工作都取得了更优异的泛化性和鲁棒性效果。