人脸视频深度伪造与防御技术综述

近年来,得益于深度生成模型的发展,人脸的操控技术取得了巨大突破,以Deepfake为代表的人脸视频深度伪造技术在互联网快速流行,受到了学术界和工业界的广泛重视。这种深度伪造技术通过交换原始人脸和目标人脸的身份信息或编辑目标人脸的属性信息来合成虚假的人脸视频。人脸深度伪造技术激发了很多相关的娱乐应用,如使用面部替换技术将使用者的人脸替换到某段电影片段中,或使用表情重演技术来驱动某个著名人物的静态肖像等。但当前人脸深度伪造技术仍处于快速发展阶段,其生成的真实感和自然度仍有待进一步提升。另一方面,这类人脸深度伪造技术也很容易被不法分子恶意使用,用来制作色情电影、虚假新闻,甚至被用于政要人物来制造政治谣言等,这对国家安全与社会稳定都带来了极大的潜在威胁,因此伪造人脸视频的防御技术至关重要。为了降低深度伪造人脸视频所带来的负面影响,众多学者对伪造人脸视频的检测鉴别技术进行了深入研究,并从不同视角提出了一系列防御方法。然而由于数据集分布形式单一、评价标准不一致、主动性不足等问题,使得防御技术在走向实用的道路上仍有很长一段距离。事实上,人脸深度伪造与防御技术的研究仍旧处在发展期,其技术的内涵与外延正在快速的更新与迭代。本综述将对迄今为止的主要研究工作进行科学系统的总结与归纳,并对现有技术的局限性做简要分析。最后,本文将探讨人脸深度伪造与检测技术的潜在挑战与发展方向,为领域内未来的研究工作提供借鉴。

基于区块链存证的Deepfake内容监管技术研究

随着人工智能技术的发展,基于深度学习的深度伪造技术日趋成熟,通过多媒体篡改工具可以对视频中的人脸进行随意的篡改,并且几乎无法被肉眼察觉。深度伪造人脸视频成为互联网内容监管中不可或缺的重要部分。以短视频社交平台为应用场景,提出了一种基于区块链存证技术的深度伪造人脸视频内容监管方法。方法针对实际场景中图像内容质量差异的特点设计出一种线性混合的检测方法,在边缘端采用基于轻量级微调神经网络的分类器架构,结合服务器端采取频谱特征进行分类。解决了传统独立检测方法面对数亿级短视频内容的上传与发布过程中检测效率与准确率之间难以平衡的问题。上述方法针对视频文件大且大量转发导致的数据冗余问题,采用超级账本与IPFS相结合的数据存储方式,可以对深度伪造人脸视频内容进行快速精准的追溯并对用户行为进行评价。实验结果表明,所提方法在两个公共深度伪造人脸视频数据集(DeepfakeDetection、Celeb-DF)中都表现出较好的效果,并且在针对内容监管平台的性能测试中表现较好。