A Survey of GAN-Generated Fake Faces Detection Method Based on Deep Learning

In recent years,with the rapid growth of generative adversarial networks(GANs),a photo-realistic face can be easily generated from a random vector.Moreover,the faces generated by advanced GANs are very realistic.It is reasonable to acknowledge that even a well-trained viewer has difficulties to distinguish artificial from real faces.Therefore,detecting the face generated by GANs is a necessary work.This paper mainly introduces some methods to detect GAN-generated fake faces,and analyzes the advantages and disadvantages of these models based on the network structure and evaluation indexes,and the results obtained in the respective data sets.On this basis,the challenges faced in this field and future research directions are discussed.

基于多尺度transformer的伪造人脸检测方法

考虑到目前大多数伪造人脸分类方法存在分类精度低、泛化能力差的问题,提出一种结合多尺度transformer和卷积块注意力模块的伪造人脸分类方法。多尺度transformer用来学习卷积层所提取特征图的高级语义特征,卷积块注意力模块用来增强此高级语义特征,使其更具有区分性,使用增强后的特征来进行分类。实验结果表明,该方法可以显著提高伪造人脸分类的准确性和泛化能力。

基于双层注意力的Deepfake换脸检测

针对现有Deepfake检测算法中普遍存在的准确率低、可解释性差等问题,提出融合双层注意力的神经网络模型,该模型利用通道注意力捕获假脸的异常特征,并结合空间注意力聚焦异常特征的位置,充分学习假脸异常部分的上下文语义信息,从而提升换脸检测的有效性和准确性。并以热力图的形式有效地展示了真假脸的决策区域,使换脸检测模型具备一定程度的解释性。在FaceForensics++开源数据集上的实验表明,所提方法的检测精度优于MesoInception、Capsule-Forensics和XceptionNet检测方法。

An Overview of Face Manipulation Detection

Due to the power of editing tools,new types of fake faces are being created and synthesized,which has attracted great attention on social media.It is reasonable to acknowledge that one human cannot distinguish whether the face is manipulated from the real faces.Therefore,the detection of face manipulation becomes a critical issue in digital media forensics.This paper provides an overview of recent deep learning detection models for face manipulation.Some public dataset used for face manipulation detection is introduced.On this basis,the challenges for the research and the potential future directions are analyzed and discussed.

说话人生成研究现状与发展趋势

说话人生成是视觉生成领域的热门研究方向,旨在根据输入的多模态信息生成逼真的说话人视频。说话人生成在影视传媒、游戏动漫和互联网相关产业中具有广阔的应用前景,同时也可以为唇读识别、伪造鉴别和数字人生成等任务的研究提供数据支持。现阶段主流的说话人生成方法已经能够实现包含个性化属性、视听同步的说话人视频生成,但还未能达到虚拟现实、人机交互和元宇宙等新兴应用场景的要求。因此,研究说话人生成对于推动相关产业发展具有重要意义。对说话人生成的研究现状进行梳理与总结,首先阐述了说话人生成的研究背景和相关技术,然后根据方法分类介绍了近年来主流的说话人生成方法,整理了相关研究中常用的视听数据集和评价指标,最后总结现有方法存在的问题,分析了说话人生成未来潜在的研究方向。

人脸伪造与检测中的对抗攻防综述

人脸伪造和检测是当前的研究热点。通过人脸伪造方法可以制作虚假人脸图像和视频,一些出于恶意目的而将名人虚假视频在社交网络上广泛传播,不仅侵犯了受害者的声誉,而且造成了不良的社会影响,因此需要开发对应的检测方法用于鉴别虚假视频。近年来,深度学习技术的发展与应用降低了人脸伪造与检测的难度。基于深度学习的人脸伪造方法能生成看起来更加真实的人脸,而基于深度学习的虚假人脸检测方法比传统方法具有更高的准确度。大量研究表明,深度学习模型容易受到对抗样本的影响而导致性能下降。近来在人脸伪造与检测的领域中,出现了一些利用对抗样本进行博弈的工作。原先的博弈模式变得更加复杂,伪造方和检测方在原先方法的基础上,都需要更多考虑对抗安全性。将深度学习方法和对抗样本相结合,是该研究领域未来的趋势。专注于对人脸伪造与检测中的对抗攻防这一领域进行综述。介绍人脸伪造与检测的概念以及目前主流的方法;回顾经典的对抗攻击和防御方法。阐述对抗攻击和防御方法在人脸伪造和检测上的应用,分析目前的研究趋势;总结对抗攻防对人脸伪造和检测带来的挑战,并讨论未来发展方向。

基于CNN-Transformer双流网络的伪脸检测

生成对抗网络(generative adversarial networks,GANs)技术正逐步成为合成图像的主流方法,合成的人脸图像对社会稳定和国家安全具有潜在的风险隐患,因此识别GAN生成的人脸已成为一个重要问题。为解决卷积神经网络(convolutional neural networks,CNN)在训练过程中无法获取图像全局表示的问题,提出了一种CNN-Transformer双流网络检测框架,在最大限度提取局部特征的同时,进一步保留图像的全局信息。首先,在CNN分支流中引入空间注意力和通道注意力,关注图像关键信息并提取局部特征;其次,利用Transformer分支流提取图像的全局信息;最后,中间利用桥接双分支的MixBlock交互模块分别将两者提取的局部特征和全局信息融合在一起。实验结果表明:与现有两种方法相比,本文所提方法在公共伪脸数据集上的分类检测精度分别提升了5.42%和1.95%,并且在后处理的图像上表现出一定的鲁棒性。

“MAD”多注意力网络伪脸显廓系统

更为高级的人工智能换脸技术——局部人脸替换已经被研发、实现,这种技术能够保持原人脸被识别的同时仅仅替换面部某些部位,依然保证替换者的特征被识别。利用局部人脸替换技术进行身份伪造,会严重威胁社会安全和稳定。多注意力网络伪脸显廓系统采用高分辨率网络与多注意力网络相结合的方式,可以检测出目标人脸是否为虚假人脸以及其换脸区域,保证了虚假人脸的检测准确性、局部换脸检测的实用性,解决了局部换脸的虚假人脸伪造身份问题。方案在已有研究的基础上推陈出新,成本相对较低,一定程度上可用于解决人工智能换脸造成的法律问题,具有很好的可行性、实用性。

人脸欺诈检测最新进展及典型方法

以人脸为生物特征的身份认证由于其简单、快捷和无接触,深受用户喜爱。然而,不法分子针对人脸的易于伪造和认证场景的多样性,恶意攻击人脸识别系统,给国家安全和人民生活带来极大危害,有必要深入研究人脸的反欺诈技术。该文收集了经典和代表性论文68篇,其中包括近2年来国际主流期刊和会议的相关论文50余篇,从7大类来梳理近期人脸欺诈检测的技术脉络,把握领域的最新动向。为了使读者洞悉各类的技术精髓,对典型方法进行了重点介绍,并对各类进行了技术小结。在方法介绍结束之后,对2019年以来新推出的6个人脸欺诈检测数据库进行了简要介绍,便于读者对本领域的最新算法开发和验证平台有所了解。结语部分对人脸欺诈检测7类方法之间的关联、在理论和应用上的总体现状、存在的主要问题以及发展的方向作了简单的总结和展望。

Isomap与径向基神经网络在人脸识别系统中的应用

基于非线性降维算法的容特征映射与径向基神经网络的快速性,提出了基于Isom ap与径向基(RBF)神经网络的图像识别方法,降维方法用测地距离取代传统的欧式距离,有助于挖掘高维数据的内在结构,径向基神经网络能够快速模拟对象数据集,识别真假图像。同时该方法结合了频谱分析对初始图像进行预处理,减少了计算量。实验结果表明该方法能快速识别真假图像,提高识别率。

基于卷积痕迹挖掘的GAN生成假脸图片检测

虚假人脸的生成与篡改带来的安全威胁已引起广泛关注。针对目前大部分研究需分别对不同GAN(生成对抗网络)生成的虚假图片训练检测模型,很难提取通用特征检测虚假图片,导致模型泛化能力不足的问题,提出了一种基于虚假图片生成过程中转置卷积层造假痕迹挖掘的GAN生成人脸虚假图片检测模型。首先基于虚假图片像素局部相关性和对比损失函数改进图片特征向量提取框架,再利用粒子群算法改进最大期望算法构成EM-PSO(最大期望-粒子群)算法优化特征向量求解过程,进而获取模型在图片RGB三通道计算得到的特征向量。通过支持向量机和图片特征向量实现虚假图片检测。实验结果表明:在由FFHQ真实人脸数据、StyleGAN和StyleGAN2生成的假脸数据构成的模型训练数据集上,模型检测准确率最高可达94.25%,AUC值可达0.99,模型检测准确率明显优于VGG16模型在此数据集上的检测准确率,由此验证了该模型的有效性。

一种基于特征点对齐的假脸检测框架

近年来,Deepfake等假脸技术的产生颠覆了人们对人脸信息真实性和安全性的认知,引发广泛的社会担忧,检测假脸成为了学术界、产业界共同关注的热点问题。通过一种基于特征点对齐的假脸检测框架,可以有效对Deepfake技术产生的假脸进行判别。该框架制定了一套包括人脸检测、定点、对齐、特征提取、假脸识别等步骤的假脸检测流程,并通过引入特征点对齐保障假脸检测效果。在Deepfake检测挑战赛(DFDC)数据集上的试验表明,该框架适配4种当前主流骨干网络算法都能获得较好的检测结果;在FaceForensics++数据集上的试验表明,该框架适配ResNet50针对几种不同方式生成的假脸图像都可以取得良好效果。

5种流行假脸视频检测网络性能分析和比较

为对抗假脸视频的危害,研究者目前已经提出了多种不同的基于卷积神经网络(convolutional neural networks,CNN)的假脸视频检测器,然而这些检测器所存在的一个共同问题是库内检测通常能达到较高的准确率,但跨库检测时性能出现严重下降,即存在严重的泛化能力不足问题.该文对基于MesoInception-4、MISLnet、ShallowNetV1、Inception-v3、Xception这5种流行网络的假脸视频检测器,在现有3个假脸视频库上进行库内和跨库测试,重点分析数据库的划分方式、数据增广操作以及检测阈值选取这3个因素对假脸视频检测器泛化能力的影响.

基于改进三元组损失的伪造人脸视频检测方法

当前大部分伪造人脸检测技术使用深度学习来鉴别真实视频与伪造视频之间的特征差异,此类方法在未压缩视频上取得了不错的效果,但在检测经过压缩处理的视频时检测效果就会严重下降。针对此类问题,提出了基于改进三元组损失的伪造人脸视频检测方法。首先,使用伪影图生成器生成一幅伪影图来加深伪造人脸与真实人脸之间的特征差异;其次,使用改进的三元组损失来解决难例样本难以被正确检测的问题;最后,选用更适合人脸鉴伪的深度学习网络提取卷积特征。在FaceForensics++数据集上与目前领先的人脸鉴伪方法的对比表明,该方法检测准确率优于对比方法。

一种车脸识别算法的研究与应用

基于车牌识别技术的停车场收费系统存在无牌车无法自动扣费以及套牌车逃费等问题。针对这一问题,需要基于车牌之外的其它特征来对车辆进行自动准确地识别。车脸能够有效表达车辆的特征信息,因此文中提出了一种基于卷积神经网络的车脸识别算法,该算法可以根据车脸图像自动准确地识别车辆,有效解决车辆身份识别中过度依赖于车牌的问题。实验结果表明,该算法的车脸识别准确率可以达到94.23%,明显优于传统的车脸识别算法,证明了该算法的可行性。最后,将车脸识别技术融合进智能停车场收费系统,可以有效地解决无牌车无法自动扣费和套牌车逃费的问题。

人工智能换脸技术带来的社会风险和对策研究

随着人工智能的快速发展,人脸换脸技术日益成熟,然而其广泛应用也伴随着潜在的社会风险。本研究着重探讨人工智能换脸技术在侵犯个体肖像权、隐私泄露、传播虚假信息等方面带来的风险。同时,提出应对策略,包括强化公众意识、加强政府监管、制定相关法规以及建设有效的防护系统。通过全面了解并规避这些风险,有望更好地引导人工智能技术的应用,维护社会稳定和公共安全。

面向轻量级深度伪造检测的无数据模型压缩

目的尽管现有的深度伪造检测方法已在各大公开数据集上展现出了极佳的真伪鉴别性能,但考虑到运行过程中耗费的巨大内存占用和计算成本,如何实现此类模型的在线部署仍是一个具有挑战性的任务。对此,本文尝试利用无数据量化的方法开发轻量级的深度伪造检测器。方法在保证准确率损失较少的前提下,对提前训练好的高精度深度伪造检测模型进行压缩处理,不再使用32 bit浮点数表示模型的权重参数与激活值,而是将其全部转化为低位宽的整型数值。此外,由于人脸数据涉及隐私保护问题,本文中所有的量化操作都是基于无数据场景完成的,即利用合成数据作为校准集来获取正确的激活值范围。这些数据经过不断优化迭代,完美匹配了存储在预训练模型各批归一化层中的统计信息,与原始训练数据具备非常相似的分布特征。结果在两个经典的人脸伪造数据集Face Forensics++和Celeb-DF v2上,4种预先训练好的深度伪造检测模型Res Net50、Xception、EfficientNet-b3和MobileNetV2经过所提方法的量化压缩处理后,均能保持甚至超越原有的性能指标。即使当模型的权重和激活值被压缩为6 bit时,所得轻量级模型的最低检测准确率也能达到81%。结论通过充分利用蕴含在深度伪造检测预训练模型中的有价值信息,本文提出了一种基于无数据模型压缩的轻量级人脸伪造检测器,该检测器能够准确高效地识别出可疑人脸样本的真实性,与此同时,检测所需的资源和时间成本大幅降低。

数字媒体取证技术综述

面对每天有数以百万计通过网络传播的多媒体数据,到底哪些内容是真实可信的,虚假内容的背后又经历了哪些篡改?数字取证技术将给出答案。该技术不预先嵌入水印,而是直接分析多媒体数据的内容,达到辨别真实性的目的。任何篡改和伪造都会在一定程度上破坏原始多媒体数据本身固有特征的完整性,由于其具有一致性和独特性,可作为自身的"固有指纹",用于鉴别篡改文件。随着篡改媒体的数量与日俱增,社会稳定甚至国家安全受到了严重威胁。特别地,随着深度学习技术的快速发展,虚假媒体与真实媒体之间的感官差距越来越小,这对媒体取证研究提出了巨大挑战,并使得多媒体取证成为信息安全领域一个重要的研究方向。因此,目前迫切需要能够检测虚假多媒体内容和避免危险虚假信息传播的技术和工具。本文旨在对过去多媒体取证领域所提出的优秀检测取证算法进行总结。除了回顾传统的媒体取证方法,还将介绍基于深度学习的方法。本文针对当今主流的多媒体篡改对象:图像、视频和语音分别进行总结,并针对每种媒体形式,分别介绍传统篡改方法和基于AI(artificial intelligence)生成的篡改方法,并介绍了已公开的大规模数据集以及相关应用的情况,同时探讨了多媒体取证领域未来可能的发展方向。

多级特征全局一致性的伪造人脸检测

目的随着深度伪造技术的快速发展,人脸伪造图像越来越难以鉴别,对人们的日常生活和社会稳定造成了潜在的安全威胁。尽管当前很多方法在域内测试中取得了令人满意的性能表现,但在检测未知伪造类型时效果不佳。鉴于伪造人脸图像的伪造区域和非伪造区域具有不一致的源域特征,提出一种基于多级特征全局一致性的人脸深度伪造检测方法。方法使用人脸结构破除模块加强模型对局部细节和轻微异常信息的关注。采用多级特征融合模块使主干网络不同层级的特征进行交互学习,充分挖掘每个层级特征蕴含的伪造信息。使用全局一致性模块引导模型更好地提取伪造区域的特征表示,最终实现对人脸图像的精确分类。结果在两个数据集上进行实验。在域内实验中,本文方法的各项指标均优于目前先进的检测方法,在高质量和低质量FaceForensics++数据集上,AUC(area under the curve)分别达到99.02%和90.06%。在泛化实验中,本文的多项评价指标相比目前主流的伪造检测方法均占优。此外,消融实验进一步验证了模型的每个模块的有效性。结论本文方法可以较准确地对深度伪造人脸进行检测,具有优越的泛化性能,能够作为应对当前人脸伪造威胁的一种有效检测手段。

故宫博物院藏文徵明画扇真伪简析

现故宫博物院藏有文徵明扇画33件,几乎涵盖了文氏擅长的各个题材。这些扇画大部分是解放之后通过购入等形式入藏故宫博物院的,其中包含了真伪两部分作品。在本文中,作者按照绘画题材和题跋款署对这些扇画进行了真赝比较与图像分析,并结合传统书画释文鉴定方法,分辨真伪,希望藉此掌握文徵明扇画的鉴定规律和方法。