AI换脸技术焦虑的生成机制:基于SEM和fsQCA的实证分析

[目的/意义]以AI换脸技术所引发的用户焦虑为切入点,基于社会生态系统理论构建了AI换脸技术焦虑生成机制研究模型,为推动人工智能技术普及提供思路。[研究设计/方法]采用结构方程模型分析(SEM)和模糊集定性比较分析(fsQCA)结合的方法,对500份网络问卷数据进行分析,检验了神经质、个人创新性和负面口碑对AI换脸技术焦虑的影响机制。[结论/发现] SEM结果证实了神经质和负面口碑正向影响AI换脸技术焦虑,但个人创新性则对AI换脸技术焦虑无显著影响,且仅有感知侵入性在两条路径中发挥中介作用;fsQCA结果显示,侵入敏感型和侵入脱敏型两类构型会触发AI换脸技术焦虑的生成。[创新/价值]突破既有用户认知及能力不足引发技术焦虑的研究思路,聚焦于用户对人工智能技术的心理感知要素,验证了微观因素和中观因素对于AI换脸技术焦虑的作用。

基于脸的治理及其转向:从刺脸、刷脸到非法AI换脸--兼论数智时代人的数字化问题

脸是人与人交往不可或缺的界面,因其不可遮蔽而被赋予了社会性,成为治理场域和治理工具。在人类历史发展过程中,随着社会权利的扩散和科学技术的发展,脸的社会化、市场化和数字化相继出现。在农业社会,基于血缘的脸是社会秩序建构的要素,历史上众多王朝将“刺脸”这种耻辱刑作为统治工具,以实现教育与惩罚功能。在工业社会,声光技术的发展促使脸实现了市场化,脸成为商品并产生交换价值,肖像权问题随之产生。随着数字社会来临,“刷脸”成为新的社会治理方式。“刺脸”和“刷脸”都是“基于脸的治理”,其中,“刺脸”具有残暴性,其基础是王朝权力;“刷脸”治理突破了公私权力的边界,不仅政府将其作为治理工具,企业、社会组织、社区都利用“刷脸”来进行管理。“刷脸”场景泛化致使隐私泄密,个人的脸被别人“控制”和使用,一些企业还利用“刷脸”来牟利。随着人工智能技术的发展,深度伪造已经冲击了人类感知的极限,非法AI换脸技术带来了诸多反社会功能。一方面,利用非法AI换脸进行诈骗、传播色情,生成不雅视频损害他人声誉,既破坏了生活原则,又违背了社会道德;另一方面,利用非法AI换脸传播虚假新闻、影响司法公正和重大选举结果,破坏政治秩序、社会秩序乃至国际秩序,引发社会混乱。目前,非法AI换脸带来的侵害已经渗透到了政治、经济、文化和社会生活之中,放任非法AI换脸可能导致虚假信息生态系统的形成,进而削弱社会信用的根基。“对于脸的治理”成为不可忽视的社会问题。从社会治理层面看,之所以要禁止非法AI换脸,一方面是因为它使行动者丧失主体性,给社会带来不可遏制的“恶”,引发系统的监管冲击;另一方面,它会导致部分人误用智能技术,从而损害人工智能的声誉。我国的传统文化十分重视人的脸面,失去面子是对尊严最大的损害,在文化意义上,禁止非法AI换脸非常重要。

一种增强的3D人脸替换方法

针对3D人脸重建方法在贴图时忽视对纹理处理的设计,仅进行仿射变换和插值,其中仿射变换会导致其生成图像的高频分量遭到损坏,尤其是给出嘴部姿态不同的源、目标人像时,会造成人像的嘴部纹理缺失,而插值方法会造成灰度不连续现象;提出一种增强的3D人脸替换方法,称为基于生成-重建的人脸替换(generative reconstructed face swap,GRFS)。GRFS将对抗生成网络应用于对3D人脸替换结果的纹理修复,包括两个子网络:嘴部修复网络(mouth restoration network,MRN)以及局部修复生成网络(generative local restoration network,GLRN)。MRN用于修复人像的嘴部细节,GLRN用于修复3D人脸重建过程中损坏的高频分量,并使得异常的不连续灰度变得光滑。实验结果表明,GRFS可以在给定单对源、目标人像的情况下生成逼真的人脸替换结果,且在不同实验环境下的表现好于主流人脸替换算法。

基于多通道注意力机制的人脸替换鉴别

基于深度学习的人脸替换技术取得快速发展,但由DeepFake自动生成的人脸替换图片有可能危害人们的隐私安全。针对DeepFake图片鉴别问题,建立一种基于多通道注意力机制的深度学习鉴别网络模型。将Xception网络作为基础特征提取器,在多通道注意力模块中通过矩阵相乘的思想融合全局和局部的注意力表示,以减少重要信息损失。设计损失函数时添加中心损失,从而提高特征区分度。在训练过程中利用注意力图来引导训练图像的裁剪和去除,以达到数据增强的目的。实验结果表明,相比Xception、B4Att方法,在FaceForensics++数据集上该网络模型对DeepFake的检测精度分别提高0.77和0.45个百分点,在Celeb-DF数据集上分别提高5.30和4.68个百分点。

深度伪造生成和检测技术综述

近年来兴起的深度伪造技术能够高度逼真地模拟和伪造音视频内容,并得到了广泛的良性和恶意应用.针对深度伪造的生成和检测,国内外专家学者进行了深入研究,并提出了相应的生成和检测方案.对现有的基于深度学习的音视频深度伪造生成技术、检测技术、数据集以及未来研究方向进行了全面的概述和详细分析,这些工作将有助于相关人员对深度伪造的理解和对恶意深度伪造防御检测的研究.

基于双层注意力的Deepfake换脸检测

针对现有Deepfake检测算法中普遍存在的准确率低、可解释性差等问题,提出融合双层注意力的神经网络模型,该模型利用通道注意力捕获假脸的异常特征,并结合空间注意力聚焦异常特征的位置,充分学习假脸异常部分的上下文语义信息,从而提升换脸检测的有效性和准确性。并以热力图的形式有效地展示了真假脸的决策区域,使换脸检测模型具备一定程度的解释性。在FaceForensics++开源数据集上的实验表明,所提方法的检测精度优于MesoInception、Capsule-Forensics和XceptionNet检测方法。

融合多级属性与注意力机制的人脸替换方法

针对当前人脸替换方法仅利用目标图像的姿势和表情指导换脸过程中常常忽略背景、光照等其他属性,同时生成的替换人脸与目标图像的融合效果较差的问题,提出一种融合多级属性和注意力机制的人脸替换方法.在提取目标图像属性阶段,基于U-Net结构设计一种多级属性编码器,采用多层次级联的卷积块和反卷积块以及层间连接准确、全面地提取目标图像的表情与背景属性,保留更多细节信息;在生成替换人脸阶段,设计一种结合注意力机制的生成器,利用注意力模型权重自适应地调整源人脸特征和目标属性集成的有效区域,使生成器生成更加符合视觉机制的替换人脸.在FaceForensics++图像集上的实验结果表明,与DeepFaceLab方法相比,该方法所生成的替换人脸与目标图像的结构相似度提高了6.73%,头部姿势差异和面部表情差异分别降低了1.026和0.491.该方法不仅更好地保留了源人脸特征信息,还更大程度地忠实于目标图像属性,达到了良好的替换效果.

基于Star-Gan的人脸互换算法

基于深度学习的人脸互换算法会因背景人脸环境的明亮程度、人脸表情、姿势等因素影响换脸效果,现阶段的人脸互换模型存在固有的弊端。采用Patch-Gan(Generative Adversarial Networks)的判别器结构能通过全卷积网络增强人脸局部一致性的效果。生成器将U-net结构的编码器的特征输出作为输入,能考虑多层信息细节。整体模型架构采用Star-Gan的模型,引入实例归一化层能保证图像的独立性。最后在Face-Forensics++人脸互换数据集上进行验证,结果表明,融合的模型有较好的生成效果和细节。

基于真实感三维头重建的人脸替换

传统的人脸替换技术需要输入的源图像中的人脸与待替换的目标图像中的人脸姿态相似,这限制了人脸替换技术的应用。该文提出一种基于特定三维头模型重建的人脸替换技术。首先,利用替换者的2张正交图像(1张正面图像和1张侧面图像)进行三维头重建。整个三维头重建过程分为人脸图像配准、特征点匹配、标准三维头形变和纹理贴图4个部分。形变部分利用了径向基函数对标准三维头进行形变以获得最终的特定三维头模型。通过建立替换者的真实感三维头模型,渲染出与任意目标图像姿态相一致的人脸图像。为了让渲染后的人脸图像与目标图像进行无缝纹理融合,还进行了色彩传递和基于多分辨率技术的边界融合。用此方法可将故事书中的任意角色替换成用户,以此提供个性化的图书。

人脸伪造及检测技术综述

人脸伪造技术的恶意使用,不仅损害公民的肖像权和名誉权,而且会危害国家政治和经济安全。因此,针对伪造人脸图像和视频的检测技术研究具有重要的现实意义和实践价值。本文在总结人脸伪造和伪造人脸检测的关键技术与研究进展的基础上,分析现有伪造和检测技术的局限。在人脸伪造方面,主要包括利用生成对抗技术的全新人脸生成技术和基于现有人脸的人脸编辑技术,介绍生成对抗网络在人脸图像生成的发展进程,重点介绍人脸编辑技术中的人脸交换技术和人脸重现技术,从网络结构、通用性和生成效果真实性等角度对现有的研究进展进行深入阐述。在伪造人脸检测方面,根据媒体载体的差异,分为伪造人脸图像检测和伪造人脸视频检测,首先介绍利用统计分布差异、拼接残留痕迹和局部瑕疵等特征的伪造人脸图像检测技术,然后根据提取伪造特征的差异,将伪造人脸视频检测技术分为基于帧间信息、帧内信息和生理信号的伪造视频检测技术,并从特征提取方式、网络结构设计特点和使用场景类型等方面进行详细阐述。最后,分析了当前人脸伪造技术和伪造人脸检测技术的不足,提出可行的改进意见,并对未来发展方向进行展望。

多关键帧特征交互的人脸篡改视频检测

目的深度伪造是新兴的一种使用深度学习手段对图像和视频进行篡改的技术,其中针对人脸视频进行的篡改对社会和个人有着巨大的威胁。目前,利用时序或多帧信息的检测方法仍处于初级研究阶段,同时现有工作往往忽视了从视频中提取帧的方式对检测的意义和效率的问题。针对人脸交换篡改视频提出了一个在多个关键帧中进行帧上特征提取与帧间交互的高效检测框架。方法从视频流直接提取一定数量的关键帧,避免了帧间解码的过程;使用卷积神经网络将样本中单帧人脸图像映射到统一的特征空间;利用多层基于自注意力机制的编码单元与线性和非线性的变换,使得每帧特征能够聚合其他帧的信息进行学习与更新,并提取篡改帧图像在特征空间中的异常信息;使用额外的指示器聚合全局信息,作出最终的检测判决。结果所提框架在FaceForensics++的3个人脸交换数据集上的检测准确率均达到96.79%以上;在Celeb-DF数据集的识别准确率达到了99.61%。在检测耗时上的对比实验也证实了使用关键帧作为样本对检测效率的提升以及本文所提检测框架的高效性。结论本文所提出的针对人脸交换篡改视频的检测框架通过提取关键帧减少视频级检测中的计算成本和时间消耗,使用卷积神经网络将每帧的人脸图像映射到特征空间,并利用基于自注意力的帧间交互学习机制,使得每帧特征之间可以相互关注,学习到有判别性的信息,使得检测结果更加准确,整体检测过程更高效。

利用卷积神经网络和小面元进行人脸图像替换

提出了一种基于卷积神经网络和小面元的人脸替换方法。首先,使用级联卷积神经网络确定人脸位置,并应用全卷积网络对人脸进行分割以确定替换区域;然后,应用回归森林的人脸关键点技术和Delaunay三角剖分建立人脸三角网,对人脸小面元进行替换;最后,应用泊松融合消除拼接痕迹。定性和定量的试验结果表明,该方法是有效的,并且可较好地解决人脸姿态一致性限制和人脸遮挡的问题。

可视身份深度伪造与检测

随着深度学习技术在视频和图像生成领域的广泛应用,视频和图像中的可视身份伪造,特别是人脸伪造结果的逼真程度越来越高,对于身份伪造数据的检测在国家安全和社会稳定等方面均具有重要的研究和应用价值,近年来已成为研究的热点问题.本文从有目标身份伪造和无目标身份伪造两个方面归纳和介绍了可视身份深度伪造的研究方法,并从基于空域线索、时域线索的面向已知伪造类型检测方法、面向未知伪造类型的泛化能力研究,以及面向对抗样本攻击的可信伪造检测研究等多个方面阐述了伪造检测的关键技术,并在总结现有数据集和代表性算法的性能分析基础上,进一步讨论了可视身份深度伪造与检测的关键问题和面临的挑战.