基于噪声破坏和波形重建的声纹对抗样本防御方法

语音是人类最重要的交流方式之一。语音信号中除了文本内容外,还包含了说话人的身份、种族、年龄、性别和情感等丰富的信息,其中说话人身份的识别也被称为声纹识别,是一种生物特征识别技术。声纹具有获取方便、容易保存、使用简单等特点,而深度学习技术的进步也极大地促进了识别准确率的提升,因此,声纹识别已被应用于智慧金融、智能家居、语音助手和司法调查等领域。另一方面,针对深度学习模型的对抗样本攻击受到了广泛关注,在输入信号中添加不可感知的微小扰动即可导致模型预测结果错误。对抗样本的出现对基于深度学习的声纹识别也将造成巨大的安全威胁。现有声纹对抗样本防御方法会不同程度地影响正常样本的识别,并且局限于特定的攻击方法或识别模型,鲁棒性较差。为了使对抗防御能够兼顾纠正错误输出和准确识别正常样本两个方面,本文提出一种“破坏+重建”的两阶段对抗样本防御方法。第一阶段,在对抗样本中添加具有一定信噪比幅度限制的高斯白噪声,破坏对抗扰动的结构进而消除样本的对抗性。第二阶段,利用提出的名为SCAT-Wave-U-Net的语音增强模型重建原始语音样本,通过在Wave-U-Net模型结构中引入Transformer全局多头自注意力和层间交叉注意力机制,使改进后的模型更有助于防御声纹对抗样本攻击。实验表明,提出的防御方法不依赖于特定声纹识别系统和对抗样本攻击方式,在两种典型的声纹识别系统下对多种类型对抗样本攻击的防御效果均优于其他预处理防御方法。

基于深度学习的对抗样本防御方法研究

受对抗样本自身可迁移属性的影响,传统对抗样本防御方法的防御效果存在不稳定的情况,为此,提出基于深度学习的对抗样本防御方法。文章借助深度学习算法,构建了对抗样本伊辛模型,设置模型的初始状态为神经网络的输入数据,采用自旋状态表示每一个神经元值与对抗样本伊辛模型的格点,并利用神经网络中卷积运算的特征,消解势场中预先给定的外部磁化作用,以最大限减少低对抗样本伊辛模型在能量作用下的局部自旋问题。在对抗样本防御阶段,利用对抗样本伊辛模型的通道相关性,生成重要性掩码对通道的激活进行调整,并结合对抗样本伊辛模型通道梯度累积值的实际情况设置了差异化的重要性掩码生成函数。在应用测试过程中,为验证防御效果,在快速梯度下降法(Fast Gradient Sign Method,FGSM)、Deepfool、C&W(Carlini and Wagner)攻击算法、投影梯度下降(Projected Gradient Descent,PFD)、集成对抗检测器(Energy-Aware Data-centric,EAD)共5种对抗策略下设计了对抗样本防御方法,对比不同对抗样本防御方法的性能,发现文章提出的基于深度学习的对抗样本防御方法的曲线下的面积(Area Under the Curve,AUC)值稳定在0.95以上,说明对抗样本防御方法具有较好的防御性能。

基于条件对抗生成网络的对抗样本防御方法

人工智能目前在诸多领域均得到较好应用,然而通过对抗样本会使神经网络模型输出错误的分类。研究提升神经网络模型鲁棒性的同时如何兼顾算法运行效率,对于深度学习在现实中的落地使用意义重大。针对上述问题,本文提出一种基于条件对抗生成网络的对抗样本防御方法Defense-CGAN。首先使用对抗生成网络生成器根据输入噪声与标签信息生成重构图像,然后计算重构前后图像均方误差,对比选取重构图像馈送到分类器进行分类从而去除对抗性扰动,实现对抗样本防御,最后,在MNIST数据集上进行大量实验。实验结果表明本文提出的防御方法更加具备通用性,能够防御多种对抗攻击,且时间消耗低,可应用于对时间要求极其苛刻的实际场景中。

基于冗余信息压缩的深度学习对抗样本防御方案

近年来,研究者们发现基于神经网络的深度学习系统存在安全隐患,添加了细微扰动的输入样本,可能会使模型失效,这类样本被称为对抗样本。文章提出了冗余信息压缩方案,可以有效地抵御对抗样本攻击。该方案将图像随机压缩与多尺寸缩放集成策略相结合,对图像信息进行选择性压缩处理,有效减少冗余信息,消除了附加扰动。方案的优势体现在三个方面:(1)针对预处理环节,易于实施;(2)实现了随机化和集成策略;(3)与其他对抗样本防御方法兼容。实验结果表明,面对多种先进的对抗样本攻击,与其他预处理防御方案相比,冗余信息压缩防御方案在多个基础模型上都有更出色的防御表现,同时对模型在干净图像上的分类能力影响较小。

基于多维特征图知识蒸馏的对抗样本防御方法

计算机视觉领域倾向使用深度神经网络完成识别任务,但对抗样本会导致网络决策异常。为了防御对抗样本,主流的方法是对模型进行对抗训练。对抗训练存在算力高、训练耗时长的缺点,其应用场景受限。提出一种基于知识蒸馏的对抗样本防御方法,将大型数据集学习到的防御经验复用到新的分类任务中。在蒸馏过程中,教师模型和学生模型结构一致,利用模型特征图向量作为媒介进行经验传递,并只使用干净样本训练。使用多维度特征图强化语义信息的表达,并且提出一种基于特征图的注意力机制,将特征依据重要程度赋予权重,增强蒸馏效果。所提算法在Cifar100、Cifar10等开源数据集上进行实验,使用FGSM(fast gradient sign method)、PGD(project gradient descent)、C&W(Carlini-Wagner attack)等算法进行白盒攻击,测试实验效果。所提方法在Cifar10干净样本的准确率超过对抗训练,接近模型在干净样本正常训练的准确率。在L2距离的PGD攻击下,所提方法效果接近对抗训练,显著高于正常训练。而且其学习成本小,即使添加注意力机制和多维度特征图等优化方案,算力需求依然远小于对抗训练,是一种轻量级的对抗防御方法。知识蒸馏作为一种神经网络学习方案,不仅能够学习正常样本的决策经验,而且可以提取鲁棒性特征。使用少量数据生成准确而鲁棒的模型,可以提高泛化能力,减少对抗训练带来的成本。

基于对抗样本防御的人脸安全识别方法

本文使用一个像素攻击法和通用扰动生成攻击法生成对抗数据集,通过人脸识别模型对对抗数据集进行微调训练,使其对一个像素攻击法生成的对抗样本具有较高的正确识别能力和对通用扰动生成的对抗样本的具有完全正确的识别能力,实现人脸安全识别。

电磁信号对抗样本攻击与防御发展研究

以深度学习为代表的智能化技术在提升电磁频谱控制与利用系统性能水平的同时,也暴露出其脆弱性,催生出一批以对抗样本为代表的智能电磁攻防技术。随着智能化的快速应用和发展,该领域势必成为电磁频谱竞争的又一个“制高点”。首次尝试着明确了电磁对抗样本攻防的概念内涵,为规范后续的关键技术研究和具体应用提供参考。分析了智能模型脆弱性机理,认为智能模型脆弱性与可解释性存在一定的关系,将专家知识嵌入到模型学习中是下一步改善模型鲁棒性的研究方向。系统梳理了电磁信号对抗样本攻击和对抗样本防御的研究脉络,总结了通用对抗样本领域的共性研究规律,可以直接为电磁信号对抗样本研究提供借鉴。通过总结电磁信号对抗样本的研究规律,提炼出电磁信号对抗样本特有的问题。在此基础上,结合团队近年在该领域的研究积累,提出下一步的发展趋势,对抗攻击下一步的研究趋势是适应跨模型、跨任务的场景,应更加注重领域知识的应用,目标是要对抗多源综合的传感器体系;对抗防御的研究趋势是寻找鲁棒性与泛化性的权衡,通过利用信号处理知识优化处理流程,提高模型的对抗防御性能。同时关注鲁棒性评估,这可能是下一代智能化系统可靠性评估的关键技术之一。

基于空洞卷积的对抗样本防御技术

深度神经网络容易受到对抗性样本的欺骗,攻击者将人眼难以察觉的扰动添加至原始图像中,会导致原本表现良好的网络模型输出错误的分类。为此,提出一种基于空洞卷积的对抗样本防御技术,通过高效的搜索算法得到空洞卷积层结构,使用残差密集块依次对图像特征进行压缩,并对低维特征进行图像重建,最终得到扰动滤除后的重建图像。该技术可作为预处理过程添加至已存在的图像分类任务中。在MNIST(Modified National Institute of Standards and Technology)和CIFAR(Canadian Institutes for Advanced Research)-10上的实验表明,提出的防御网络对多种先进的对抗样本攻击均有较好的防御性能,可以显著提高基分类器的抗攻击能力。

基于生成对抗网络的对抗样本集成防御

针对现有对抗样本防御方法防御能力不足、时间消耗过高等问题,参考生成对抗网络与集成学习在对抗样本研究中的优势,本文提出一种基于生成对抗网络的对抗样本集成防御方法。该方法使用生成对抗网络训练多个能够消除对抗样本表面对抗扰动的生成器,使用集成学习方法将多个生成器进行集成作为最终的防御。该方法的生成对抗网络由生成器和判别器组成。生成器以对抗样本作为输入,其目的是消除对抗样本表面的对抗扰动;判别器以良性样本与消除对抗扰动后的样本作为输入,其目的是区分输入的样本;生成器与判别器交替训练,当判别器无法对输入的样本做出区分时,生成器达到最佳状态。集成防御使用平均法作为集成策略,通过平均多个生成器的防御结果,取长补短,提升单个防御的能力;通过预训练生成器来降低防御的时间消耗,通过集成多个生成器来提升单个生成器的防御能力。分别在MNIST数据集与CIFAR10数据集上,用本文的集成防御方法与其他防御方法对常见的对抗样本进行防御,以分类准确率作为评价防御能力的指标,并记录防御的时间消耗。实验结果表明,本文方法能以较低的时间消耗防御多种对抗样本,并且防御能力比已有的防御方法更好。

基于自适应像素去噪的对抗攻击防御方法

针对深度神经网络容易遭到对抗样本攻击导致其分类错误的问题,提出一种基于自适应像素去噪的对抗攻击防御方法。通过基于前向导数的重要性计算方法获得像素重要性分数,根据像素重要性分数对多种对抗攻击进行鲁棒性分析,将其分为鲁棒或非鲁棒攻击,制定针对不同对抗攻击的降噪策略;按照降噪策略分别对重要性分数不同的图像像素进行自适应形态学降噪获得像素去噪图像;使用像素重要性分数、像素去噪图像等信息训练自适应像素去噪模型学习上述去噪过程,进行对抗防御。实验结果表明,该防御能在多个数据集与模型上快速且有效地防御各种对抗攻击,确保原始样本的精确分类。

面向图像数据的对抗样本检测与防御技术综述

对抗样本是当前深度学习神经网络研究的热点问题.目前,对抗样本技术的研究主要分为2方面:生成攻击、检测防御.在总结对抗样本生成攻击技术的基础上,面向图像数据的对抗样本检测与防御技术综述从对抗样本的检测与防御的角度对面向图像数据的对抗样本防御技术进行了总结.综述从特征学习、分布统计、输入解离、对抗训练、知识迁移及降噪6个方面将检测与防御技术进行归类,介绍检测与防御技术的演进,分析其特点、性能,对比不同技术的优缺点,给出了检测效果和防御效果的综合评价.最后对当前该领域的研究情况进行了总结与展望.

面向语音识别系统的对抗样本攻击及防御综述

自动语音识别系统(ASR)能将输入语音转换为对应的文本,其性能因深度学习技术的发展得到了显著提高.然而,通过在输入语音中添加微小扰动而生成的对抗样本,可以使人类毫无察觉的同时让ASR系统产生不可预测的,甚至是攻击性的指令.这种新型的对抗样本攻击给基于深度学习的ASR系统带来了诸多安全隐患.本文对语音对抗样本作了系统性的分析和梳理,提出了对现有对抗样本的分类.其次介绍了面向ASR系统的对抗样本生成方法.同时,阐述了典型的对抗样本防御策略.最后讨论了对抗样本带来的挑战,并分别就如何使生成的攻击更加逼真,和增强ASR的鲁棒性提出了若干有价值的研究方向.

深度神经网络的对抗样本攻击与防御综述

近年来,以深度神经网络为代表的人工智能技术已经在很多应用领域取得了巨大的成功,并且逐渐改变了人们的生产和生活方式,但是其安全性和鲁棒性问题也引起了人们的广泛关注.而对抗样本的攻击与防御已经成为了该领域里最重要的一个研究方向,两者之间的军事对抗一直在不断的演进.文章首先为对抗样本攻击进行整理和归纳;然后,从硬件部署计算的角度对现有的对抗样本防御方法进行了梳理;最后,指出了未来若干个值得关注的研究方向.

面向云环境的对抗样本攻防仿真验证平台

随着云计算技术在计算、存储和负载等方面的日趋完善,近年来大量智能化应用实施“上云”部署。这些系统在提升智能化水平的同时,也带来了一系列新的安全问题。研究表明,攻击者在攻击基于深度学习的智能应用时,可以绕过传统的防火墙杀毒软件,直接利用修改的数据诱导深度模型产生误判,这种以攻击为目的的输入称为对抗样本。为了对这种攻击手段开展更深入的研究,基于云计算环境搭建了一套对抗样本攻防仿真验证平台。该平台集成了攻击模块、防御模块、主干网络模块和测试评估模块,安全人员可以通过选择不同的模块,对自研的攻击方法、防御方法以及骨干网络进行对抗测试,通过评估模块验证对抗样本攻击的有效性。选取公共数据集ImageNet对各个模块进行了测试,获得了稳定的测试性能,可以作为安全测评基线。

基于滤波插值图像压缩的对抗样本发放与方法

对抗样本防御技术是深度学习安全研究的重要一环。当前,对抗样本防御技术研究具有滞后性,只能针对对抗样本生成技术被动地改进,且往往需要根据具体的模型进行大量的训练,成本高、灵活性差。针对这些问题,提出一种基于滤波插值图像压缩的对抗样本防御方法(de la Vallée Poussin Filtered Interpolation for Image Compression, VPC),采用预处理的方式进行对抗样本防御,方法分为两个模块:压缩与重构模块。两个模块通过采样切比雪夫节点,利用滤波插值多项式进行图像压缩与重构。该方法无需训练,能够使深度神经网络(Deep Neural Network, DNN)在干净样本集上保持高准确率,在典型的对抗样本集上拥有较强的防御效果,且能够与任何DNN模型相结合,具有较高的灵活性。