基于数据增强的集成滤波对抗防御方法

深度神经网络(Deep neural networks,DNNs)具有强大的表达能力,能够从海量异构数据中学习到高层次和抽象的表示,然而DNNs在应用中易受到对抗样本攻击,从而给DNNs的应用带来严重的安全威胁。针对现有防御方法只适用于特定攻击算法以及需要大量的原始对抗样本等问题,本文提出一种基于数据增强的集成对抗防御方法。首先通过数据增强方法来扩充对抗样本的数据量和多样性,以解决需要大量对抗样本的弊端;其次集成多种图像滤波方法,对对抗样本进行输入变换,实现防御效果具有通用性。实验以MNIST,CIFAR-10数据集为基础,实验结果证明了方法的有效性。

基于可攻击空间假设的陷阱式集成对抗防御网络

如今,深度神经网络在各个领域取得了广泛的应用.然而研究表明,深度神经网络容易受到对抗样本的攻击,严重威胁着深度神经网络的应用和发展.现有的对抗防御方法大多需要以牺牲部分原始分类精度为代价,且强依赖于已有生成的对抗样本所提供的信息,无法兼顾防御的效力与效率.因此基于流形学习,从特征空间的角度提出可攻击空间对抗样本成因假设,并据此提出一种陷阱式集成对抗防御网络Trap-Net. Trap-Net在原始模型的基础上向训练数据添加陷阱类数据,使用陷阱式平滑损失函数建立目标数据类别与陷阱数据类别间的诱导关系以生成陷阱式网络.针对原始分类精度损失问题,利用集成学习的方式集成多个陷阱式网络以在不损失原始分类精度的同时,扩大陷阱类标签于特征空间所定义的靶标可攻击空间.最终, Trap-Net通过探测输入数据是否命中靶标可攻击空间以判断数据是否为对抗样本.基于MNIST、K-MNIST、F-MNIST、CIFAR-10和CIFAR-100数据集的实验表明, Trap-Net可在不损失干净样本分类精确度的同时具有很强的对抗样本防御泛化性,且实验结果验证可攻击空间对抗成因假设.在低扰动的白盒攻击场景中, Trap-Net对对抗样本的探测率高达85%以上.在高扰动的白盒攻击和黑盒攻击场景中, Trap-Net对对抗样本的探测率几乎高达100%.与其他探测式对抗防御方法相比, Trap-Net对白盒和黑盒对抗攻击皆有很强的防御效力.为对抗环境下深度神经网络提供一种高效的鲁棒性优化方法.

基于时空交并比约束的目标跟踪对抗防御方法

随着深度学习在视觉跟踪领域的广泛应用,对抗攻击逐渐成为影响方法性能的关键因素之一,然而针对对抗攻击的防御方法研究还处于初始阶段.因此,文中提出基于时空交并比约束的目标跟踪对抗防御方法.首先,在对抗样本上随机添加高斯噪声约束.然后,根据噪声等高线的切线方向,选择噪声等级相同且时空交并比分数最高的切线约束.通过其法线约束使防御目标向原始图像的方向更新,并将法线约束和切线约束进行正交组合优化.最后,经过不断迭代,选择具有最高时空交并比分数且噪声等级最低的组合向量作为最佳约束,添至对抗样本图像中,同时传递给下一帧图像,从而实现时序防御.在VOT2018、OTB100、GOT-10k、LaSOT跟踪数据集上的实验验证文中方法的有效性.

基于动量增强特征图的对抗防御算法

深度神经网络(DNN)因其优异的性能而被广泛应用,但易受对抗样本攻击的问题使其面临巨大的安全风险。通过对DNN的卷积过程进行可视化,发现随着卷积层数加深,对抗攻击对原始输入产生的扰动愈加明显。基于这一发现,采用动量法中前向结果修正后向结果的思想,该文提出一种基于动量增强特征图的防御算法(MEF)。MEF算法在DNN的卷积层上部署特征增强层构成特征增强块(FEB),FEB会结合原始输入以及浅层卷积层的特征图生成特征增强图,进而利用特征增强图来增强深层的特征图。同时,为了保证每层特征增强图的有效性,增强后的特征图还会对特征增强图进行进一步更新。为验证MEF算法的有效性,使用多种白盒与黑盒攻击对部署MEF算法的DNN模型进行攻击实验,结果表明在投影梯度下降法(PGD)以及快速梯度符号法(FGSM)的攻击实验中,MEF算法对对抗样本的识别精度比对抗训练(AT)高出3%~5%,且对干净样本的识别精度也有所提升。此外,使用比训练时更强的对抗攻击方法进行测试时,与目前先进的噪声注入算法(PNI)以及特征扰动算法(L2P)相比,MEF算法表现出更强的鲁棒性。

基于GAN实现环境声音分类的组合对抗防御

虽然深度神经网络可以有效改善环境声音分类(ESC)性能,但对对抗样本攻击依然具有脆弱性。已有对抗防御方法通常只对特定攻击有效,无法适应白盒、黑盒等不同攻击场景。为提高ESC模型在各种场景下对各种攻击的防御能力,该文提出一种结合对抗检测、对抗训练和判别性特征学习的ESC组合对抗防御方法。该方法使用对抗样本检测器(AED)对输入ESC模型的样本进行检测,基于生成对抗网络(GAN)同时对AED和ESC模型进行对抗训练,其中,AED作为GAN的判别器使用。同时,该方法将判别性损失函数引入ESC模型的对抗训练中,以驱使模型学习到的样本特征类内更加紧凑、类间更加远离,进一步提升模型的对抗鲁棒性。在两个典型ESC数据集,以及白盒、自适应白盒、黑盒攻击设置下,针对多种模型开展了防御对比实验。实验结果表明,该方法基于GAN实现多种防御方法的组合,可以有效提升ESC模型防御对抗样本攻击的能力,对应的ESC准确率比其他方法对应的ESC准确率提升超过10%。同时,实验验证了所提方法的有效性不是由混淆梯度引起的。

基于softmax激活变换的对抗防御方法

深度学习广泛应用于图像处理、自然语言处理、网络挖掘等各个领域并取得良好效果,但其容易受到对抗攻击、存在安全漏洞的问题引起广泛关注。目前已有一些有效的防御方法,包括对抗训练、数据变化、模型增强等方法。但是,依然存在一些问题,如提前已知攻击方法与对抗样本才能实现有效防御、面向黑盒攻击的防御能力差、以牺牲部分正常样本的处理性能为代价、防御性能无法验证等。因此,提出可验证的、对抗样本不依赖的防御方法是关键。提出了softmax激活变换防御(SAT,softmax activation transformation),这是一种针对黑盒攻击的轻量级的快速防御。SAT不参与模型的训练,在推理阶段对目标模型的输出概率进行隐私保护加固并重新激活,通过softmax激活变换与深度模型防御的连接定义,证明通过softmax函数的变换后能实现概率信息的隐私保护从而防御黑盒攻击。SAT的实现不依赖对抗攻击方法与对抗样本,不仅避免了制作大量对抗样本的负担,也实现了攻击的事前防御。通过理论证明SAT的激活具有单调性,从而保证其防御过程中正常样本的识别准确率。在激活过程中,提出可变的softmax激活函数变换系数保护策略,在给定范围内随机选择隐私保护变换系数实现动态防御。最重要的一点,SAT是一种可验证的防御,能够基于概率信息隐私保护和softmax激活变换推导其防御的有效性和可靠性。为了评估SAT的有效性,在MNIST、CIFAR10和ImageNet数据集上进行了针对9种黑盒攻击的防御实验,令所有攻击方法的平均攻击成功率从87.06%降低为5.94%,与多种先进黑盒攻击防御方法比较,验证了所提方法可以达到最优防御性能。

网络空间对抗防御中的智能监测技术研究

网络空间数据流观测与威胁行为分析是国家网络空间安全防御中的重要方向。为应对国家网络空间大规模数据流观测和不断涌现的网络威胁对抗防御重大需求,针对传统基于时域、依赖先验知识的网络数据流威胁监测方法存在分析效率低、准确率低、误报率高等不足,在调研分析现有网络流智能检测技术和提取公开科学问题的基础上,借鉴电磁世界频谱、光谱理论,围绕“域变换”“谱推导”总体解决思路,提出网络空间流谱基础理论,给出流谱、变换空间的定义及网络流特征矩阵、流谱变换的数学表示,从可分离性、表征性出发给出了面向流谱变换的指标评估体系,基于网络流数据进行了基本可行性分析,初步验证流谱理论在网络威胁表征的可行性,以期从新的视角和对抗性思维理解认识网络空间和网络防御问题,为同行提供借鉴参考。

图对抗防御研究进展

图神经网络(GNN)在多个领域的复杂任务中已经得到成功的应用,但研究表明其易受到对抗攻击而导致性能严重下降,这种脆弱性影响了包含节点分类、链路预测和社团探测在内的所有应用。图对抗攻击已经可以高效地实施,这带来了严重的安全隐患和隐私问题,图对抗防御致力于提高GNN的鲁棒性和泛化能力以抵御对抗攻击。综述了图对抗防御算法研究进展,首先,介绍了图对抗防御的背景和相关概念,并对图对抗防御研究发展脉络进行梳理和分析。然后,根据防御算法的不同防御策略将算法分为四类,包括攻击检测、对抗训练、可认证鲁棒性以及免疫防御,对每类防御算法原理进行分析总结。在此基础上,分析了每种防御算法的原理和实现,并从防御策略、目标任务、优缺点和实验数据等方面对典型算法进行全面的比较。最后,通过对现有图对抗防御算法全面、系统的分析,对防御算法当前存在的问题及未来发展方向进行了总结和探讨,为图对抗防御进一步的发展提供帮助。

深度学习中的对抗防御算法研究

深度学习神经网络(DNN)容易受到对抗性示例的攻击,对抗性示例可由无法察觉的干扰产生。目前已经提出了一系列防御技术,以提高DNN对此类示例攻击的鲁棒性,其中对抗训练已被证明是最有效的。对抗训练通常被公式化为最小—最大优化问题,其内在最大化可用于生成对抗示例。但是,存在一个简单但容易被忽略的事实,即对抗性示例仅在正确分类的正常示例中定义,但某些正常示例在训练过程中会被误分类,并且会被忽略。在本文中,研究了被误分类的示例和被正确分类的示例在对抗训练中对DNN模型最终鲁棒性的独特影响。具体来说,发现被误分类示例确实对DNN最终的鲁棒性有重大影响,对误分类的示例,使用不同的最大化技术对DNN最终鲁棒性的影响可以忽略不计,而不同的最小化技术则至关重要。基于以上发现,提出了一种新颖的对抗防御算法(novel adversarial defense algorithm,NADA),该算法可明确区分训练过程中被误分类的示例和被正确分类的示例。实验结果表明,NADA可以显着提高DNN模型的鲁棒性。

基于特征变换的图像检索对抗防御

对抗攻击在图像分类中较早被研究,目的是产生可以误导神经网络预测的不可察觉的扰动。最近,图像检索中的对抗攻击也被广泛探索,研究结果表明最先进的基于深度神经网络的图像检索模型同样容易受到干扰,从而将不相关的图像返回。文中首次尝试研究无需训练的图像检索模型的对抗防御方法,根据图像基本特征因素对输入图像进行变换,以在预测阶段消除对抗攻击的影响。所提方法探索了4种图像特征变换方案,即调整大小、填充、总方差最小化和图像拼接,这些都是在查询图像被送入检索模型之前对其执行的。文中提出的防御方法具有以下优点:1)不需要微调和增量训练过程;2)仅需极少的额外计算;3)多个方案可以灵活集成。大量实验的结果表明,提出的变换策略在防御现有的针对主流图像检索模型的对抗攻击方面是非常有效的。

基于词频掩码的对抗样本防御方法

深度神经网络(Deep Neural Networks,DNNs)在自然语言处理各项任务中均表现出良好性能,但它们易受到对抗性样本的干扰,导致DNNs模型的性能降低。而现有的对抗防御侧重于在训练阶段提升模型的鲁棒性,忽略了在推理过程中抵御对抗性攻击。针对此问题,该文提出了词频检测-掩码恢复(Word Frequency detection Mask Recover,WFMR)的防御方法,该方法主要分两个步骤,通过词频异常检测WF和MR掩码恢复相结合来提升模型的鲁棒性。WF对句子中的单词进行词频检测,将低频的词视为异常单词,而MR通过掩码异常单词来使模型恢复到原始句子的周围。该文分别在三个数据集上利用四种攻击方法进行了综合实验,实验取得了良好的防御效果,验证了该方法的有效性。

针对未知攻击的泛化性对抗防御技术综述

在计算机视觉领域,对抗样本是一种包含攻击者所精心设计的扰动的样本,该样本与其对应的自然样本的差异通常难以被人眼察觉,却极易导致深度学习模型输出错误结果。深度学习模型的这种脆弱性引起了社会各界的广泛关注,与之相对应的对抗防御技术得到了极大发展。然而,随着攻击技术和应用环境的不断发展变化,仅实现针对特定类型的对抗扰动的鲁棒性显然无法进一步满足深度学习模型的性能要求。由此,在尽可能不依赖对抗样本的情况下,通过更高效的训练方式和更少的训练次数,达到一次性防御任意种类的未知攻击的目标,是当下亟待解决的问题。期望所防御的未知攻击要有尽可能强的未知性,要在原理、性能上尽可能彻底地不同于训练阶段引入的攻击。为进一步了解未知攻击的对抗防御技术的发展现状,本文以上述防御目标为核心,对本领域的研究工作进行全面、系统的总结归纳。首先简要介绍了研究背景,对防御研究所面临的困难与挑战进行了简要说明。将未知对抗攻击的防御工作分为面向训练机制的方法和面向模型架构的方法。对于面向训练机制的方法,根据防御模型所涉及的最基本的训练框架,从对抗训练、自然训练以及对比学习3个角度阐述相关工作。对于面向模型架构的方法,根据模型结构的修改方式从目标模型结构优化、输入数据预处理两个角度分析相关研究。最后,分析了现有未知攻击防御机制的研究规律,同时介绍了其他相关的防御研究方向,揭示了未知攻击防御研究的整体发展趋势。不同于一般对抗防御综述,本文注重在未知性极强的攻击上的防御的调研与分析,对防御机制的泛化性、通用性提出了更高的要求,希望能为未来防御机制的研究提供更多有益的思考。

面向图像分类任务的对抗攻击及防御策略研究

深度神经网络在许多应用场景展现了优秀的计算能力,但在图像分类领域,其易受到对抗样本的攻击从而输出错误结果,因此关于对抗攻击及防御策略的研究很有必要。本文首先介绍目前已有的对抗攻击方法,其次介绍对抗防御策略,并且讨论了面向图像分类任务的对抗攻击及防御策略研究的发展前景,旨在推进该领域研究得到进一步推进。

基于PatchTracker的对抗补丁防御算法

基于深度神经网络的目标检测技术已经广泛应用于各领域,然而,通过对抗补丁攻击在图像中添加局部扰动,以此来误导深度神经网络,对基于目标检测技术的视觉系统构成了严重威胁。针对这一问题,利用对抗补丁和图像背景的语义差异性,提出了一种基于PatchTracker的对抗补丁防御算法,该算法由上游补丁检测器与下游数据增强模块组成。上游补丁检测器使用带有注意力机制的YOLOV5(you only look once-v5)确定对抗补丁所在位置,有助于提高对小尺度对抗补丁的检测精度;将检测区域用合适的像素值覆盖以抹除对抗补丁,上游补丁检测器不仅能够有效降低对抗样本的攻击性,而且不依赖大规模的训练数据;下游数据增强模块通过改进模型训练范式,提高下游目标检测器的鲁棒性;将抹除补丁后的图像输入经过数据增强的下游YOLOV5目标检测模型。在公开的TT100K交通标志数据集上进行了交叉验证,实验表明,与未采取防御措施相比,所提算法能够有效防御多种类型的通用对抗补丁攻击,在检测对抗补丁图像时的mAP(mean average precision)提高65%左右,有效地改善了小尺度对抗补丁的漏检情况。与现有算法比较,所提算法有效提高了神经网络在检测对抗样本时的准确率。此外,所提算法不涉及下游模型结构的修改,具有良好的兼容性。

基于噪声破坏和波形重建的声纹对抗样本防御方法

语音是人类最重要的交流方式之一。语音信号中除了文本内容外,还包含了说话人的身份、种族、年龄、性别和情感等丰富的信息,其中说话人身份的识别也被称为声纹识别,是一种生物特征识别技术。声纹具有获取方便、容易保存、使用简单等特点,而深度学习技术的进步也极大地促进了识别准确率的提升,因此,声纹识别已被应用于智慧金融、智能家居、语音助手和司法调查等领域。另一方面,针对深度学习模型的对抗样本攻击受到了广泛关注,在输入信号中添加不可感知的微小扰动即可导致模型预测结果错误。对抗样本的出现对基于深度学习的声纹识别也将造成巨大的安全威胁。现有声纹对抗样本防御方法会不同程度地影响正常样本的识别,并且局限于特定的攻击方法或识别模型,鲁棒性较差。为了使对抗防御能够兼顾纠正错误输出和准确识别正常样本两个方面,本文提出一种“破坏+重建”的两阶段对抗样本防御方法。第一阶段,在对抗样本中添加具有一定信噪比幅度限制的高斯白噪声,破坏对抗扰动的结构进而消除样本的对抗性。第二阶段,利用提出的名为SCAT-Wave-U-Net的语音增强模型重建原始语音样本,通过在Wave-U-Net模型结构中引入Transformer全局多头自注意力和层间交叉注意力机制,使改进后的模型更有助于防御声纹对抗样本攻击。实验表明,提出的防御方法不依赖于特定声纹识别系统和对抗样本攻击方式,在两种典型的声纹识别系统下对多种类型对抗样本攻击的防御效果均优于其他预处理防御方法。

Neighbor2Neighbor去噪的对抗样本防御方法

在图像分类任务中,对抗样本可导致深度学习模型以高置信度输出错误的结果,而目前防御对抗样本的主要方法——改进分类模型的成本较高或难以防御新的攻击算法。为解决上述问题,提出一种新的基于图像去噪的对抗样本防御方法。通过向输入样本中添加高斯噪声来破坏攻击者精心设计的对抗扰动,利用Neighbor2Neighbor去噪网络来减少该样本中的噪声。实验结果表明,在ImageNet数据集上,所提方法能够对基本迭代法(Basic Iterative Method,BIM)、C&W(Carlini and Wagner)攻击和DeepFool等经典攻击进行有效防御,且其防御效果优于Com‐Defend和JPEG压缩。

深度学习中对抗样本攻击与防御方法研究

在介绍对抗样本概念、探讨对抗样本产生原因的基础上,从不同领域分析经典的对抗样本攻击方法,从不同研究方向阐述主要的对抗样本防御方法,梳理现有研究成果的优势与不足,给出未来对抗样本研究的发展趋势。

一种通用防御物理空间补丁对抗攻击方法

目标检测算法具有优异的性能,在工业上已经得到广泛应用。然而,最近研究表明目标检测算法容易遭受对抗攻击,对抗样本会使得模型的性能大幅下降。攻击者在数字空间中在图片上贴一个对抗补丁,或者在物理空间中手持一张打印的对抗补丁,都可以使得待检测的对象从目标检测器中“消失”。补丁对抗攻击在物理空间中可以攻击自动驾驶汽车和躲避智能摄像头,对深度学习模型的应用造成了重大安全隐患。在物理空间中攻击目标检测器的对抗补丁具有鲜明特点,它们色彩鲜艳、变化剧烈,因此包含大量高频信息。基于这个特点,我们提出了一种遮罩防御方法。我们先把待检测的图片分割成若干个像素块,再用快速傅里叶变换和二值化处理求这些像素块中高频信息的含量,依次对含有较多高频信息的像素块使用遮罩,最后用目标检测器验证。此防御方法能够在物理空间中快速定位补丁的位置并破坏补丁的攻击效果,使得目标检测器可以检测到被攻击者隐藏的对象。本方法与模型无关,也和生成对抗补丁的方法无关,能够通用防御物理空间中的补丁对抗攻击。我们在物理空间中使用了两个应用广泛的目标检测器做防御补丁对抗攻击实验,在三个数据集中都能以超过94%的防御成功率防御攻击,比对比方法中最好的高出6%,实验结果证明了我们的方法的有效性。

结合对抗样本检测和重构的三维点云防御框架

近年来,三维点云深度神经网络已应用于许多高安全性的任务中。然而,对抗样本可以很容易地使正常训练的深度学习模型做出错误的预测,所以需要提高深度神经网络输入数据的鲁棒性。现存的三维点云防御网络效率低,也无法很好地恢复点云的曲面变形和点分布。针对现存问题,提出了一种将对抗样本检测与重构相结合的三维点云对抗防御网络框架。对于一个输入样本,首先由基于重构误差的检测器对其进行检测。若是对抗样本,则由一个基于变分自编码器的重构器对其进行重构后再输入分类网络中。变分自编码器的结构可以更好地学习隐空间上的数值空洞,对于点云形状的恢复效果也更好。实验部分,在ModelNet40数据集上对多种经典的分类模型进行了攻击,并测试了检测器-重构器防御框架对这些攻击的防御效果。实验表明,该防御方法在PointNet上的分类准确率均优于其他防御方法,特别是在防御基于显著图和对抗生成网络的攻击中表现出色。该防御网络框架可以将删除200点的攻击的准确率从47.65%提高到75.02%。通过消融实验和可视化重构结果分别证明了检测器和重构器的有效提升对整体分类准确率的效果。

基于可逆网络的对抗样本防御算法的设计与研究

深度学习模型极容易受到对抗样本的攻击。为了提高模型的鲁棒性,提升相关技术在现实生活中应用的安全性,提出一种轻型可逆网络(lightweight reversible network,LRNet)用于有效去除对抗样本中的对抗扰动。首先,将哈尔小波变换与可逆网络相结合,获得更丰富的特征;其次,将特征通道分离,利用干净样本的高低频特征指导学习,从随机数中重采样替换高频信息去除对抗扰动;再次,提出特征分离模块,去除非鲁棒特征,提高分类准确率。结果表明:LRNet防御模型能显著提高防御准确率,其分类准确率在MNIST,CIFAR-10数据集上较防御模型ARN分别从91.62%和67.29%提升到97.65%和78.55%;模型的参数大小降低至0.48 MiB,是APE-GAN模型的20%;防御模型的迁移能力得到极大提高,为对抗样本的防御提供了一种新方法。