基于决策边界敏感性和小波变换的电磁信号调制智能识别对抗样本检测方法

深度学习在图像分类和分割、物体检测和追踪、医疗、翻译和语音识别等与人类相关的任务中取得了巨大的成功。它能够处理大量复杂的数据,并自动提取特征进行预测,因此可以更准确地预测结果。随着深度学习模型的不断发展,以及可获得的数据和计算能力的提高,这些应用的准确性不断提升。最近,深度学习也在电磁信号领域得到了广泛应用,例如利用神经网络根据信号的频域和时域特征对其进行分类。但神经网络容易受到对抗样本的干扰,这些对抗样本可以轻易欺骗神经网络,导致分类错误。因此,对抗样本的生成、检测和防护的研究变得尤为重要,这将促进深度学习在电磁信号领域和其他领域的发展。针对现阶段单一的检测方法的有效性不高的问题,提出了基于决策边界敏感性和小波变换重构的对抗样本检测方法。利用了对抗样本与正常样本对模型决策边界的敏感性差异来进行检测,接着针对第一检测阶段中未检测出的对抗样本,本文利用小波变换对样本进行重构,利用样本去噪前后在模型中的预测值差异来进行检测。本文在两种调制信号数据集上进行了实验分析,并与基线检测方法进行对比,此方法更优。这一研究的创新点在于综合考虑了模型决策边界的敏感性和小波变换的重构能力,通过巧妙的组合,提出了一种更为全面、精准的对抗样本检测方法。这为深度学习在电磁信号领域的稳健应用提供了新的思路和方法。

AMS-FGSM:一种对抗样本生成的梯度参数更新方法

深度神经网络在多种模式识别任务上均取得卓越表现,然而相关研究表明深度神经网络非常脆弱,极易受到对抗样本的攻击。人眼不易察觉的对抗样本还具有迁移性,即针对某个模型生成的对抗样本会使其他不同的深度模型产生误判。该文针对对抗样本的迁移性,提出了基于Adam优化算法的快速梯度符号方法(AMS-FGSM),可替代原有的迭代梯度符号方法(I-FGSM)。不同于I-FGSM,AMS-FGSM结合了动量与AMSGrad算法的优势。在手写数据集MNIST上的实验表明,结合了AMS-FGSM的对抗样本生成方法能更快速地生成攻击成功率更高的对抗样本,在训练模型上的平均成功率达到98.1%,对模型的攻击成功率随扰动次数的增加而保持稳定,表现较好。

基于损失平滑的对抗样本攻击方法

深度神经网络(DNNs)容易受到对抗样本的攻击,现有基于动量的对抗样本生成方法虽然可以达到接近100%的白盒攻击成功率,但是在攻击其他模型时效果仍不理想,黑盒攻击成功率较低。针对此,提出一种基于损失平滑的对抗样本攻击方法来提高对抗样本的可迁移性。在每一步计算梯度的迭代过程中,不直接使用当前梯度,而是使用局部平均梯度来累积动量,以此来抑制损失函数曲面存在的局部振荡现象,从而稳定更新方向,逃离局部极值点。在ImageNet数据集上的大量实验结果表明:所提方法与现有基于动量的方法相比,在单个模型攻击实验中的平均黑盒攻击成功率分别提升了38.07%和27.77%,在集成模型攻击实验中的平均黑盒攻击成功率分别提升了32.50%和28.63%。

基于改进蚁群算法的对抗样本生成模型

传统的文本生成对抗方法主要采用位置置换、字符替换等方式,耗费时间较长且效果较差。针对以上问题,该文提出一种基于改进蚁群算法的对抗样本生成模型IGAS(Improved ant colony algorithm to Generate Adversarial Sample),利用蚁群算法的特点生成对抗样本,并利用类形字进行优化。首先,构建城市节点群,利用样本中的词构建城市节点群;然后对原始输入样本,利用改进的蚁群算法生成对抗样本;再针对生成结果,通过构建的中日类形字典进行字符替换,生成最终的对抗样本;最后在黑盒模式下进行对抗样本攻击实验。实验在情感分类、对话摘要生成、因果关系抽取等多种领域验证了该方法的有效性。

基于掩模提取的SAR图像对抗样本生成方法

合成孔径雷达(synthetic aperture radar,SAR)图像的对抗样本生成在当前已经有很多方法,但仍存在对抗样本扰动量较大、训练不稳定以及对抗样本的质量无法保证等问题。针对上述问题,提出了一种SAR图像对抗样本生成模型,该模型基于AdvGAN模型架构,首先根据SAR图像的特点设计了一种由增强Lee滤波器和最大类间方差法(OTSU)自适应阈值分割等模块组成的掩模提取模块,这种方法产生的扰动量更小,与原始样本的结构相似性(structural similarity,SSIM)值达到0.997以上。其次将改进的相对均值生成对抗网络(relativistic average generative adversarial network,RaGAN)损失引入AdvGAN中,使用相对均值判别器,让判别器在训练中同时依赖于真实数据和生成的数据,提高了训练的稳定性与攻击效果。在MSTAR数据集上与相关方法进行了实验对比,实验表明,此方法生成的SAR图像对抗样本在攻击防御模型时的攻击成功率较传统方法提高了10%~15%。

Neighbor2Neighbor去噪的对抗样本防御方法

在图像分类任务中,对抗样本可导致深度学习模型以高置信度输出错误的结果,而目前防御对抗样本的主要方法——改进分类模型的成本较高或难以防御新的攻击算法。为解决上述问题,提出一种新的基于图像去噪的对抗样本防御方法。通过向输入样本中添加高斯噪声来破坏攻击者精心设计的对抗扰动,利用Neighbor2Neighbor去噪网络来减少该样本中的噪声。实验结果表明,在ImageNet数据集上,所提方法能够对基本迭代法(Basic Iterative Method,BIM)、C&W(Carlini and Wagner)攻击和DeepFool等经典攻击进行有效防御,且其防御效果优于Com‐Defend和JPEG压缩。

S-JSMA:一种低扰动冗余的快速JSMA对抗样本生成方法

基于深度学习神经网络模型的技术被广泛应用在计算机视觉、自然语言处理等领域。然而,研究人员发现,神经网络模型自身存在着显著的安全隐患,例如,容易遭到对抗样本的攻击。研究针对图像分类的对抗样本相关技术能帮助人们认识到神经网络模型的脆弱性,进而推动相关模型的安全加固机制研究。针对JSMA方法存在高时间开销与扰动冗余的问题,提出了一种低扰动冗余的快速JSMA对抗样本生成方法S-JSMA。该方法使用单步操作替代迭代操作以简化JSMA的算法流程,并使用简易扰动取代JSMA中基于显著图的扰动,从而极大地降低了对抗样本生成的时间开销和扰动冗余。基于MNIST数据集的实验结果表明,相较于JSMA和FGSM方法,S-JSMA能在显著短的时间内取得较好的攻击效果。

图像对抗样本检测综述

深度神经网络是人工智能领域的一项重要技术,它被广泛应用于各种图像分类任务.但是,现有的研究表明深度神经网络存在安全漏洞,容易受到对抗样本的攻击,而目前并没有研究针对图像对抗样本检测进行体系化分析.为了提高深度神经网络的安全性,针对现有的研究工作,全面地介绍图像分类领域的对抗样本检测方法.首先根据检测器的构建方式将检测方法分为有监督检测与无监督检测,然后根据其检测原理进行子类划分.最后总结对抗样本检测领域存在的问题,在泛化性和轻量化等方面提出建议与展望,旨在为人工智能安全研究提供帮助.

基于Transformer和GAN的对抗样本生成算法

对抗攻击与防御是计算机安全领域的一个热门研究方向。针对现有基于梯度的对抗样本生成方法可视质量差、基于优化的方法生成效率低的问题,提出基于Transformer和生成对抗网络(GAN)的对抗样本生成算法Trans-GAN。首先利用Transformer强大的视觉表征能力,将其作为重构网络,用于接收干净图像并生成攻击噪声;其次将Transformer重构网络作为生成器,与基于深度卷积网络的鉴别器相结合组成GAN网络架构,提高生成图像的真实性并保证训练的稳定性,同时提出改进的注意力机制Targeted Self-Attention,在训练网络时引入目标标签作为先验知识,指导网络模型学习生成具有特定攻击目标的对抗扰动;最后利用跳转连接将对抗噪声施加在干净样本上,形成对抗样本,攻击目标分类网络。实验结果表明:Trans-GAN算法针对MNIST数据集中2种模型的攻击成功率都达到99.9%以上,针对CIFAR10数据集中2种模型的攻击成功率分别达到96.36%和98.47%,优于目前先进的基于生成式的对抗样本生成方法;相比快速梯度符号法和投影梯度下降法,Trans-GAN算法生成的对抗噪声扰动量更小,形成的对抗样本更加自然,满足人类视觉不易分辨的要求。

基于对抗样本和自编码器的鲁棒异常检测

基于自编码器的异常检测方法仅利用正常样本进行训练,因此可以有效地重构正常样本,但不能较好地对异常样本进行重构。另外,当基于自编码器的异常检测方法受到对抗攻击时,往往会取得错误的检测结果。为了解决上述问题,提出了一种基于对抗样本和自编码器的鲁棒异常检测(Robust Anomaly Detection Based on Adversarial Samples and AutoEncoder,RAD-ASAE)方法。RAD-ASAE由两个参数共享的编码器和一个解码器构成。首先,对正常样本施加微小的扰动以生成对抗样本,利用正常样本和对抗样本同时对模型进行训练,以提高模型的对抗鲁棒性;其次,在样本空间中最小化对抗样本的重构误差以及正常样本与对抗样本的重构样本之间的均方误差,同时在潜在空间中最小化正常样本和对抗样本的潜在特征之间的均方误差,以提高自编码器的重构能力。在MNIST,Fashion-MNIST,CIFAR-10数据集上进行实验,结果表明,与7种相关方法相比,RAD-ASAE展现了更优的异常检测性能。

可添加量不受限的对抗样本

基于灰度图像和深度学习的恶意软件检测方法具有无需特征工程和检测精度高的特点,通过对抗样本能够欺骗该类检测方法。然而当前大部分研究所生成的对抗样本难以在不破坏原文件功能完整性的情况下大幅度降低该类检测方法对其的判别准确性。在分析可移植可执行(PE)文件的结构以及加载机制的基础上,提出一种不破坏PE文件原有功能且可添加量不受限的字节码攻击方法(BAUAA)。BAUAA通过在PE文件中分散于各区段之后且不会载入内存的“区段附加空间”添加字节码来生成对抗样本,并且由于该空间具有可添加量不受限的特点,可使得生成的对抗样本所转化的灰度图像在尺寸和纹理上发生变化,从而能够影响基于灰度图像和深度学习的恶意软件检测方法对其的判别准确性。实验结果表明,基于灰度图像和深度学习的恶意软件检测方法判别BAUAA所生成对抗样本的准确率明显低于其判别非对抗样本的准确率。为避免在现实中滥用BAUAA,提出一种针对性的对抗样本检测方法。

基于量子局部内在维度的对抗样本检测算法

为解决基于局部内在维度(LID)的对抗样本检测算法高时间复杂度问题,结合量子计算优势,提出一种基于量子LID的对抗样本检测算法。首先,使用SWAP-Test量子算法一次性计算待测样本与所有样本间的相似度,避免了经典算法中的冗余计算;然后,结合量子相位估计(QPE)算法和量子Grover搜索算法计算待测样本的局部内在维度;最后,以LID作为二分类检测器的评判依据,检测区分出对抗样本。分别使用IRIS、MNIST、股票时序数据集测试和验证所提算法,仿真实验结果表明,均能通过计算出的LID值突出对抗样本与正常样本之间的差异性,并能作为检测依据区分样本属性。理论研究证明,所提算法时间复杂度与Grover算子迭代次数及邻近样本数和训练样本数的平方根的积同一数量级,明显优于基于LID的对抗样本检测算法,实现了指数级加速。

一种利用对抗样本提高抽取式阅读理解模型效果的方法

抽取式阅读理解是自然语言处理的重要任务,需要机器在阅读理解自然语言文本的基础上,从中抽取给定问题的答案(输入文本中的片段),并在问题不可回答时拒绝回答.这种不可回答情况的存在使机器阅读理解更具有挑战性,特别是在输入文本含有似是而非文本片段时,现有模型很容易将这样的片段混淆为问题答案,进而错误判断问题的可回答性.为了进一步提高抽取式机器阅读理解模型的效果,本文将SQuAD 2.0数据集中的似是而非答案看成对抗样本,将其既作为答案文本片段抽取的正例,也作为问题可回答性的负例,在现有模型答案交叉熵损失的基础上增加排序损失.在SQuAD 2.0上进行的实验表明,本文方法可以提高现有模型的阅读理解能力,明显提升可回答性判断及答案文本片段抽取的效果.

基于帧结构的语音对抗样本重点区域扰动分析

目前针对语音识别模型的对抗攻击主要是在整条语音上添加噪声,扰动范围大且引入了高频噪声.现有研究在一定程度上缩小了扰动范围,但由于语音对抗攻击需要在每帧添加扰动实现对转录结果的控制,限制了扰动范围的进一步降低.针对此问题,从帧结构的角度研究了语音识别系统中的特征提取流程,发现分帧和加窗处理决定了帧结构中重点区域的分布,即帧内各采样点上添加扰动的重要性受采样点所处位置的影响.首先,根据对输入特征的扰动分析结果进行区域划分;然后,为了量化这些采样点对求解对抗样本的重要性,提出了对抗样本空间度量方法和相应的评价指标,并设计了在帧内不同区间上添加扰动的交叉实验,进而确定了扰动添加的重点区域;最后,在多个模型上进行了广泛的实验,表明了在重点区域添加对抗扰动能够缩小扰动范围,为高质量语音对抗样本的生成提出新的角度.

针对文本分类对抗样本的防御技术

虽然文本分类对抗样本的防御技术在相应的工作中取得了较好的效果,但是防御技术在检测词级和句子级的对抗样本时效果不佳,因此,如何利用防御技术提高目标模型的鲁棒性(Robust)已是目前学术界关注的问题为此提出了一种新的运算法,使用了单词的重要性分数及检测错误字的概率来定位样本中的对抗字。结果表明:目标模型的分类准确率由原来平均14.7%提高到平均89.2%,改善了文本分类对抗样本的防御技术。

基于稳定Adam和空间域变换的对抗样本生成算法

深度神经网络广泛应用于图像分类、目标检测、自然语言处理等领域,但其容易受到对抗样本攻击。现有的多数攻击都是基于快速梯度符号法,通过在输入中添加相同幅度的扰动达到攻击效果,这些方法虽然有效但并不利于快速找到具有泛化能力的对抗样本。针对对抗样本的泛化性,提出一种结合稳定自适应矩估计和空间域变换的梯度优化算法来改进现有的对抗样本生成算法。将Nesterov算法引入一阶矩估计的更新中,基于AdaBelief算法,将Belief参数应用于二阶矩估计,同时根据指数衰减率计算衰减步长以获取更稳定的梯度。从数据增强的角度考虑,在对抗样本生成的过程中将输入样本在空间域进行变换,通过加权不同变换的梯度来更新原有梯度,从而提高对抗样本的可迁移性。实验结果表明,改进算法对抗样本性能显著提升,其白盒攻击成功率能够保持在99.6%以上,同时黑盒攻击成功率可提高到74.5%。

基于特征梯度均值化的调制信号对抗样本攻击算法

针对调制瞄准干扰通过深度神经网络(DNN)识别信号调制方式,进而发起灵巧干扰使通信性能下降的问题,提出一种基于特征梯度均值化的调制信号对抗样本攻击算法。不同于传统的标签反向传播求取梯度的方法,所提算法利用调制信号在DNN高维空间中的丰富空时特征计算梯度,并使用局部平均特征梯度代替单点特征梯度用于算法迭代,解决损失函数曲面局部振荡带来的梯度不可靠问题。基于处理后的梯度和现有动量攻击方法,可生成更精细的对抗扰动,并叠加在正常通信信号上以构造对抗样本,降低DNN对通信信号的识别准确率,减弱调制瞄准干扰的效果。在RADIOML 2016.10A数据集上的实验结果表明,与快速梯度符号法(FGSM)、MI-FGSM(Momentum Iterative Fast Gradient Sign Method)相比,尽管所提算法在VTCNN2(Visual Transformer Convolutional Neural Network)模型上的运行时间分别增加了1.36 h、0.58 h,但生成的无目标对抗样本取得了显著的效果。当信噪比为10 dB时,白盒攻击成功率分别提升了36、26个百分点,将生成的对抗样本直接迁移到CLDNN(Convolutional Long short-term memory-Deep Neural Network)模型中,黑盒攻击成功率分别提升了19和14个百分点。所提算法提高了对抗样本的攻击成功率,具有良好的可迁移性。

面向自动驾驶感知系统的对抗样本攻击研究综述

自动驾驶感知系统通过多种传感器采集周围环境信息并进行数据处理,用于检测车辆、行人和障碍物等,为后续的控制决策功能提供实时的基础数据.由于传感器直接与外部环境相连,且其自身往往缺乏辨别输入可信度的能力,因此感知系统成为众多攻击的潜在目标.对抗样本攻击是一种具有高隐蔽性和危害性的主流攻击方式,攻击者通过篡改或伪造感知系统的输入数据,欺骗感知算法,导致系统产生错误的输出结果,从而严重威胁自动驾驶安全.系统总结分析了自动驾驶感知系统的工作方式和面向感知系统的对抗样本攻击进展.从基于信号的对抗样本攻击和基于实物的对抗样本攻击2方面对比分析了面向自动驾驶感知系统的对抗样本攻击方案.同时,从异常检测、模型防御和物理防御3个方面全面分析了面向感知系统的对抗样本攻击的防御策略.最后,给出了面向自动驾驶感知系统的对抗样本攻击未来研究方向.

结合最大内接圆的图像对抗样本生成算法

深度学习算法已经广泛应用于对抗样本领域.针对图像领域模型生成对抗样本,是发掘图像领域模型的弱点并完善对抗样本检测方法的关键.本文提出一种结合最大内接圆的图像对抗样本生成算法,通过作决策边界的最大内接圆计算出最近决策边界与该圆的切点即为对抗样本点,有效提升了生成对抗样本的成功率和欺骗性.实验使用ImageNet和Cifar10数据集对ResNet18,GoogLeNet,VGG16,MobileNetV2模型生成对抗样本.在本文选取的样本中,ImageNet数据集对这4个模型生成的平均对抗扰动量分别降低了0.1093、0.1697、0.0952、0.0905,Cifar10数据集对这4个模型分别降低了0.0045、0.0049、0.0072、0.0041.这体现了本文方法的优越性与普遍适用性.

基于自注意力机制的音频对抗样本生成方法

随着个人语音数据在网络上的传播以及自动说话人识别算法的发展,个人的声纹特征面对着泄露的风险。音频对抗样本可以在人耳主观听觉不变的前提下,使得自动说话人识别算法失效,从而保护个人的声纹特征。本文在典型的音频对抗样本生成算法FoolHD模型的基础上引入了自注意力机制来改进对抗样本生成,该方法称为FoolHD-MHSA。首先,使用卷积神经网络作为编码器来提取输入音频频谱的对抗扰动谱图;然后利用自注意力机制从全局角度提取扰动谱不同部分特征的关联特征,同时将网络聚焦到扰动谱中的关键信息、抑制无用信息;最后,使用解码器将处理后的扰动谱隐写到输入频谱中得到对抗样本频谱。实验结果表明,FoolHD-MHSA方法生成的对抗样本相比FoolHD方法有着更高的攻击成功率和平均客观语音质量评估(Perceptual evaluation of speech quality,PESQ)得分。