面向骨骼动作识别的优化梯度感知对抗攻击方法

基于骨骼的动作识别模型被广泛应用于自动驾驶、行为监测和动作分析等领域。一些研究表明,这些模型容易受到对抗攻击,引发了一系列安全漏洞和隐私问题。虽然现有攻击方法在白盒攻击下能够取得较高的成功率,但是这些方法都需要攻击者获得模型的全部参数,这在现实场景中不易实现,且在黑盒攻击下的可迁移性较差。为了解决上述问题,文章提出一种面向骨骼动作识别的优化梯度感知对抗攻击方法NAG-PA。该方法在梯度计算的每次迭代中都优先估计下一步参数更新后的值,并在更新后的位置进行梯度累积。同时,对当前位置进行修正,避免落入局部极值,从而提高对抗样本的可迁移性。此外,文章所提方法还使用了感知损失以确保迁移攻击具有不可感知性。在现有公开数据集和骨骼动作识别模型上的实验结果表明,文章所提方法可以显著提高对抗攻击的可迁移性。

面向智能无人通信系统的因果性对抗攻击生成算法

考虑到基于梯度的对抗攻击生成算法在实际通信系统部署中面临着因果性问题,提出了一种因果性对抗攻击生成算法。利用长短期记忆网络的序列输入输出特征与时序记忆能力,在满足实际应用中存在的因果性约束前提下,有效提取通信信号的时序相关性,增强针对无人通信系统的对抗攻击性能。仿真结果表明,所提算法在同等条件下的攻击性能优于泛用对抗扰动等现有的因果性对抗攻击生成算法。

基于局部扰动的时间序列预测对抗攻击

时间序列预测模型已广泛应用于日常生活中的各个行业,针对这些预测模型的对抗攻击关系到各行业数据的安全性.目前,时间序列的对抗攻击多在全局范围内进行大规模扰动,导致对抗样本易被感知.同时,对抗攻击的效果会随着扰动幅度的降低而明显下降.因此,如何在生成不易察觉的对抗样本的同时保持较好的攻击效果,是当前时间序列预测对抗攻击领域亟需解决的问题之一.首先提出一种基于滑动窗口的局部扰动策略,缩小对抗样本的扰动区间;其次,使用差分进化算法寻找最优攻击点位,并结合分段函数分割扰动区间,进一步降低扰动范围,完成半白盒攻击.和已有的对抗攻击方法在多个不同深度模型上的对比实验表明,所提出的方法能够生成不易感知的对抗样本,并有效改变模型的预测趋势,在股票交易、电力消耗、太阳黑子观测和气温预测这4个具有挑战性的任务中均取得了较好的攻击效果.

图神经网络对抗攻击与鲁棒性评测前沿进展

近年来,图神经网络(GNNs)逐渐成为人工智能的重要研究方向。然而,GNNs的对抗脆弱性使其实际应用面临严峻挑战。为了全面认识GNNs对抗攻击与鲁棒性评测的研究工作,对相关前沿进展进行梳理和分析讨论。介绍GNNs对抗攻击的研究背景,给出GNNs对抗攻击的形式化定义,阐述GNNs对抗攻击及鲁棒性评测的研究框架和基本概念。对GNNs对抗攻击领域所提具体方法进行了总结和梳理,并对其中的前沿方法从对抗攻击类型和攻击目标范围的角度进行详细分类阐述,分析了它们的工作机制、原理和优缺点。考虑到基于对抗攻击的模型鲁棒性评测依赖于对抗攻击方法的选择和对抗扰动程度,只能实现间接、局部的评价,难以全面反映模型鲁棒性的本质特征,从而着重对模型鲁棒性的直接评测指标进行了梳理和分析。在此基础上,为了支撑GNNs对抗攻击方法和鲁棒性模型的设计与评价,通过实验从易实现程度、准确性、执行时间等方面对代表性的GNNs对抗攻击方法进行了对比分析。对存在的挑战和未来研究方向进行展望。总体而言,目前GNNs对抗鲁棒性研究以反复实验为主,缺乏具有指导性的理论框架。如何保障基于GNNs的深度智能系统的可信性,仍需进一步系统性的基础理论研究。

面向漏洞检测模型的强化学习式对抗攻击方法

基于深度学习的代码漏洞检测模型因其检测效率高和精度准的优势,逐步成为检测软件漏洞的重要方法,并在代码托管平台GitHub的代码审计服务中发挥重要作用.然而,深度神经网络已被证明容易受到对抗攻击的干扰,这导致基于深度学习的漏洞检测模型存在遭受攻击、降低检测准确率的风险.因此,构建针对漏洞检测模型的对抗攻击不仅可以发掘此类模型的安全缺陷,而且有助于评估模型的鲁棒性,进而通过相应的方法提升模型性能.但现有的面向漏洞检测模型的对抗攻击方法依赖于通用的代码转换工具,并未提出针对性的代码扰动操作和决策算法,因此难以生成有效的对抗样本,且对抗样本的合法性依赖于人工检查.针对上述问题,提出了一种面向漏洞检测模型的强化学习式对抗攻击方法.该方法首先设计了一系列语义约束且漏洞保留的代码扰动操作作为扰动集合;其次,将具备漏洞的代码样本作为输入,利用强化学习模型选取具体的扰动操作序列;最后,根据代码样本的语法树节点类型寻找扰动的潜在位置,进行代码转换,从而生成对抗样本.基于SARD和NVD构建了两个实验数据集,共14278个代码样本,并以此训练了4个具备不同特点的漏洞检测模型作为攻击目标.针对每个目标模型,训练了一个强化学习网络进行对抗攻击.结果显示,该攻击方法导致模型的召回率降低了74.34%,攻击成功率达到96.71%,相较基线方法,攻击成功率平均提升了68.76%.实验证明了当前的漏洞检测模型存在被攻击的风险,需要进一步研究提升模型的鲁棒性.

三维点云目标识别对抗攻击研究综述

当前,人工智能系统在诸多领域都取得了巨大的成功,其中深度学习技术发挥了关键作用。然而,尽管深度神经网络具有强大的推理识别能力,但是依然容易受到对抗样本的攻击,表现出了脆弱性。对抗样本是经过特殊设计的输入数据,能够攻击并误导深度学习模型的输出。随着激光雷达等3维传感器的快速发展,使用深度学习技术解决3维领域的各种智能任务也越来越受到重视。采用深度学习技术处理3维点云数据的人工智能系统的安全性和鲁棒性至关重要,如基于深度学习的自动驾驶3维目标检测与识别技术。为了分析3维点云对抗样本对深度神经网络的攻击方式,揭示3维对抗样本对深度神经网络的干扰机制,该文总结了基于3维点云深度神经网络模型的对抗攻击方法的研究进展。首先,介绍了对抗攻击的基本原理和实现方法,然后,总结并分析了3维点云的数字域对抗攻击和物理域对抗攻击,最后,讨论了3维点云对抗攻击面临的挑战和未来的研究方向。

基于特征拓扑融合的黑盒图对抗攻击

在大数据时代,数据之间的紧密关联性是普遍存在的,图数据分析挖掘已经成为大数据技术的重要发展趋势。近几年,图神经网络作为一种新型的图表示学习工具引起了学术界和工业界的广泛关注。目前图神经网络已经在很多实际应用中取得了巨大的成功。最近人工智能的安全性和可信性成为了人们关注的重点,很多工作主要针对图像等规则数据的深度学习对抗攻击。文中主要聚焦于图数据这种典型非欧氏结构的黑盒对抗攻击问题,在图神经网络模型信息(结构、参数)未知的情况下,对图数据进行非随机微小扰动,从而实现对模型的对抗攻击,模型性能随之下降。基于节点选择的对抗攻击策略是一类重要的黑盒图对抗攻击方法,但现有方法在选择对抗攻击节点时主要依靠节点的拓扑结构信息(如度信息)而未充分考虑节点的特征信息,文中面向引文网络提出了一种基于特征拓扑融合的黑盒图对抗攻击方法。所提方法在选择重要性节点的过程中将图节点特征信息和拓扑结构信息进行融合,使得选出的节点在特征和拓扑两方面对于图数据都是重要的,攻击者对挑选出的重要节点施加不易察觉的扰动后对图数据产生了较大影响,进而实现对图神经网络模型的攻击。在3个基准数据集上进行实验,结果表明,所提出的攻击策略在模型参数未知的情况下能显著降低模型性能,且攻击效果优于现有的方法。

基于JSMA对抗攻击的去除深度神经网络后门防御方案

深度学习模型缺乏透明性和可解释性,在推理阶段触发恶意攻击者设定的后门时,模型会出现异常行为,导致性能下降。针对此问题,文章提出一种基于JSMA对抗攻击的去除深度神经网络后门防御方案。首先通过模拟JSMA产生的特殊扰动还原潜藏的后门触发器,并以此为基础模拟还原后门触发图案;然后采用热力图定位还原后隐藏触发器的权重位置;最后使用脊回归函数将权重置零,有效去除深度神经网络中的后门。在MNIST和CIFAR10数据集上对模型性能进行测试,并评估去除后门后的模型性能,实验结果表明,文章所提方案能有效去除深度神经网络模型中的后门,而深度神经网络的测试精度仅下降了不到3%。

面向图像分析领域的黑盒对抗攻击技术综述

图像领域下的黑盒攻击(Black-box Attack)已成为当前深度神经网络对抗攻击领域的热点研究方向.黑盒攻击的特点在于仅利用模型输入与输出的映射关系,而无需模型内部参数信息及梯度信息,通过向图像数据加入人类难以察觉的微小扰动,进而造成深度神经网络(Deep Neural Network,DNN)推理与识别失准,导致图像分析任务的准确率下降,因此由黑盒攻击引起的鲁棒性问题成为当前DNN模型研究的关键问题.为提高黑盒攻击在图像分析任务下的攻击成效,现有相关研究以低查询次数、低扰动幅度、高攻击成功率作为优化目标,针对不同图像分析任务采用不同的攻击模式与评估方式.本文以主流的图像分析任务为出发点,阐述图像分类、目标检测与图像分割三类任务中黑盒攻击算法的核心思想和难点,总结黑盒对抗攻击领域中的关键概念与评估指标,分析不同图像分析任务中黑盒对抗攻击的实现策略与研究目标.阐明各个黑盒攻击算法间的关系与优势,从攻击成功率、查询次数以及相似性度量等多个方面对不同的黑盒攻击算法进行性能比较,以提出目前图像分析领域中黑盒对抗攻击仍存在的主要挑战与未来研究方向.

针对电力CPS数据驱动算法对抗攻击的防御方法

大规模电力电子设备的接入为系统引入了数量庞大的强非线性量测/控制节点,使得传统电力系统逐渐转变为电力信息物理系统(cyber-physical system,CPS),许多原本应用模型驱动方法解决的系统问题不得不因维度灾难等局限转而采取数据驱动算法进行分析。然而,数据驱动算法自身的缺陷为系统的安全稳定运行引入了新的风险,攻击者可以对其加以利用,发起可能引发系统停电甚至失稳的对抗攻击。针对电力CPS中数据驱动算法可能遭受的对抗攻击,从异常数据剔除与恢复、算法漏洞挖掘与优化、算法自身可解释性提升3个方面,提出了对应的防御方法:异常数据过滤器、基于生成式对抗网络(generative adversarial network,GAN)的漏洞挖掘与优化方法、数据-知识融合模型及其训练方法,并经算例分析验证了所提方法的有效性。

基于智能进化算法的可见水印对抗攻击

随着公民版权意识的提高,越来越多含有水印的图像出现在生活中。然而,现有的研究表明,含有水印的图像会导致神经网络分类错误,这对神经网络的普及和应用构成了巨大的威胁。对抗训练是解决这类问题的防御方法之一,但是需要使用大量的水印对抗样本作为训练数据。为此,提出了一种基于智能进化算法的可见水印对抗攻击方法来生成高强度的水印对抗样本。该方法不仅能快速生成水印对抗样本,而且还能使其最大程度地攻击神经网络。此外,该方法还加入了图像质量评价指标来约束图像的视觉损失,从而使水印对抗样本更加美观。实验结果表明,所提方法相比于基准水印攻击方法时间复杂度更低,相比于基准黑盒攻击对神经网络攻击成功率更高。

基于随机游走的图神经网络黑盒对抗攻击

图神经网络在许多图分析任务中取得了显著的成功。然而,最近的研究揭示了其对对抗性攻击的易感性。现有的关于黑盒攻击的研究通常要求攻击者知道目标模型的所有训练数据,并且不适用于攻击者难以获得图神经网络节点特征表示的场景。文章提出了一种更严格的黑盒攻击模型,其中攻击者只知道选定节点的图结构和标签,但不知道节点特征表示。在这种攻击模型下,文章提出了一种针对图神经网络的黑盒对抗攻击方法。该方法近似每个节点对模型输出的影响,并使用贪心算法识别最优扰动。实验表明,虽然可用信息较少,但该算法的攻击成功率接近最先进的算法,同时实现了更高的攻击速度。此外,该攻击方法还具有迁移和防御能力。

针对人脸识别模型的自适应对抗攻击

深度神经网络容易受到对抗样本的攻击,这种攻击通过对输入数据(如图像数据)的微小修改而使得AI系统分类错误。目前的许多攻击方法容易导致图像出现噪声和伪影等问题,攻击方法的泛化性较差。本文提出了一种针对人脸识别模型的对抗攻击方法,利用身份解耦技术自适应提取对人脸识别模型的判别最重要且能很好保持原始视觉效果的人脸身份特征,并利用其引导优化在StyleGAN隐空间和像素空间上进行的对抗攻击。在典型人脸识别模型和商业人脸识别系统上的攻击实验证明,本文方法生成的对抗性人脸图像在攻击成功率上比现有最优方法平均提高11%,视觉质量提高约3%。

基于输入通道拆分的无线通信网络对抗攻击多任务防御

在无线通信网络中,由于网络的开放性和共享性,攻击源自多个不同的源头,展现出多种多样的特征。传统的防御方法难以同时应对多种攻击模式,且在处理多模态数据时存在效率低下和准确性不足的问题。为此,研究基于输入通道拆分的无线通信网络对抗攻击多任务防御方法。利用Morlet小波变换将无线通信网络信号转换为时频图像,以输入通道拆分的方式拆分时频图像,得到RGB三个通道的时频图像。在改进注意力机制生成对抗网络内,结合多任务学习建立多防御模型。该模型内生成器通过空间注意力模块与时间注意力长短期记忆网络模块,提取RGB三个通道时频图像的时空特征,并生成对抗样本,通过判别器识别图像类型。检测到攻击时,用对抗样本替换攻击数据,实现无线通信网络的多任务对抗防御。实验证明,该方法可有效将无线通信网络信号转换成时频图像,且有效生成对抗样本,完成无线通道网络对抗攻击多任务防御。

基于共性梯度的人脸识别通用对抗攻击

人脸识别技术的恶意运用可能会导致个人信息泄露,对个人隐私安全构成巨大威胁,通过通用对抗攻击保护人脸隐私具有重要的研究意义.然而,现有的通用对抗攻击算法多数专注于图像分类任务,应用于人脸识别模型时,常面临攻击成功率低和生成扰动明显等问题.为解决这一挑战,研究提出了一种基于共性梯度的人脸识别通用对抗攻击方法.该方法通过多张人脸图像的对抗扰动的共性梯度优化通用对抗扰动,并利用主导型特征损失提升扰动的攻击能力,结合多阶段训练策略,实现了攻击效果与视觉质量的均衡.在公开数据集上的实验证明,该方法在人脸识别模型上的攻击性能优于Cos-UAP、SGA等方法,并且生成的对抗样本具有更好的视觉效果,表明了所提方法的有效性.

基于深度学习的对抗攻击发展研究

随着深度学习在各领域的广泛应用,对抗攻击问题引起学术界与工业界的关注。首先概述了对抗攻击的背景,包括对抗攻击的定义、分类以及与传统的机器学习安全问题的区别。然后讨论了对抗样本生成及攻击策略,以及白盒攻击和黑盒攻击等攻击手段。最后总结了对抗攻击的意义,并展望未来研究方向,期待通过研究和探索提高深度学习模型的安全性和可靠性。

一种面向联邦学习对抗攻击的选择性防御策略

联邦学习(FL)基于终端本地的学习以及终端与服务器之间持续地模型参数交互完成模型训练,有效地解决了集中式机器学习模型存在的数据泄露和隐私风险。但由于参与联邦学习的多个恶意终端能够在进行本地学习的过程中通过输入微小扰动即可实现对抗性攻击,并进而导致全局模型输出不正确的结果。该文提出一种有效的联邦防御策略-SelectiveFL,该策略首先建立起一个选择性联邦防御框架,然后通过在终端进行对抗性训练提取攻击特性的基础上,在服务器端对上传的本地模型更新的同时根据攻击特性进行选择性聚合,最终得到多个适应性的防御模型。该文在多个具有代表性的基准数据集上评估了所提出的防御方法。实验结果表明,与已有研究工作相比能够提升模型准确率提高了2%~11%。

针对目标检测模型的物理对抗攻击综述

深度学习模型容易受到对抗样本的影响,在图像上添加肉眼不可见的微小扰动就可以使训练有素的深度学习模型失灵。最近的研究表明这种扰动也存在于现实世界中。聚焦于深度学习目标检测模型的物理对抗攻击,明确了物理对抗攻击的概念,并介绍了目标检测物理对抗攻击的一般流程,依据攻击任务的不同,从车辆检测和行人检测两个方面综述了近年来一系列针对目标检测网络的物理对抗攻击方法,简单介绍了其他针对目标检测模型的攻击、其他攻击任务和其他攻击方式。最后讨论了物理对抗攻击当前面临的挑战,引出了对抗训练的局限性,并展望了未来可能的发展方向和应用前景。

面向三种形态图像的对抗攻击研究综述

深度学习近年来取得了大量突破性进展,基于深度学习的应用也扩展到了越来越多的领域,但由于深度神经网络的脆弱性,在应用过程中极易受到来自对抗样本的威胁,给应用带来了巨大安全问题,因此对抗攻击一直是研究的热门领域。由于深度神经网络在图像任务中被广泛应用,针对图像领域的对抗攻击研究是增强安全性的关键,学界从不同角度对此展开了大量研究。现有的图像攻击研究主要可以分为可见光图像、红外图像以及合成孔径雷达(SAR)图像三种形态的图像攻击。介绍了图像对抗样本的基本概念及对抗样本术语,对三种形态图像的对抗攻击方法根据其攻击思想进行分类总结,并对三种形态图像的攻击方法的攻击成功率(ASR)、所占内存大小、适用场景等进行对比分析。针对目前图像对抗样本领域的防御策略研究做出简要的介绍,主要针对目前已有的三类防御方法进行总结。对现有的针对图像对抗样本的研究现状进行了分析,对未来图像领域中的对抗攻击可能研究方向进行了展望,对未来可能面临的四种问题进行了总结并给出对应的解决方案。

引入度中心性选择攻击节点的对抗攻击算法

图卷积网络(GCN)在图神经网络中应用广泛,在处理图结构数据方面发挥着重要作用。然而,最近的研究表明,GCN容易受到中毒攻击等恶意攻击。在针对GCN的所有可能的对抗性攻击中,有一种特殊的方法是针对图卷积网络的目标通用攻击TUA(target universal attack)。该方法在挑选攻击节点时为了简便采用随机选择策略,该策略忽略了节点邻居对节点的重要性,对攻击成功率有负面影响。针对这个问题,提出了一种基于度中心性的攻击节点选择策略的对抗攻击算法(adversarial attack algorithm based on degree centrality attack node selection strategy,DCANSS)。优化挑选攻击节点的方式,引入度中心性,得到攻击节点。注入假节点并与攻击节点连接。挑选辅助节点并应用图卷积网络的消息传递机制,使节点信息扩散,计算扰动并将扰动特征赋予假节点,完成攻击,达到误分类目标。在三个流行的数据集上的实验表明,当仅使用3个攻击节点和2个假节点时,所提出的攻击对图中任意受害节点的平均攻击成功率达到90%。将DCANSS算法与TUA算法以及其他建立的基线算法进行实验对比,进一步验证了DCANSS算法的攻击能力。