视觉识别深度学习模型的黑盒迁移攻击方法综述

随着深度学习的快速发展,视觉领域的众多任务得到了有效解决。在性能不断提升的同时,对抗样本的发现引发了关于深度学习可靠性、安全性的反思。相较于早期的白盒攻击,黑盒迁移攻击无需获取被攻击模型的网络架构、参数等敏感信息,因而不易察觉,威胁相对较大。目前的综述文献主要围绕对抗攻击或对抗攻击和防御做全面总结,对视觉识别深度模型的黑盒迁移攻击方法往往未做专题性回顾与展望,为此文中特别围绕黑盒迁移攻击的最新进展进行了全面的梳理和总结。首先,从优化和学习两种视角介绍了黑盒迁移攻击的基本模型。对于优化视角下的迁移攻击,具体从梯度扰动更新、样本邻域增广以及模型决策代理等三方面对现有文献做了梳理和分析。对于学习视角下的迁移攻击,具体从通用扰动和生成扰动两方面对现有文献做了进一步梳理和分析。最后,总结出了当前黑盒迁移攻击方法的两个核心:最优解平滑性和特征语义引导,同时指出未来工作的重点和难点在于黑盒迁移攻击的可解释性与泛化性。

黑盒与逆向工程概念在数字电路基础实验教学中的应用

随着电子信息技术的飞速发展,传统数字电路实验内容虽较为经典,其授课模式难以真实反映学生实验完成情况,难以有效促进学生对理论课程知识的深入理解。对此摒弃传统FPGA黑盒实验系统中的正向验证方式,采取逆向分析方法,通过对电路外特性测试,进行电路功能判断,强化学生数字电路理论知识,提高学生逆向工程、自主设计和工程应用能力。实验设计符合工程教育认证标准,提高数字电路实验教学质量。

基于随机平滑的通用黑盒认证防御

近年来,基于深度神经网络(DNNs)的图像分类模型在人脸识别、自动驾驶等关键领域得到了广泛应用,并展现出卓越的性能.然而,深度神经网络容易受到对抗样本攻击,从而导致模型错误分类.为此,提升模型自身的鲁棒性已成为一个主要的研究方向.目前大部分的防御方法,特别是经验防御方法,都基于白盒假设,即防御者拥有模型的详细信息,如模型架构和参数等.然而,模型所有者基于隐私保护的考虑不愿意共享模型信息.即使现有的黑盒假设的防御方法,也无法防御所有范数扰动的攻击,缺乏通用性.因此,本文提出了一种适用于黑盒模型的通用认证防御方法.具体而言,本文首先设计了一个基于查询的无数据替代模型生成方案,在无需模型的训练数据与结构等先验知识的情况下,利用查询和零阶优化生成高质量的替代模型,将认证防御场景转化为白盒,确保模型的隐私安全.其次,本文提出了基于白盒替代模型的随机平滑和噪声选择方法,构建了一个能够抵御任意范数扰动攻击的通用认证防御方案.本文通过分析比较原模型和替代模型在白盒认证防御上的性能,确保了替代模型的有效性.相较于现有方法,本文提出的通用黑盒认证防御方案在CIFAR10数据集上的效果取得了显著的提升.实验结果表明,本文方案可以保持与白盒认证防御方法相似的效果.与之前基于黑盒的认证防御方法相比,本文方案在实现了所有L p的认证防御的同时,认证准确率提升了20%以上.此外,本文方案还能有效保护原始模型的隐私,与原始模型相比,本文方案使成员推理攻击的成功率下降了5.48%.

一种新型深度分类神经网络黑盒指纹水印算法

提出了一种新型的强鲁棒黑盒指纹水印框架及方法。首先,提出了一种基于数字水印技术的高视觉质量的、具有一定安全性的毒化图像构造方法,将指示用户身份的信息嵌入到毒化图像,实现多用户场景下深度神经网络模型的可追溯性,并降低毒化图像被伪造的概率;其次,提出了毒化特征加强模块来优化模型训练;最后,设计了对抗训练策略,有效地学习到嵌入强度很小的指纹水印。大量的仿真实验表明,所构造的毒化图像中的指纹水印具有非常好的隐蔽性,大幅超越了WaNet等同类最优模型水印方法;以分类性能降低不超过2.4%的代价获得了超过99%的黑盒模型指纹水印验证率;且即便在指纹水印相差1位时亦能准确地进行模型水印版权验证。这些性能总体上优于同类最优的模型水印方法,表明了所提方法的可行性和有效性。

基于近端线性组合的信号识别神经网络黑盒对抗攻击方法

随着深度学习在无线通信领域特别是信号调制识别方向的广泛应用,神经网络易受对抗样本攻击的问题同样影响着无线通信的安全。针对无线信号在通信中难以实时获得神经网络反馈且只能访问识别结果的黑盒攻击场景,提出了一种基于近端线性组合的黑盒查询对抗攻击方法。该方法首先在数据集的一个子集上对每个原始信号样本进行近端线性组合,即在非常靠近原始信号的范围内与目标信号进行线性组合(加权系数不大于0.05),并将其输入待攻击网络以查询识别结果。通过统计网络对全部近端线性组合识别出错的数量,确定每类原始信号最容易受到线性组合影响的特定目标信号,将其称为最佳扰动信号。在攻击测试时,根据信号的类别选择对应最佳扰动信号执行近端线性组合,生成对抗样本。实验结果显示,该方法在选定子集上将每种调制类别的最佳扰动信号添加在全部数据集上能将神经网络识别准确率从94%降至50%,且相较于添加随机噪声攻击的扰动功率更小。此外,生成的对抗样本对于结构近似的神经网络具有一定迁移性。这种方法在统计查询后生成新的对抗样本时,易于实现且无需再进行黑盒查询。

针对身份证文本识别的黑盒攻击算法研究

身份证认证场景多采用文本识别模型对身份证图片的字段进行提取、识别和身份认证,存在很大的隐私泄露隐患.并且,当前基于文本识别模型的对抗攻击算法大多只考虑简单背景的数据(如印刷体)和白盒条件,很难在物理世界达到理想的攻击效果,不适用于复杂背景、数据及黑盒条件.为缓解上述问题,本文提出针对身份证文本识别模型的黑盒攻击算法,考虑较为复杂的图像背景、更严苛的黑盒条件以及物理世界的攻击效果.本算法在基于迁移的黑盒攻击算法的基础上引入二值化掩码和空间变换,在保证攻击成功率的前提下提升了对抗样本的视觉效果和物理世界中的鲁棒性.通过探索不同范数限制下基于迁移的黑盒攻击算法的性能上限和关键超参数的影响,本算法在百度身份证识别模型上实现了100%的攻击成功率.身份证数据集后续将开源.

基于特征拓扑融合的黑盒图对抗攻击

在大数据时代,数据之间的紧密关联性是普遍存在的,图数据分析挖掘已经成为大数据技术的重要发展趋势。近几年,图神经网络作为一种新型的图表示学习工具引起了学术界和工业界的广泛关注。目前图神经网络已经在很多实际应用中取得了巨大的成功。最近人工智能的安全性和可信性成为了人们关注的重点,很多工作主要针对图像等规则数据的深度学习对抗攻击。文中主要聚焦于图数据这种典型非欧氏结构的黑盒对抗攻击问题,在图神经网络模型信息(结构、参数)未知的情况下,对图数据进行非随机微小扰动,从而实现对模型的对抗攻击,模型性能随之下降。基于节点选择的对抗攻击策略是一类重要的黑盒图对抗攻击方法,但现有方法在选择对抗攻击节点时主要依靠节点的拓扑结构信息(如度信息)而未充分考虑节点的特征信息,文中面向引文网络提出了一种基于特征拓扑融合的黑盒图对抗攻击方法。所提方法在选择重要性节点的过程中将图节点特征信息和拓扑结构信息进行融合,使得选出的节点在特征和拓扑两方面对于图数据都是重要的,攻击者对挑选出的重要节点施加不易察觉的扰动后对图数据产生了较大影响,进而实现对图神经网络模型的攻击。在3个基准数据集上进行实验,结果表明,所提出的攻击策略在模型参数未知的情况下能显著降低模型性能,且攻击效果优于现有的方法。

面向图像分析领域的黑盒对抗攻击技术综述

图像领域下的黑盒攻击(Black-box Attack)已成为当前深度神经网络对抗攻击领域的热点研究方向.黑盒攻击的特点在于仅利用模型输入与输出的映射关系,而无需模型内部参数信息及梯度信息,通过向图像数据加入人类难以察觉的微小扰动,进而造成深度神经网络(Deep Neural Network,DNN)推理与识别失准,导致图像分析任务的准确率下降,因此由黑盒攻击引起的鲁棒性问题成为当前DNN模型研究的关键问题.为提高黑盒攻击在图像分析任务下的攻击成效,现有相关研究以低查询次数、低扰动幅度、高攻击成功率作为优化目标,针对不同图像分析任务采用不同的攻击模式与评估方式.本文以主流的图像分析任务为出发点,阐述图像分类、目标检测与图像分割三类任务中黑盒攻击算法的核心思想和难点,总结黑盒对抗攻击领域中的关键概念与评估指标,分析不同图像分析任务中黑盒对抗攻击的实现策略与研究目标.阐明各个黑盒攻击算法间的关系与优势,从攻击成功率、查询次数以及相似性度量等多个方面对不同的黑盒攻击算法进行性能比较,以提出目前图像分析领域中黑盒对抗攻击仍存在的主要挑战与未来研究方向.

基于生成对抗网络的目标检测黑盒迁移攻击算法

目标检测被广泛应用到自动驾驶、工业、医疗等各个领域.利用目标检测算法解决不同领域中的关键任务逐渐成为主流.然而基于深度学习的目标检测模型在对抗样本攻击下,模型的鲁棒性存在严重不足,通过加入微小扰动构造的对抗样本很容易使模型预测出错.这极大地限制了目标检测模型在关键安全领域的应用.在实际应用中的模型普遍是黑盒模型,现有的针对目标检测模型的黑盒攻击相关研究不足,存在鲁棒性评测不全面,黑盒攻击成功率较低,攻击消耗资源较高等问题.针对上述问题,提出基于生成对抗网络的目标检测黑盒攻击算法,所提算法利用融合注意力机制的生成网络直接输出对抗扰动,并使用替代模型的损失和所提的类别注意力损失共同优化生成网络参数,可以支持定向攻击和消失攻击两种场景.在Pascal VOC数据集和MS COCO数据集上的实验结果表明,所提方法比目前攻击方法的黑盒迁移攻击成功率更高,并且可以在不同数据集之间进行迁移攻击.

基于动量迭代快速梯度符号的SAR-ATR深度神经网络黑盒攻击算法

合成孔径雷达自动目标识别(SAR-ATR)领域缺乏有效的黑盒攻击算法,为此,该文结合动量迭代快速梯度符号(MI-FGSM)思想提出了一种基于迁移的黑盒攻击算法。首先结合SAR图像特性进行随机斑点噪声变换,缓解模型对斑点噪声的过拟合,提高算法的泛化性能;然后设计了能够快速寻找最优梯度下降方向的ABN寻优器,通过模型梯度快速收敛提升算法攻击有效性;最后引入拟双曲动量算子获得稳定的模型梯度下降方向,使梯度在快速收敛过程中避免陷入局部最优,进一步增强对抗样本的黑盒攻击成功率。通过仿真实验表明,与现有的对抗攻击算法相比,该文算法在MSTAR和FUSAR-Ship数据集上对主流的SAR-ATR深度神经网络的集成模型黑盒攻击成功率分别提高了3%~55%和6.0%~57.5%,而且生成的对抗样本具有高度的隐蔽性。

基于动态替代结构增强黑盒对抗攻击

现有黑盒对抗攻击方法可以通过替代模型模拟目标黑盒模型的决策边界,并据此生成对抗样本,但替代模型通常具有固定的结构,这在某种程度上可能会限制其攻击效果。为了解决这一问题,提出了一种基于动态替代结构增强黑盒对抗攻击的方法。方法包含一个新颖的动态网络结构,能够自适应地寻找与目标模型最匹配的替代模型结构,全过程不依赖任何先验知识。实验证明了该方法的攻击成功率较现有方法有所提升,且替代模型的决策边界与目标模型的决策边界吻合度高,使得原本设计用于白盒攻击的策略也能有效地应用于黑盒攻击。

采用1-bit压缩感知的信号识别网络黑盒对抗攻击方法

在无线信号识别的神经网络对抗样本研究中,针对目标网络结构参数与数据集均未知,且查询无法获取识别置信度或识别结果的黑盒攻击场景,提出一种采用1-bit压缩感知的对抗样本生成方法。假设攻击者能够通过查询获取某一批信号样本在待攻击模型下的识别准确率。首先,将模型准确率的梯度视为待感知的稀疏变量,并利用一批样本准确率高于或低于另一批的信息(用1或-1表示)构建1-bit压缩感知模型。其次,通过多次查询并估计梯度,结合0范数约束,使用梯度下降法迭代优化信号扰动,从而生成有效的对抗样本。最后,使用对抗样本攻击目标网络以降低识别准确率。实验结果表明,该方法在公开信号调制识别数据集上能够将识别准确率从79.02%降低至65.39%。相比于现有其他方法,该方法进一步拓展了黑盒攻击的限制条件。

黑盒测试等价类划分法中等价类划分规则的优化

等价类划分法在黑盒测试中具有不可代替的作用,是边界值分析的基础。然而,当前的等价类划分法的划分规则存在不合理性,对测试用例设计过程造成了一定影响。文章分析了已有的等价类划分法的划分规则,指出了存在的问题,并对其进行了修正和优化,最终形成了新的划分规则。经验证,优化后的规则易于使用且逻辑清晰,能够帮助测试设计人员进一步提高工作效率。

AIGC是一只“黑盒子”

关于AIGC的使用和治理,韩国有一些独特的经验与启示。一、AIGC在韩国的应用。在韩国,应用AIGC最积极的是游戏行业,目前已有20%的游戏公司采用了生成式人工智能技术,而出版是使用AIGC最不积极的行业。随着生成式人工智能的发展,人工智能的生态系统和相关的商业机会正在增长,预计在2023至2030年期间,韩国市场的年平均增长率将达到35%。

基于重要特征的视觉目标跟踪可迁移黑盒攻击方法

视频目标跟踪的黑盒攻击方法受到越来越多的关注,目的是评估目标跟踪器的稳健性,进而提升跟踪器的安全性.目前大部分的研究都是基于查询的黑盒攻击,尽管取得较好的攻击效果,但在实际应用中往往不能获取大量的查询以进行攻击.本文提出一种基于迁移的黑盒攻击方法,通过对特征中与跟踪目标高度相关而不受源模型影响的重要特征进行攻击,将其重要程度降低,同时增强不重要的特征以实现具有可迁移性的攻击,即通过反向传播获得的所对应的梯度来体现其特征的重要程度,随后通过梯度得到的加权特征进行攻击.此外,本文使用视频相邻两帧之间相似这一时序信息,提出基于时序感知的特征相似性攻击方法,通过减小相邻帧之间的特征相似度以进行攻击.本文在目前主流的深度学习目标跟踪器上评估了提出的攻击方法,在多个数据集上的实验结果证明了本文方法的有效性及强可迁移性,在OTB数据集中,SiamRPN跟踪模型被攻击后跟踪成功率以及精确度分别下降了71.5%和79.9%.

黑盒遗传算法下异构网络信息安全漏洞深度挖掘

为设计有效测试信息用例,深度、全面挖掘异构网络信息安全漏洞,提出黑盒遗传算法下异构网络信息安全漏洞深度挖掘方法.其核心基于威胁概率计算的异构网络态势感知方法,在分析异构网络环境后,计算目前网络攻击状态与历史攻击状态之间相关性,分析网络威胁概率判断网络态势;针对属于异常态势的网络,基于黑盒遗传算法的漏洞深度挖掘模型,使用驱动Fuzzing测试工具,设计有效测试信息用例,将测试信息用例从异构网络链路层,发送至目标服务器,根据目标服务器所接收数据包中测试信息用例的缺失状态,便可判断信息安全是否存在漏洞.经测试,所提方法在挖掘信息安全漏洞时,所设计的有效测试信息用例的比例明显增大,对多种漏洞信息均可准确挖掘,具备深度、全面挖掘异构网络信息安全漏洞能力.

黑盒验证:无人驾驶系统安全挑战的解决途径

无人驾驶是未来交通的必然.当今,无人驾驶汽车在限制场景中已经展示出广泛的应用前景,如园区的物流配送、矿区的自动运载、固定路线的垃圾清除等.在无人驾驶的大规模应用之前,急需解决的挑战是无人驾驶的安全性.全球各国已经充分意识到了无人驾驶安全的重要性,不仅发布了多角度的无人驾驶安全技术标准,也出台了相关政策用以规范无人驾驶车辆的安全管理.黑盒验证是提高无人驾驶系统安全性的关键解决途径.黑盒验证是指无人驾驶的软硬件研发完成之后,对其系统进行测试确认,最大程度保证其系统安全性.

基于黑盒水印的NLP神经网络版权保护

随着自然语言处理(NLP,natural language processing)技术的快速发展,语言模型在文本分类和情感分析中的应用不断增加。然而,语言模型容易遭到盗版再分发,对模型所有者的知识产权造成严重威胁。因此,研究者着手设计保护机制来识别语言模型的版权信息。现有的适用于文本分类任务的语言模型水印无法与所有者身份相关联,且鲁棒性不足以及无法再生成触发集。为了解决这些问题,提出一种新的适用于文本分类任务模型的黑盒水印方案,可以远程快速验证模型所有权。将模型所有者的版权消息和密钥通过密钥相关的哈希运算消息认证码(HMAC,hash-based message authentication code)得到版权消息摘要,由HMAC得到的消息摘要可以防止被伪造,具有很强的安全性。从原始训练集各个类别中随机挑选一定的文本数据,将摘要与文本数据结合构建触发集,并在训练过程中对语言模型嵌入水印。为了评估水印的性能,在IMDB电影评论、CNEWS中文新闻文本分类数据集上对3种常见的语言模型嵌入水印。实验结果表明,在不影响原始模型测试精度的情况下,所提出的水印验证方案的准确率可以达到100%。即使在模型微调和剪枝等常见攻击下,也能表现出较强的鲁棒性,并且具有抗伪造攻击的能力。同时,水印的嵌入不会影响模型的收敛时间,具有较高的嵌入效率。

一种基于几何探测的快速黑盒边界攻击算法

随着深度学习应用的愈发广泛,针对深度学习模型的安全性研究也变得至关重要.在商业应用中,深度学习的模型往往处于应用的底层,一旦对底层模型攻击成功,可能会给商业应用带来巨大的损失.好的攻击算法可以很好的对深度学习模型进行风险评估,从而避免损失.针对实际场景中存在的Hard-label问题,现存算法解决此问题都需要上万次查询,具有很高的攻击成本,提出了FastGBA(fast geometric boundary attack)攻击算法:一种在样本空间内针对决策边界进行几何探测的攻击算法,初始从具有较大扰动的对抗样本出发,进行二分逼近至决策边界附近,最终在决策边界附近进行邻域几何探测来缩短样本距离.FastGBA攻击算法在4个深度学习模型上同SurFree攻击算法以及HSJA(hop skip jump attack)攻击算法进行了对比实验,在查询次数不超过500次,中等扰动(L2距离≤10)的限制条件下,攻击成功率在4个深度学习模型上相较于SurFree攻击算法提升了14.5%~24.4%,相较于HSJA攻击算法提升了28.9%~36.8%.

用黑盒电弧模型的爆炸开关中直流电弧的仿真

爆炸开关是一种由炸药驱动、快速响应、高可靠性的直流断路器,已在ITER、EAST等多种失超保护系统中得到应用。作为一种直流断路器,电弧是决定其换流过程的主要因素,其水下燃弧、熄弧的特性的相关研究是目前此类断路器设计中的空白。电弧动态模型是研究电弧特性的常用方法,当建立的模型与试验过程中所观察到的断路器性能有良好的对应关系时,模型可用于建立爆炸开关的结构设计和换相特性之间的关系,为开关的设计优化提供理论依据。通过分析对比了几种不同的电弧模型,给出了适用于爆炸开关设计过程中的黑盒电弧模型,应用了Parameter Sweeping Strategy,研究了电弧模型中的参数取值规律,并结合试验验证了这种模型的可行性,为中国核聚变工程试验堆(CFETR)失超保护系统中爆炸开关中的研制提供了理论依据。