神经网络后门攻击与防御综述

当前,深度神经网络(Deep Neural Network,DNN)得到了迅速发展和广泛应用,由于其具有数据集庞大、模型架构复杂的特点,用户在训练模型的过程中通常需要依赖数据样本、预训练模型等第三方资源.然而,不可信的第三方资源为神经网络模型的安全带来了巨大的威胁,最典型的是神经网络后门攻击.攻击者通过修改数据集或模型的方式实现向模型中植入后门,该后门能够与样本中的触发器(一种特定的标记)和指定类别建立强连接关系,从而使得模型对带有触发器的样本预测为指定类别.为了更深入地了解神经网络后门攻击原理与防御方法,本文对神经网络后门攻击和防御进行了体系化的梳理和分析.首先,本文提出了神经网络后门攻击的四大要素,并建立了神经网络后门攻防模型,阐述了在训练神经网络的四个常规阶段里可能受到的后门攻击方式和防御方式;其次,从神经网络后门攻击和防御两个角度,分别基于攻防者能力,从攻防方式、关键技术、应用场景三个维度对现有研究进行归纳和比较,深度剖析了神经网络后门攻击产生的原因和危害、攻击的原理和手段以及防御的要点和方法;最后,进一步探讨了神经网络后门攻击所涉及的原理在未来研究上可能带来的积极作用.

深度神经网络后门防御综述

深度学习在各领域全面应用的同时,在其训练阶段和推理阶段也面临着诸多安全威胁。神经网络后门攻击是一类典型的面向深度学习的攻击方式,攻击者通过在训练阶段采用数据投毒、模型编辑或迁移学习等手段,向深度神经网络模型中植入非法后门,使得后门触发器在推理阶段出现时,模型输出会按照攻击者的意图偏斜。这类攻击赋予攻击者在一定条件下操控模型输出的能力,具有极强的隐蔽性和破坏性。因此,有效防御神经网络后门攻击是保证智能化服务安全的重要任务之一,也是智能化算法对抗研究的重要问题之一。本文从计算机视觉领域出发,综述了面向深度神经网络后门攻击的防御技术。首先,对神经网络后门攻击和防御的基础概念进行阐述,分析了神经网络后门攻击的三种策略以及建立后门防御机制的阶段和位置。然后,根据防御机制建立的不同阶段或位置,将目前典型的后门防御方法分为数据集级、模型级、输入级和可认证鲁棒性防御四类。每一类方法进行了详细的分析和总结,分析了各类方法的适用场景、建立阶段和研究现状。同时,从防御的原理、手段和场景等角度对每一类涉及到的具体防御方法进行了综合比较。最后,在上述分析的基础上,从针对新型后门攻击的防御方法、其他领域后门防御方法、更通用的后门防御方法、和防御评价基准等角度对后门防御的未来研究方向进行了展望。

基于GRU神经网络的IPv6 DDoS攻击实时检测与防御研究

针对IPv6的大规模DDoS攻击,需要开发出更为高效的攻击检测和防御手段。研究分析了IPv6 DDoS攻击的特点,介绍了基于机器学习的攻击检测技术,以及常见的分布式拒绝服务(DDoS)防御策略,构建了基于门控循环单元(GRU)的深度学习DDoS检测模型,通过提取流量统计特征和频域特征,训练GRU网络进行攻击识别,设计了集成GRU检测与执行防御策略的IPv6 DDoS防御系统。

深度神经网络中的后门攻击与防御技术综述

神经网络后门攻击旨在将隐藏的后门植入到深度神经网络中,使被攻击的模型在良性测试样本上表现正常,而在带有后门触发器的有毒测试样本上表现异常,如将有毒测试样本的类别预测为攻击者的目标类。对现有攻击和防御方法进行全面的回顾,以攻击对象作为主要分类依据,将攻击方法分为数据中毒攻击、物理世界攻击、中毒模型攻击和其他攻击等类别。从攻防对抗的角度对现有后门攻击和防御的技术进行归纳总结,将防御方法分为识别有毒数据、识别中毒模型、过滤攻击数据等类别。从深度学习几何原理、可视化等角度探讨深度神经网络后门缺陷产生的原因,从软件工程、程序分析等角度探讨深度神经网络后门攻击和防御的困难以及未来发展方向。希望为研究者了解深度神经网络后门攻击与防御的研究进展提供帮助,为设计更健壮的深度神经网络提供更多启发。

基于对比学习的图神经网络后门攻击防御方法

针对现有的后门攻击防御方法难以处理非规则的非结构化的离散的图数据的问题,为了缓解图神经网络后门攻击的威胁,提出了一种基于对比学习的图神经网络后门攻击防御方法(CLB-Defense)。具体来说,基于对比学习无监督训练的对比模型查找可疑后门样本,采取图重要性指标以及标签平滑策略去除训练数据集中的扰动,实现对图后门攻击的防御。最终,在4个真实数据集和5主流后门攻击方法上展开防御验证,结果显示CLB-Defense能够平均降低75.66%的攻击成功率(与对比算法相比,改善了54.01%)。

基于多尺度卷积神经网络的DDoS攻击检测方法

近年来,网络安全面临着日益严峻的挑战,其中分布式拒绝服务(DDoS)攻击是网络威胁中的一种常见形式。为了应对这一挑战,提出了一种基于多尺度卷积神经网络(MSCNN)的DDoS攻击检测方法。在CICDDoS2019day1数据集训练模型,CICDDoS2019day2数据集测试模型检测性能。通过利用MSCNN对网络流量进行预测和分类,能够有效识别DDoS攻击并减少误报率。实验表明,MSCNN方法在准确性、召回率、F1得分性能指标上优于SVM、DNN、CNN、LSTM和GRU。

面向深度神经网络的后门攻击研究综述

随着深度神经网络(deep neural networks,DNN)的广泛应用,深度神经网络模型的安全性问题日益突出。后门攻击是一种常见的攻击方式,其目的在于恶意改变DNN模型训练后的表现而不被人类视觉发现。文章介绍了深度神经网络及其后门攻击的概念,详细描述了深度学习模型中的后门攻击范式、后门评估指标、后门设置及计算机视觉领域的后门攻击等内容,并对其优缺点进行了总结和评析,此外还介绍了后门攻击技术在相关领域的一些积极应用。最后,对未来DNN后门防御技术研究进行了展望。

深度神经网络模型水印研究进展

随着深度神经网络在诸多领域的成功应用,以神经网络水印为代表的深度模型知识产权保护技术在近年来受到了广泛关注。对现有的深度神经网络模型水印方法进行综述,梳理了目前为了保护模型知识产权而提出的各类水印方案,按照提取水印时所具备的不同条件,将其分为白盒水印、黑盒水印和无盒水印3类方法,并对各类方法按照水印嵌入机制或适用模型对象的不同进行细分,深入分析了各类方法的主要原理、实现手段和发展趋势。然后,对模型水印的攻击方法进行了系统总结和归类,揭示了神经网络水印面对的主要威胁和安全问题。在此基础上,对各类模型水印中的经典方法进行了性能比较和分析,明确了各个方法的优势和不足,帮助研究者根据实际的应用场景选用合适的水印方法,为后续研究提供基础。最后,讨论了当前深度神经网络模型水印面临的挑战,并展望未来可能的研究方向,旨在为相关的研究提供参考。

基于深度神经网络AdaMod优化模型的来袭目标攻击意图识别

海上舰艇防空反导作战基于目标攻击意图识别是现代舰艇防空技术的研究热点;来袭目标攻击意图识别是战场态势分析的一个重要部分,以往是通过先验知识和先验概率进行量化分析与明确攻击意图识别特征值的影响权重;深度神经网络可通过自适应学习目标攻击意图的特征值,可以在缺乏先验知识的条件下,通过小样本集的目标攻击意图的特征值训练,学习特征数据和攻击意图识别之间的对应关系与映射;通过引入GeLUs激活函数和AdaMod优化算法加快模型收敛,并解决了Adam模型可能无法收敛到最优解的问题;实验结果显示文中提出的模型可以在先验知识不足及训练数据规模小的情况下,有效识别来袭目标攻击意图,同时保证更高的准确率。

深度神经网络模型数字水印技术研究进展综述

近年来,深度神经网络模型在各种应用领域都取得了巨大的成功,训练先进的深度神经网络模型仍需要大规模的数据集、高昂的算力成本和优异的算法思想,生成的深度神经网络模型成为一种宝贵的资源,也是完成人工智能应用领域某项特定任务的核心算法。因此,深度神经网络模型的安全则变得极其重要,利用数字水印版权保护技术保障模型的安全已经成为人工智能安全领域一个重要的研究方向。为了综述深度神经网络模型数字水印版权保护技术的最新研究进展,首先介绍了深度神经网络模型数字水印技术分类;其次介绍了深度神经网络模型数字水印版权保护技术基础概况;再次归纳总结了深度神经网络模型数字水印版权保护技术的研究方法;最后总结并展望了深度神经网络模型数字水印版权保护领域的研究重点和发展方向。

深度神经网络的对抗攻击及防御方法综述

深度神经网络正在引领人工智能新一轮的发展高潮,在多个领域取得了令人瞩目的成就。然而,有研究指出深度神经网络容易遭受对抗攻击的影响,导致深度神经网络输出错误的结果,其安全性引起了人们极大的关注。文中从深度神经网络安全性的角度综述了对抗攻击与防御方法的研究现状。首先,围绕深度神经网络的对抗攻击问题简述了相关概念及存在性解释;其次,从基于梯度的对抗攻击、基于优化的对抗攻击、基于迁移的对抗攻击、基于GAN的对抗攻击和基于决策边界的对抗攻击的角度介绍了对抗攻击方法,分析每种攻击方法的特点;再次,从基于数据预处理、增强深度神经网络模型的鲁棒性和检测对抗样本等3个方面阐述了对抗攻击的防御方法;然后,从语义分割、音频、文本识别、目标检测、人脸识别、强化学习等领域列举了对抗攻击与防御的实例;最后,通过对对抗攻击与防御方法的分析,展望了深度神经网络中对抗攻击和防御的发展趋势。

基于压缩感知的神经网络实时综合防御策略

近年来,基于深度神经网络的视觉识别模型因其在准确率、成本及效率等方面的优势而广泛应用于自动驾驶、工业检测及无人机导航等领域.而深度神经网络自身易受数字域或物理域对抗样本攻击导致模型误判,因此其在无人驾驶等具有强鲁棒性、高实时性要求的场景中部署和应用可能为系统引入新的风险.现有的防御方案在增强模型鲁棒性的同时往往造成准确率明显下降,且往往不能对像素攻击和补丁攻击均提供较强防御能力.因此,设计一种精度高且对多类对抗攻击均具有强鲁棒性的实时综合防御策略成为深度神经网络视觉方案落地应用的关键.本文提出一种基于压缩感知的神经网络实时综合防御策略ComDCT,首先构建图像压缩感知压缩域与其稀疏离散余弦系数之间的映射神经网络,并将网络输出的离散余弦系数通过离散余弦逆变换恢复为去除对抗性扰动的图像作为分类器输入,以降低对抗样本攻击成功率.其次,本文提出通过引入分类损失进一步提升防御策略的综合性能,并根据防御者是否掌握分类模型参数结构等信息分析讨论并验证了黑盒、白盒两种防御模式下引入分类损失的有效性.相比于ComDefend、MF、TVD、LRR等多种防御方法,本文提出的基于压缩感知的神经网络实时综合防御策略在白盒防御模式下防御性能综合指标PDA在LISA、SVHN数据集上分别提升11.88%、7.01%以上,黑盒防御模式下分别提升9.25%、6.7%以上.

深度神经网络的对抗样本攻击与防御综述

近年来,以深度神经网络为代表的人工智能技术已经在很多应用领域取得了巨大的成功,并且逐渐改变了人们的生产和生活方式,但是其安全性和鲁棒性问题也引起了人们的广泛关注.而对抗样本的攻击与防御已经成为了该领域里最重要的一个研究方向,两者之间的军事对抗一直在不断的演进.文章首先为对抗样本攻击进行整理和归纳;然后,从硬件部署计算的角度对现有的对抗样本防御方法进行了梳理;最后,指出了未来若干个值得关注的研究方向.

神经网络中基于数据完整性抽样审计算法的中毒攻击检测方案

为了解决大多数现有的检测和防御方法只能检测已知的中毒攻击,而不能防御其他类型中毒攻击的问题,提出了一种带数据恢复的中毒攻击检测方案(PAD-DR),以有效地检测中毒攻击并恢复神经网络中中毒的数据.首先,该方案可以检测各种中毒攻击.将数据采样检测算法与神经网络中输入层节点的实时数据检测方法相结合,使系统能够确保训练数据的完整性和可用性,避免被更改或损坏.其次,该方案可以恢复中毒攻击中损坏或中毒的训练数据.将柯西-里德-所罗门(CRS)码技术应用于编码训练数据,并将其单独存储,一旦检测到中毒攻击并且导致数据受损,系统就可以从所有n个存储中的任何k个节点获取数据,以恢复原始的训练数据.最后,给出了PAD-DR方案的形式化证明,证明了该方案能够抵御中毒攻击、抵御临时伪造和篡改攻击,以及准确恢复数据.

结合对比学习的图神经网络防御方法

尽管图神经网络在图表示学习领域中已取得了较好性能,然而研究表明图神经网络易受图结构对抗攻击,即通过对图结构添加精心设计的扰动会使图神经网络的性能急剧下降。目前,主流的图结构去噪方法虽能有效防御图结构对抗攻击,但由于输入图遭受对抗攻击程度的不确定性,该类方法在输入图未受攻击或攻击强度较小时易产生较多误识别,反而损害图神经网络预测结果。对此,提出一种结合对比学习的图神经网络防御方法(CLD-GNN)。该方法在基于特征相似性去噪的基础上,根据攻击后连边端点间标签不一致的特点,使用标签传播算法获取未标记节点的伪标签,基于连边端点间伪标签的不一致性去除可能的攻击边,获得净化图;然后分别对净化图和输入图进行图卷积;最后应用对比学习对齐两个图上的预测标签信息,修正净化图节点的特征表示。在图对抗攻击的3个基准数据集、2个攻击场景上进行防御实验,实验结果表明,CLDGNN不仅缓解了图去噪方法损害节点分类预测效果问题,而且还能在较强攻击场景下表现出较优异的防御能力。

深度神经网络结合蚁群算法的躲避攻击多目标对抗方法

针对深度神经网络在躲避攻击多目标对抗方法中输入的数据易导致机器误解码,提出一种深度神经网络结合蚁群算法的躲避攻击多目标对抗方法。设计一种与变换器和多个模型组成的体系结构,利用变换器生成一个多目标的对抗性样本,利用深度学习训练的分类器对输入值进行分类;引入蚁群算法,利用蚂蚁互相交流学习的正反馈原理保证算法的收敛性和寻优速度;融合两种算法的优势,实现躲避攻击的多目标对抗。实验结果表明,相比其他现有方法,该方法在躲避攻击多目标对抗方面更具优势,实现了100%的攻击成功率。

面向图神经网络的对抗攻击与防御综述

面向已有的图神经网络的攻击与防御方法,较全面地综述了图神经网络对抗攻防技术与鲁棒性分析。首先,综述了图神经网络在不同任务下的对抗攻击与基于不同策略的防御方法,并全面介绍了鲁棒性分析技术;随后,介绍了常用的基准数据集与评价指标;最后,提出了未来可能的研究方向和发展趋势。

一种基于双向长短期记忆神经网络的Web攻击检测

当前,网络空间安全形势日益严重,这是因为网络攻击手段层出不穷。其中,跨站脚本(cross-site scripting,XSS)攻击和结构化查询语言(structured query language,SQL)注入攻击是2种较为常见的网络攻击方式。由于它们的有效载荷样式多样,导致传统的基于规则的检测以及基于特征的机器学习难以对其进行检测。为了提高对Web攻击的检测效果,降低人工提取特征的繁杂度,提出了一种基于双向长短期记忆神经网络的Web攻击检测方法:使用字符向量化提取Web攻击有效特征的序列,并映射到特征向量,嵌入向量到神经网络中,然后使用双向长短期记忆递归神经网络训练和测试模型。结果表明,该检测方法在真实数据集中的检测准确率达到99.35%,召回率达到99.49%,可以同时检测XSS攻击和SQL注入攻击。证明了这种基于深度学习的检测方法可以较大规模地应用于Web攻击感知平台中。

基于深度神经网络的网络入侵路径预测数学建模研究

考虑到网络攻击行为的多样性,导致网络入侵路径预测的效果不佳等问题,提出基于深度神经网络的网络入侵路径预测数学建模研究.利用深度神经网络定义网络攻击行为,确定攻击行为集函数;根据网络入侵路径的关系图,计算网络入侵攻击值,根据关联匹配原理,得到入侵路径节点,在相同的时间节点内,对网络入侵路径进行报警处理.实验结果表明,这种模型不仅可以提高网络入侵路径预测的精度,还可以满足网络入侵路径预测质量要求.

基于可攻击空间假设的陷阱式集成对抗防御网络

如今,深度神经网络在各个领域取得了广泛的应用.然而研究表明,深度神经网络容易受到对抗样本的攻击,严重威胁着深度神经网络的应用和发展.现有的对抗防御方法大多需要以牺牲部分原始分类精度为代价,且强依赖于已有生成的对抗样本所提供的信息,无法兼顾防御的效力与效率.因此基于流形学习,从特征空间的角度提出可攻击空间对抗样本成因假设,并据此提出一种陷阱式集成对抗防御网络Trap-Net. Trap-Net在原始模型的基础上向训练数据添加陷阱类数据,使用陷阱式平滑损失函数建立目标数据类别与陷阱数据类别间的诱导关系以生成陷阱式网络.针对原始分类精度损失问题,利用集成学习的方式集成多个陷阱式网络以在不损失原始分类精度的同时,扩大陷阱类标签于特征空间所定义的靶标可攻击空间.最终, Trap-Net通过探测输入数据是否命中靶标可攻击空间以判断数据是否为对抗样本.基于MNIST、K-MNIST、F-MNIST、CIFAR-10和CIFAR-100数据集的实验表明, Trap-Net可在不损失干净样本分类精确度的同时具有很强的对抗样本防御泛化性,且实验结果验证可攻击空间对抗成因假设.在低扰动的白盒攻击场景中, Trap-Net对对抗样本的探测率高达85%以上.在高扰动的白盒攻击和黑盒攻击场景中, Trap-Net对对抗样本的探测率几乎高达100%.与其他探测式对抗防御方法相比, Trap-Net对白盒和黑盒对抗攻击皆有很强的防御效力.为对抗环境下深度神经网络提供一种高效的鲁棒性优化方法.