一种基于后门技术的深度强化学习水印框架

深度强化学习(DRL)已经证明了它在各种复杂任务中的有效性,因其出色的性能使其商业化正在急剧加速。生成一个DRL模型需要大量的计算资源和专业知识,使得一个训练有素的DRL模型已经成为人工智能应用程序和产品的核心知识产权。基于对DRL模型的产权保护,防止非法抄袭、未经授权的分发和复制,提出一种后门技术的DRL水印框架DrlWF,并使用一个全新的评价指标水印动作实现比例来衡量水印性能。通过向训练状态中添加水印,并使用带有水印的水印状态训练模型从而实现将水印嵌入至模型中。框架中的水印嵌入操作可以通过将水印嵌入到少量的训练数据中(仅需0.025%的训练数据)和不影响性能的奖励修改来实现。实验结果证明,在标准状态下,DRL模型仍具有良好的性能;在水印状态下,DRL模型性能将急剧下降,不足原有性能的1%,且水印动作执行比例达到了99%。通过急剧下降的性能以及模型对水印状态的动作表现,即可验证模型的所有权。此外,该水印具有良好的鲁棒性,在模型微调和模型压缩下,模型依然能够识别出水印,性能急剧下降且水印动作执行比例依旧达到了99%以上,证明了该DRL水印具有良好的鲁棒性。

神经网络后门攻击与防御综述

当前,深度神经网络(Deep Neural Network,DNN)得到了迅速发展和广泛应用,由于其具有数据集庞大、模型架构复杂的特点,用户在训练模型的过程中通常需要依赖数据样本、预训练模型等第三方资源.然而,不可信的第三方资源为神经网络模型的安全带来了巨大的威胁,最典型的是神经网络后门攻击.攻击者通过修改数据集或模型的方式实现向模型中植入后门,该后门能够与样本中的触发器(一种特定的标记)和指定类别建立强连接关系,从而使得模型对带有触发器的样本预测为指定类别.为了更深入地了解神经网络后门攻击原理与防御方法,本文对神经网络后门攻击和防御进行了体系化的梳理和分析.首先,本文提出了神经网络后门攻击的四大要素,并建立了神经网络后门攻防模型,阐述了在训练神经网络的四个常规阶段里可能受到的后门攻击方式和防御方式;其次,从神经网络后门攻击和防御两个角度,分别基于攻防者能力,从攻防方式、关键技术、应用场景三个维度对现有研究进行归纳和比较,深度剖析了神经网络后门攻击产生的原因和危害、攻击的原理和手段以及防御的要点和方法;最后,进一步探讨了神经网络后门攻击所涉及的原理在未来研究上可能带来的积极作用.

半监督图节点分类任务的清洁标签后门植入

半监督图学习旨在使用给定图中的各种先验知识推断未标记节点或图的类别,通过提升数据标注的自动化,使其具有较高的节点分类效率。作为一种深度学习架构,半监督图学习也面临后门攻击威胁,但目前尚未出现对半监督图节点分类任务有效的后门攻击方法。文中提出了一种针对半监督图节点分类模型的持久性清洁标签后门攻击方法,通过在未标记的训练数据上自适应地添加触发器和对抗扰动生成中毒样本,并在不修改标签的情况下训练得到中毒的半监督图节点分类模型。而攻击者可以较为隐蔽地对模型进行投毒,且投毒率不高于4%。同时为了保证后门在模型中的持久性,设计了一种超参数调节策略以选择最佳的对抗扰动尺寸。在多个半监督图节点分类模型与开源数据集上进行的大量实验,结果表明所提方法的攻击成功率最高可达96.25%,而模型在正常样本上的分类精度几乎没有损失。

深度神经网络后门防御综述

深度学习在各领域全面应用的同时,在其训练阶段和推理阶段也面临着诸多安全威胁。神经网络后门攻击是一类典型的面向深度学习的攻击方式,攻击者通过在训练阶段采用数据投毒、模型编辑或迁移学习等手段,向深度神经网络模型中植入非法后门,使得后门触发器在推理阶段出现时,模型输出会按照攻击者的意图偏斜。这类攻击赋予攻击者在一定条件下操控模型输出的能力,具有极强的隐蔽性和破坏性。因此,有效防御神经网络后门攻击是保证智能化服务安全的重要任务之一,也是智能化算法对抗研究的重要问题之一。本文从计算机视觉领域出发,综述了面向深度神经网络后门攻击的防御技术。首先,对神经网络后门攻击和防御的基础概念进行阐述,分析了神经网络后门攻击的三种策略以及建立后门防御机制的阶段和位置。然后,根据防御机制建立的不同阶段或位置,将目前典型的后门防御方法分为数据集级、模型级、输入级和可认证鲁棒性防御四类。每一类方法进行了详细的分析和总结,分析了各类方法的适用场景、建立阶段和研究现状。同时,从防御的原理、手段和场景等角度对每一类涉及到的具体防御方法进行了综合比较。最后,在上述分析的基础上,从针对新型后门攻击的防御方法、其他领域后门防御方法、更通用的后门防御方法、和防御评价基准等角度对后门防御的未来研究方向进行了展望。

基于样本损失值变化统一性的后门样本隔离

后门攻击对人工智能的应用构成潜在威胁。基于遗忘的鲁棒训练方法可通过隔离后门样本的子集并遗忘该子集,实现在不受信的数据集上训练无后门的模型。然而,错误隔离并遗忘干净样本会导致模型在干净数据上的性能受到损害。为了减少对干净样本的错误隔离,进而保护模型在干净数据上的性能,提出基于样本损失值变化统一性的后门样本隔离方案。后门样本训练过程中损失值的变化较大且较为统一,在隔离的潜在后门样本集中损失值变化统一性较低的样本可以被移除。实验结果表明,应用该方案能够减少对干净样本的错误隔离,在不影响后门防御效果的基础上保护了模型在干净数据上的性能。

神经网络水印技术研究进展

随着深度神经网络的推广应用,训练后的神经网络模型已经成为一种重要的资产并为用户提供服务.服务商在提供服务的同时,也更多地关注其模型的版权保护,神经网络水印技术应运而生.首先,分析水印及其基本需求,并对神经网络水印涉及的相关技术进行介绍;对深度神经网络水印技术进行对比,并重点对白盒和黑盒水印进行详细分析;对神经网络水印攻击技术展开对比,并按照水印攻击目标的不同,对水印鲁棒性攻击、隐蔽性攻击、安全性攻击等技术进行分类介绍;最后对未来方向与挑战进行探讨.

雷达像智能识别对抗研究进展

基于深度神经网络的雷达像智能识别技术已经成为雷达信息处理领域的前沿和热点。然而,深度神经网络模型易受到对抗攻击的威胁。攻击者可以在隐蔽的条件下误导智能目标识别模型做出错误预测,严重影响其识别精度和鲁棒性。该文梳理了近年来雷达像智能识别对抗技术发展现状,总结分析了现有雷达一维/二维像识别对抗攻击方法和防御方法的特点,最后讨论了当前雷达像智能识别对抗研究领域值得关注的5个开放问题。

基于对比学习的图神经网络后门攻击防御方法

针对现有的后门攻击防御方法难以处理非规则的非结构化的离散的图数据的问题,为了缓解图神经网络后门攻击的威胁,提出了一种基于对比学习的图神经网络后门攻击防御方法(CLB-Defense)。具体来说,基于对比学习无监督训练的对比模型查找可疑后门样本,采取图重要性指标以及标签平滑策略去除训练数据集中的扰动,实现对图后门攻击的防御。最终,在4个真实数据集和5主流后门攻击方法上展开防御验证,结果显示CLB-Defense能够平均降低75.66%的攻击成功率(与对比算法相比,改善了54.01%)。

面向深度神经网络的后门攻击研究综述

随着深度神经网络(deep neural networks,DNN)的广泛应用,深度神经网络模型的安全性问题日益突出。后门攻击是一种常见的攻击方式,其目的在于恶意改变DNN模型训练后的表现而不被人类视觉发现。文章介绍了深度神经网络及其后门攻击的概念,详细描述了深度学习模型中的后门攻击范式、后门评估指标、后门设置及计算机视觉领域的后门攻击等内容,并对其优缺点进行了总结和评析,此外还介绍了后门攻击技术在相关领域的一些积极应用。最后,对未来DNN后门防御技术研究进行了展望。

预训练模型辅助的后门样本自过滤防御方法

深度神经网络由于其出色的性能,被广泛地部署在各种环境下执行不同的任务,与此同时它的安全性变得越来越重要。近年来,后门攻击作为一种新型的攻击方式,对用户构成严重威胁。在训练阶段,攻击者对少量样本添加特定后门模式并标记为目标类以学习后门模型。后门模型可以以很高的概率将加入后门模式的测试样本识别为目标类,同时不影响正常样本的识别。用户通常无法掌握后门的先验信息,因此很难察觉后门攻击的存在。该文提出一种预训练模型辅助的后门样本自过滤方法,以防御后门攻击,包括目标类检测与后门样本自过滤两个部分。在第一部分,利用预训练模型提取样本特征,采用k近邻算法进行目标类检测;在第二部分,从非目标类样本中学习部分分类模型,之后多次执行“后门样本过滤”与“模型学习”的交替计算,在较好过滤后门样本的同时,也得到了完整的良性模型。

深度学习模型的版权保护研究综述

随着深度学习技术的迅猛发展,深度学习模型在图像分类、语音识别等领域得到了广泛应用。训练深度学习模型依赖大量的数据和算力,成本高昂,因此,出售已训练好的模型或者提供特定的服务(如DLaaS)成为一种商业模式。然而,如果模型遭到恶意用户窃取,则可能会对模型训练者的商业利益造成损害。此外,网络拓扑结构设计和参数训练的过程包含着模型训练者的智慧结晶,因此一个训练完备的模型应属于模型开发者的知识产权从而得到保护。近年来,深度神经网络水印成为一个新兴的研究课题,研究者将多媒体内容保护的方法引入深度学习模型保护领域,试图在深度神经网络模型中嵌入水印以验证模型的所有权。目前已有大量方法被提出,但缺乏梳理和概括。对神经网络水印领域已有的方法进行了梳理和总结,并探讨了该领域未来的研究方向。给出神经网络水印的模型框架,并介绍了分类模型、模型后门等基础概念。按照水印嵌入的机制将已有的方法分类为两类:一是嵌入网络内部,以网络内部信息作为载体;二是建立网络后门,将后门特殊映射关系作为水印。分别对基于这两种思想的深度神经网络水印方法进行了全面的阐述和总结,讨论了各方法的特点、优势和局限性,同时介绍并讨论了相应的水印攻击方法。通过分析水印中的白盒与黑盒场景可知,白盒分发的模型难以得到有效保护,而黑盒分发和黑盒验证场景下的神经网络水印防攻值得进一步的研究。

神经网络后门攻击研究

针对现有的神经网络后门攻击研究工作,首先介绍了神经网络后门攻击的相关概念;其次,从研究发展历程、典型工作总结、分类情况3个方面对神经网络后门攻击研究现状进行了说明;然后,对典型的后门植入策略进行了详细介绍;最后,对研究现状进行了总结并对未来的研究趋势进行了展望。

深度神经网络中的后门攻击与防御技术综述

神经网络后门攻击旨在将隐藏的后门植入到深度神经网络中,使被攻击的模型在良性测试样本上表现正常,而在带有后门触发器的有毒测试样本上表现异常,如将有毒测试样本的类别预测为攻击者的目标类。对现有攻击和防御方法进行全面的回顾,以攻击对象作为主要分类依据,将攻击方法分为数据中毒攻击、物理世界攻击、中毒模型攻击和其他攻击等类别。从攻防对抗的角度对现有后门攻击和防御的技术进行归纳总结,将防御方法分为识别有毒数据、识别中毒模型、过滤攻击数据等类别。从深度学习几何原理、可视化等角度探讨深度神经网络后门缺陷产生的原因,从软件工程、程序分析等角度探讨深度神经网络后门攻击和防御的困难以及未来发展方向。希望为研究者了解深度神经网络后门攻击与防御的研究进展提供帮助,为设计更健壮的深度神经网络提供更多启发。

深度神经网络的后门攻击研究进展

近年来,深度神经网络(Deep Neural Networks, DNNs)迅速发展,其应用领域十分广泛,包括汽车自动驾驶、自然语言处理、面部识别等,给人们的生活带来了许多便利。然而,DNNs的发展也埋下了一定的安全隐患。近年来,DNNs已经被证实易受到后门攻击,这主要是由于DNNs本身透明性较低以及可解释性较差,使攻击者可以趁虚而入。通过回顾神经网络后门攻击相关的研究工作,揭示了神经网络应用中潜在的安全与隐私风险,强调了后门领域研究的重要性。首先简要介绍了神经网络后门攻击的威胁模型,然后将神经网络后门攻击分为基于投毒的后门攻击和无投毒的后门攻击两大类,其中基于投毒的后门攻击又可以细分为多个类别;然后对神经网络后门攻击的发展进行了梳理和总结,对现有资源进行了汇总;最后对后门攻击未来的发展趋势进行了展望。

基于图片边界后门嵌入的图像识别攻击研究

采用公开数据集或预训练好的神经网络模型可以快速实现图像分析、语音识别等应用,但存在一定的风险或威胁。攻击者可以通过向开源训练数据或者训练模型中嵌入后门,使模型在接收到带有触发功能的数据时执行指定的后门行为。目前,图像识别的后门攻击采用的后门触发器大多在视觉上容易被发现,为此,文中提出一种基于图片边界后门嵌入的图像识别攻击方法。该方法向训练图片边界添加窄的有色带作为后门触发器,利用隐蔽的外形逃避视觉关注。在MNIST、CIFAR⁃10等图像识别数据集上对所提方法进行测试,实验结果表明,该后门可以稳定注入,并在毒药率为30%时,攻击成功率达到99.73%。相比于其他两种常见的后门攻击方法,所提方法攻击成功率更高,具有较强的攻击性和鲁棒性。

基于多级度量差值的神经网络后门检测方法

深度神经网络在各类任务中都展现出良好的性能,但由于深度学习模型缺乏透明性和不可解释性,在推理阶段触发恶意攻击者设定的后门时模型出现异常行为而导致性能下降.针对上述问题,提出了一种基于多级度量差值的后门检测方案(backdoor detection scheme based on multilevel measurement difference,Mult-Measure).首先对源模型和被恶意注入后门的授权模型对抗攻击生成测试用例;并设置白盒和黑盒2种度量计算测试用例;最后通过统计阈值计算差值判断模型是否被注入后门.实验表明,Mult-Measure在植入特洛伊木马模型的后门攻击场景下,并在多触发器和隐形触发器下评估性能良好,相较近年来已有的检测方案,Mult-Measure具有更好的有效性和稳定性.

一种改进的深度神经网络后门攻击方法

触发器生成网络是深度神经网络后门攻击方法的关键算法。现有的触发器生成网络有以下两个主要问题:第一,触发器候选数据集使用静态的人工选择,未考虑候选数据集对目的神经元的敏感性,存在冗余数据。第二,触发器生成网络仅考虑如何更好地激活目的神经元,并未考虑触发器的抗检测问题。针对候选数据集冗余的问题,文章使用敏感度分析方法,选择相对目标神经元更敏感的数据集从而降低冗余数据。面对现有的触发器检测方法,改进的触发器生成网络可以在保证攻击准确度的情况下,通过设计聚类结果与随机化混淆作为综合惩罚的方法,使生成的触发器绕过检测。实验结果表明,使用这种方法生成的触发器可以在保持较高攻击精确率的同时,在聚类检测方法上表现出较低的攻击检测率,在STRIP扰动检测方法上表现出较高的攻击拒识率。

深度神经网络模型后门植入与检测技术研究综述

作为当前人工智能快速发展的代表性技术之一,深度神经网络的应用范围越来越广,由此带来的安全性问题也逐渐受到关注。现有研究主要聚焦于如何高效构造多样化的对抗样本,以实现对深度神经网络模型的欺骗,以及如何检测对抗样本并加固深度神经网络模型。但是,随着深度神经网络模型的开发越来越依赖开源数据集、预训练模型和计算框架等第三方资源,模型被植入后门的风险越来越高。从深度神经网络模型生命周期的各个环节出发,对深度神经网络模型后门植入与检测相关技术进行了归纳总结,对比分析了不同技术的主要特征与适用场景,对相关技术未来的发展方向进行了展望。

一种基于篡改训练数据的词级文本后门攻击方法

后门攻击是针对深度神经网络模型的一种隐蔽安全威胁,在智能信息系统安全性测试等方面具有重要的研究价值。现有的字符级后门攻去存在两方面的问题:当被毒化的训练样本的源标签与目标标签一致时,后门攻击的效果不佳;插入的触发器与上下文相关性不强,会破坏原始输入的语义和流畅性。为了解决上述问题,提出了一种基于篡改训练数据的词级文本后门攻击方法。通过对抗扰动技术或隐藏重要词技术篡改少部分训练数据,使目标模型更容易学习到后门特征;在触发器的生成和添加部分,利用义原库向被攻击句子中添加相关性强的触发器。在标签一致的条件下,通过在2个基准模型上的大量实验,证明了所提出的攻去可以达到90%以上的成功率,并能生成更高质量的后门示例,其性能明显优于基线方法。

抑制图像非语义信息的通用后门防御策略

目的后门攻击已成为目前卷积神经网络所面临的重要威胁。然而,当下的后门防御方法往往需要后门攻击和神经网络模型的一些先验知识,这限制了这些防御方法的应用场景。本文依托图像分类任务提出一种基于非语义信息抑制的后门防御方法,该方法不再需要相关的先验知识,只需要对网络的输入进行编解码处理就可以达到后门防御的目的。方法核心思想是在保持图像语义不改变的同时,尽量削弱原始样本中与图像语义不相关的信息,以此抑制触发器。通过在待保护模型前添加一个即插即用的U型网络(即信息提纯网络)来实现对图像非语义信息的抑制。其输入是干净的初始样本,输出命名为强化样本。具体的训练过程中,首先用不同的训练超参数训练多个结构不一的干净分类器,然后在保持强化样本被上述分类器正确分类的前提下,优化信息提纯网络使强化样本和原始样本之间的差异尽可能地大。结果实验在MNIST、CIFAR10和Image Net10数据集上进行。实验结果显示,经过信息提纯网络编解码后,干净样本的分类准确率略有下降,后门攻击成功率大幅降低,带有触发器的样本以接近干净样本的准确率被正确预测。结论提出的非语义信息抑制防御方法能够在不需要相关先验知识的情况下将含触发器的样本纠正为正常样本,并且保持对干净样本的分类准确率。