基于暗知识保护的模型窃取防御技术DKP

在黑盒场景下,使用模型功能窃取方法生成盗版模型已经对云端模型的安全性和知识产权保护构成严重威胁。针对扰动和软化标签(变温)等现有的模型窃取防御技术可能导致模型输出中置信度最大值的类别发生改变,进而影响原始任务中模型性能的问题,提出一种基于暗知识保护的模型功能窃取防御方法,称为DKP(defending against model stealing attacks based on Dark Knowledge Protection)。首先,利用待保护的云端模型对测试样本进行处理,以获得样本的初始置信度分布向量;然后,在模型输出层之后添加暗知识保护层,通过分区变温调节softmax机制对初始置信度分布向量进行扰动处理;最后,得到经过防御的置信度分布向量,从而降低模型信息泄露的风险。使用所提方法在4个公开数据集上取得了显著的防御效果,尤其在博客数据集上使盗版模型的准确率降低了17.4个百分点,相比之下对后验概率进行噪声扰动的方法仅能降低约2个百分点。实验结果表明,所提方法解决了现有扰动、软化标签等主动防御方法存在的问题,在不影响测试样本分类结果的前提下,通过扰动云端模型输出的类别概率分布特征,成功降低了盗版模型的准确率,实现了对云端模型机密性的可靠保障。

基于FGSM样本扩充的模型窃取攻击方法研究

针对模型窃取攻击方法存在适用范围窄、依赖大量训练数据且窃取的替代模型预测准确率较低等问题,提出了一种基于快速梯度符号方法(FGSM)样本扩充的模型窃取攻击方法.该方法使用少量样本作为种子集,通过FGSM不断扩充样本;根据待攻击模型的决策纠正替代模型边界,提高替代模型与待攻击模型的相近程度;结合超参数交叉验证,利用不断增加的训练集训练替代模型,最终实现模型窃取攻击.在Drebin数据集上的实验结果表明,替代模型的一致率和准确率随着迭代轮次的增加而逐步提高,利用该方法训练的替代模型的检测准确率优于所对比的模型窃取方法.

基于IPFS的机器学习模型窃取攻击抵御方法

模型窃取攻击是机器学习经常面临的一种攻击,该攻击会对模型训练者和相关企业造成知识产权泄露和重大经济损失.针对机器学习训练过程的特点,本文设计了一种安全可靠的、可抵御模型窃取攻击的机器学习模型训练方法.该方法利用星际文件系统去中心化、不可篡改、高可靠的特性保护模型数据,训练过程中不涉及模型文件的保存与调用.针对可能受到的中间人攻击,采用AES加密算法加密上传的模型数据,并使用RSA加密算法加密AES加密算法的私钥.实验结果和安全性分析证明,本文提出的方法可在损失少量训练效率但不损失模型性能的前提下,有效抵抗模型窃取攻击,且使模型数据具有可溯源性、防篡改性、可靠性和隐私性.

基于采样和加权损失函数的模型窃取攻击方法

模型窃取攻击旨在获得一个和目标受害模型功能相似的替代模型.现有的方法主要采用数据生成或数据选择方法和交叉熵损失函数去获得一个较好的攻击效果.据此,本文着重研究了攻击过程中这两个极为重要的模块:数据采样和损失函数.同时,本文提出了一个新颖的模型窃取攻击方法S&W,其包含了一种新的采样策略和一个精心设计的加权损失函数.首先,新的采样策略更加关注于从受害者模型中获得更多信息的重要样本.与此同时,本文通过引入k-Center算法达到选择样本的多样性的目的.其次,受到经典Focal损失函数的启发,本文设计了一种新的加权损失函数.该损失函数主要关注于受害者模型和替代模型对于相同输入所给出的输出之间的差异,从而促使替代模型模拟受害者模型.在4个常用的数据集上,我们通过实验证明了本文提出的方法的有效性.相比于之前最好的方法,本文方法最高有5.03%的性能提升.

针对深度神经网络模型指纹检测的逃避算法

随着深度神经网络在不同领域的成功应用,模型的知识产权保护成为了一个备受关注的问题.由于深度神经网络的训练需要大量计算资源、人力成本和时间成本,攻击者通过窃取目标模型参数,可低成本地构建本地替代模型.为保护模型所有者的知识产权,最近提出的模型指纹比对方法,利用模型决策边界附近的指纹样本及其指纹查验模型是否被窃取,具有不影响模型自身性能的优点.针对这类基于模型指纹的保护策略,提出了一种逃避算法,可以成功绕开这类保护策略,揭示了模型指纹保护的脆弱性.该逃避算法的核心是设计了一个指纹样本检测器——Fingerprint-GAN.利用生成对抗网络(generative adversarial network,GAN)原理,学习正常样本在隐空间的特征表示及其分布,根据指纹样本与正常样本在隐空间中特征表示的差异性,检测到指纹样本,并向目标模型所有者返回有别于预测的标签,使模型所有者的指纹比对方法失效.最后通过CIFAR-10,CIFAR-100数据集评估了逃避算法的性能,实验结果表明:算法对指纹样本的检测率分别可达95%和94%,而模型所有者的指纹比对成功率最高仅为19%,证明了模型指纹比对保护方法的不可靠性.

一种针对多核神经网络处理器的窃取攻击

随着神经网络的广泛应用,它自身的安全问题也成为了一个重要的研究课题。将神经网络部署到神经网络处理器上运行是提高能效比的有效方法,但同时也引入了一些新的安全问题,比如侧信道信息泄露,本文以多核CNN处理器为基础,利用时间和内存侧信道信息,提出了一种针对多核CNN处理器的用户算法信息窃取攻击方法,经过试验证明了攻击的有效性,并针对多核神经网络处理器在时间和内存侧信道方面的脆弱性,提出了有效的防御手段,对如何保护神经网络处理器的安全提供了一定的参考意义。

人工智能医学软件抗攻击能力检测方法研究

人工智能医学软件由于其智能化特征和领域特殊性,可能面临渗透攻击、对抗攻击、模型窃取和隐私泄露等更加多样的网络安全威胁,其抗攻击能力至关重要。研究了人工智能医学软件抗攻击能力检测方法,提出了人工智能医学软件攻击性测试规格化方案,为攻击性测试精细化管理提供了基础。

基于真实数据感知的模型功能窃取攻击

目的模型功能窃取攻击是人工智能安全领域的核心问题之一,目的是利用有限的与目标模型有关的信息训练出性能接近的克隆模型,从而实现模型的功能窃取。针对此类问题,一类经典的工作是基于生成模型的方法,这类方法利用生成器生成的图像作为查询数据,在同一查询数据下对两个模型预测结果的一致性进行约束,从而进行模型学习。然而此类方法生成器生成的数据常常是人眼不可辨识的图像,不含有任何语义信息,导致目标模型的输出缺乏有效指导性。针对上述问题,提出一种新的模型窃取攻击方法,实现对图像分类器的有效功能窃取。方法借助真实的图像数据,利用生成对抗网络(generative adversarial net,GAN)使生成器生成的数据接近真实图像,加强目标模型输出的物理意义。同时,为了提高克隆模型的性能,基于对比学习的思想,提出一种新的损失函数进行网络优化学习。结果在两个公开数据集CIFAR-10(Canadian Institute for Advanced Research-10)和SVHN(street view house numbers)的实验结果表明,本文方法能够取得良好的功能窃取效果。在CIFAR-10数据集上,相比目前较先进的方法,本文方法的窃取精度提高了5%。同时,在相同的查询代价下,本文方法能够取得更好的窃取效果,有效降低了查询目标模型的成本。结论本文提出的模型窃取攻击方法,从数据真实性的角度出发,有效提高了针对图像分类器的模型功能窃取攻击效果,在一定程度上降低了查询目标模型代价。