一种物联网入侵检测和成员推理攻击研究

为适应物联网节点计算能力弱、存储空间不足和敏感数据易受攻击等特点,提出一种新的融合卷积神经网络和差分隐私的轻量级入侵检测模型,使模型更好适应物联网苛刻的资源环境。首先,使用MinMax算法对原始流量数据进行归一化预处理;其次,设计轻量级卷积神经网络提取流量特征并进行分类;最后使用差分隐私算法对模型可能遇到的成员推理攻击进行防御。新算法在UNSW_NB15等入侵检测数据集上进行了实验,所提模型准确率达到98.98%,精确率达到98.05%,模型大小控制在200 KB左右,相比于DAE-OCSVM算法准确率提高了2.81%,适用于物联网资源有限环境下要求的高精度入侵检测;同时,针对模型可能遇到的成员推理攻击进行研究,算法在融入差分隐私算法后降低了20.96%的成员推理攻击。

基于多路冗余神经元的主动成员推理攻击方法

联邦学习通过交换模型参数或梯度信息来提供对原始数据的隐私保障,但其仍然存在隐私泄露的问题,如成员推理攻击旨在推断目标数据样本是否被用于联邦学习中训练机器学习模型。针对联邦学习中现有基于模型参数构造的主动成员推理攻击对随机失活等操作鲁棒性较差的问题,提出了一种基于多路冗余神经元的主动成员推理攻击方法,利用ReLU激活函数输入为负、输出为0的特性,根据待推理目标数据构造模型参数,通过观察成员数据与非成员数据在模型参数更新上的差异进行成员推断,并利用模型神经元的冗余特性构建多个通路实现对随机失活的鲁棒性。在MNIST,CIFAR10以及CIFAR100数据集上的实验证明了该方法的有效性,在引入随机失活的情况下,所提方法仍然能够达到100%的准确率。

基于集成学习的成员推理攻击方法

随着机器学习技术的迅速发展和广泛应用,其涉及的数据隐私问题也引发了广泛关注。成员推理攻击是一种通过推理数据样本是否属于模型训练集合的攻击方法,对医疗、金融等领域的个人隐私构成威胁。然而,现有成员推理攻击的攻击性能有限,并且差分隐私、知识蒸馏等防御措施减轻了其对个人隐私的威胁。文章深入分析了多种针对分类模型的黑盒成员推理攻击,提出一种攻击性能更好且不易被防御的基于集成学习的成员推理攻击方法。首先分析目标模型的泛化差距、攻击成功率和攻击差异度之间的关系,然后通过不同攻击之间的差异度分析筛选出具有代表性的成员推理攻击,最后利用集成技术对筛选出的攻击方法进行集成优化,以增强攻击效果。实验结果表明,相较于已有的成员推理攻击,基于集成学习的成员推理攻击方法在多种模型和数据集上展现了更好的攻击性能和稳定性。通过深入分析该攻击方法的数据集、模型结构和泛化差距等因素,可为防御此类成员推理攻击提供有益参考。

基于GAN的联邦学习成员推理攻击与防御方法

针对联邦学习系统极易遭受由恶意参与方在预测阶段发起的成员推理攻击行为,以及现有的防御方法在隐私保护和模型损失之间难以达到平衡的问题,探索了联邦学习中的成员推理攻击及其防御方法。首先提出2种基于生成对抗网络(GAN)的成员推理攻击方法:类级和用户级成员推理攻击,其中,类级成员推理攻击旨在泄露所有参与方的训练数据隐私,用户级成员推理攻击可以指定某一个特定的参与方;此外,进一步提出一种基于对抗样本的联邦学习成员推理防御方法(Def MIA),通过设计针对全局模型参数的对抗样本噪声添加方法,能够在保证联邦学习准确率的同时,有效防御成员推理攻击。实验结果表明,类级和用户级成员推理攻击可以在联邦学习中获得超过90%的攻击精度,而在使用Def MIA方法后,其攻击精度明显降低,接近于随机猜测(50%)。

一种基于双阈值函数的成员推理攻击方法

海量数据和强大算力的出现,促进了深度学习的发展,深度学习在智慧交通和医疗诊断等领域得到广泛应用,这给人们的日常生活带来许多便利。然而,机器学习中的隐私泄露问题也不容忽视。成员推理攻击通过推断数据样本是否用于训练机器学习模型,从而暴露用户训练数据的隐私。文章介绍了基于单阈值的成员推理攻击及特点,对不同攻击方法的成员和非成员的数据分布进行可视化,然后对成员推理攻击成功的内在机理进行分析,提出了基于双阈值函数的攻击模型,并通过实验对单阈值和双阈值的成员推理攻击进行系统性的分析对比,分析基于阈值成员推理攻击对不同模型和不同数据集的攻击表现。通过对多组控制变量的对比实验表明,基于双阈值函数的成员推理攻击在某些数据集和模型上,整体表现更加优异和稳定。

基于标签的无数据的成员推理攻击

成员推理攻击根据模型的预测结果推断特定记录是否为模型的训练数据成员,在隐私保护等领域具有重要应用意义。现有的基于标签的无数据的成员推理攻击方法主要利用对抗样本技术,存在查询和计算成本较高的问题。对此提出一种新的成员推理攻击方法,该方法利用影子模型来减少多次攻击的查询代价,并提出数据筛选与优化策略以提高攻击模型的性能。实验在两个常见的图像数据集上进行,结果表明该方法同时具有较高的攻击成功率和较低的查询成本。

面向机器学习的成员推理攻击综述

随着机器学习的不断发展,特别是在深度学习领域,人工智能已经融入到人们日常生活的方方面面。机器学习模型被部署到多种场景的应用中,提升了传统应用的智能化水平。然而,近年来的研究指出,用于训练机器学习模型的个人数据时常面临隐私泄露的风险。其中,成员推理攻击就是针对机器学习模型威胁用户隐私安全的一种非常重要的攻击方式。成员推理攻击的目的是判断用户数据样本是否被用于训练目标模型(如在医疗、金融等领域的用户数据),从而直接干涉到用户隐私信息。首先介绍了成员推理攻击的相关背景知识,随后对现有的成员推理攻击按照攻击者是否拥有影子模型进行分类,并对成员推理攻击在不同领域的威胁进行了相应的总结。其次,介绍了应对成员推理攻击的防御手段,对现有的防御机制按照模型过拟合、基于模型压缩和基于扰动等策略进行分类和总结。最后,对现有的成员推理攻击和防御机制的优缺点进行了分析,并提出了成员推理攻击的一些潜在的研究方向。

基于机器学习算法的成员推断攻击研究

针对成员推断攻击中构建模拟模型所需的训练数据的合成质量提升问题,提出使用一种基于爬山算法改进的模拟退火算法进行数据合成。首先,通过模拟退火算法以比较快的速度找到问题的近似最优解,从而可以合成比较高质量的数据;然后,训练数据集构建模拟目标模型,并将其输出信息进行综合,以训练二分类器作为最终攻击模式;最后,以决策树、随机森林、卷积神经网络算法为例,比较在黑盒模型中,基于不同机器学习算法在三种不同数据集下的成员推断攻击的性能。结果表明:所提方法可以提升训练数据的合成质量,通过观察攻击精度的变化,卷积神经网络下成员推断攻击性能最优。

基于扩散模型和混合样本的成员推理防御方法

在深度学习中,成员推理攻击是指对于任意给定的样本,推断其是否属于目标模型的训练数据集。由于训练数据集中包含隐私信息,对成员推理攻击进行防御属于重要的隐私保护问题。文章首先介绍了成员推理攻击的定义和造成攻击的原因;接着详细地介绍了现有的防御算法;最后提出防御方案,并描述防御方案的防御途径。与当下最先进的成员推理攻击防御措施相比,该方案在保护成员隐私和保护模型效用之间提供了最优越的权衡。文章对所使用的方案做了详细的解释,帮助研究者更好地理解成员推理攻击及其防御,为进一步降低训练数据集的隐私风险、更好地取得模型效用和隐私安全之间的平衡性,提供了一定的参考。

面向机器学习模型的基于PCA的成员推理攻击

针对目前黑盒成员推理攻击存在的访问受限失效问题,提出基于主成分分析(PCA)的成员推理攻击。首先,针对黑盒成员推理攻击存在的访问受限问题,提出一种快速决策成员推理攻击fast-attack。在基于距离符号梯度获取扰动样本的基础上将扰动难度映射到距离范畴来进行成员推理。其次,针对快速决策成员推理攻击存在的低迁移率问题,提出一种基于PCA的成员推理攻击PCA-based attack。将快速决策成员推理攻击中的基于扰动算法与PCA技术相结合来实现成员推理,以抑制因过度依赖模型而导致的低迁移行为。实验表明,fast-attack在确保攻击精度的同时降低了访问成本,PCA-based attack在无监督的设置下优于基线攻击,且模型迁移率相比fast-attack提升10%。

面向正常拟合迁移学习模型的成员推理攻击

针对现有成员推理攻击(MIA)在面向正常拟合迁移学习模型时性能较差的问题,对迁移学习模型在正常拟合情况下的MIA进行了系统的研究,设计异常样本检测获取容易受攻击的数据样本,实现对单个样本的成员推理攻击。最终,将提出的攻击方法在4种图像数据集上展开攻击验证,结果表明,所提MIA有较好的攻击性能。例如,从VGG16(用Caltech101预训练)迁移的Flowers102分类器上,所提MIA实现了83.15%的成员推理精确率,揭示了在迁移学习环境下,即使不访问教师模型,通过访问学生模型依然能实现对教师模型的MIA。

黑盒机器学习模型的成员推断攻击研究

近年来,机器学习技术飞速发展,并在自然语言处理、图像识别、搜索推荐等领域得到了广泛的应用。然而,现有大量开放部署的机器学习模型在模型安全与数据隐私方面面临着严峻的挑战。本文重点研究黑盒机器学习模型面临的成员推断攻击问题,即给定一条数据记录以及某个机器学习模型的黑盒预测接口,判断此条数据记录是否属于给定模型的训练数据集。为此,本文设计并实现了一种基于变分自编码器的数据合成算法,用于生成与给定模型的原始训练数据分布相近的合成数据;并在此基础上提出了基于生成对抗网络的模拟模型构建算法,利用合成数据训练得到与给定模型具有相似预测能力的机器学习模型。相较于现有的成员推断攻击工作,本文所提出的推断攻击无需目标模型及其训练数据的先验知识,在仅有目标模型黑盒预测接口的条件下,可获得更加准确的攻击结果。通过本地模型和线上机器学习即服务平台BigML的实验结果证明,所提的数据合成算法可以得到高质量的合成数据,模拟模型构建算法可以在更加严苛的条件下模拟给定模型的预测能力。在没有目标模型及其训练数据的先验知识条件下,本文所提的成员推断攻击在针对多种目标模型进行攻击时,推断准确率最高可达74%,推断精确率可达86%;与现有最佳攻击方法相比,将推断准确率与精确率分别提升10.7%及11.2%。

机器学习中成员推理攻击和防御研究综述

机器学习被广泛应用于各个领域,已成为推动各行业革命的强大动力,极大促进了人工智能的繁荣与发展。同时,机器学习模型的训练和预测均需要大量数据,而这些数据可能包含隐私信息,导致其隐私安全面临严峻挑战。成员推理攻击主要通过推测一个数据样本是否被用于训练目标模型来破坏数据隐私,其不仅可以破坏多种机器学习模型(如,分类模型和生成模型)的数据隐私,而且其隐私泄露也渗透到图像分类、语音识别、自然语言处理、计算机视觉等领域,这对机器学习的长远发展产生了极大的安全威胁。因此,为了提高机器学习模型对成员推理攻击的安全性,本文从机器学习隐私安全攻防角度,全面系统性分析和总结了成员推理攻击和防御的基本原理和特点。首先,介绍了成员推理攻击的定义、威胁模型,并从攻击原理、攻击场景、背景知识、攻击的目标模型、攻击领域、攻击数据集大小六个方面对成员推理攻击进行分类,比较不同攻击的优缺点;然后,从目标模型的训练数据、模型类型以及模型的过拟合程度三个角度分析成员推理攻击存在原因,并从差分隐私、正则化、数据增强、模型堆叠、早停、信任分数掩蔽和知识蒸馏七个层面对比分析不同防御措施;接着,归纳总结了成员推理攻击和防御常用的评估指标和数据集,以及其在其他方面的应用。最后,通过对比分析已有成员推理攻击和防御的优缺点,对其面临的挑战和未来研究方向进行了展望。

面向机器学习模型的成员推理攻击研究

随着机器学习在计算机领域以及日常生活中的应用日益广泛,机器学习模型的安全性问题也愈发凸显。成员推理攻击是针对机器学习模型一种强有力的攻击,可能会窃取机器学习模型训练集的隐私。因此,分析成员推理攻击的方法,研究其对机器学习模型可能造成的影响非常必要。首先,介绍机器学习及成员推理攻击的相关背景、概念,并给出应用实例。然后,针对现有成员推理攻击的相关方法进行全面概述和总结。最后,分析了现有方法存在的缺陷和不足,有针对性地提出未来新的研究方向。

机器学习成员推理攻击研究进展与挑战

成员推理攻击通过对机器学习模型进行攻击可推断目标数据是否为训练数据集的成员,该攻击的日益完备给机器学习带来了严重的隐私威胁。本文从机器学习模型的攻防基础理论出发,分析成员推理攻击关键技术模型,厘清成员推理攻击模型与隐私泄露风险之间的关系,以期保证数据的隐私安全并促进机器学习应用领域的发展。首先,介绍了成员推理攻击的敌手模型、定义、分类以及攻击模型的生成机理。其次,分类总结和对比分析了成员推理攻击的攻击算法。然后,介绍了成员推理攻击在现实生活中的应用,并对成员推理攻击的防御技术进行了分类概括和对比分析。最后,通过对比分析已有的成员推理攻击方案及其防御技术方法,对机器学习成员推理攻击的发展趋势以及数据隐私保护的未来研究挑战进行展望。该工作为解决数据的隐私泄露问题提供一定的理论基础,对推动机器学习应用领域的发展有一定意义。

基于神经网络模型的成员推理防御算法

【目的】针对机器学习模型在训练过程中可能泄露训练数据隐私,为成员推理攻击所利用,进而窃取用户敏感信息的问题,提出了一种基于神经网络的期望均衡优化算法(EEO).【方法】采用对抗训练并优化的策略,分为内外两层循环来实现:内层循环假设一个足够强大的对手,其目标为最大化攻击模型期望;外层循环有针对性地进行防御训练,其目标为最大化目标模型期望。利用小批量梯度下降法使内外两层循环的损失值都达到最小,从而既保证模型精度,又降低对手成员推理的能力。【结果】采用3个有代表性的图像数据集MNIST、FASHION、Face,将EEO应用于优化后的神经网络模型进行成员推理攻击实验,3个数据集的测试精度分别损失了2.2%、4.7%和3.7%,而攻击模型的精度分别下降了14.6%、16.5%和13.9%,并且已接近50%,即随机猜测。【结论】实验结果表明该算法较好地兼顾了模型的高可用性与高隐私性,尽管仍会不可避免地产生隐私泄露,但训练出的神经网络模型对成员推理攻击有很强的防御效果,且对目标模型的影响可以忽略。

机器学习中的成员推断攻击与防御研究

随着机器学习渗透到日常生活中的各个方面,其数据隐私问题受到越来越多的关注。成员推断攻击是机器学习算法面临的安全威胁之一,用于推断特定数据是否存在于机器学习模型的训练集中,给用户带来极大的安全隐患,对机器学习模型的安全性提出挑战。为此,研究成员推断攻击不仅能发现隐私数据面临的威胁,而且还能为防御技术的提出提供思路。对近年来有关成员推断攻击的研究进行详细的分析,按照应用场景的不同将攻击分为判别模型攻击、生成模型攻击以及联邦学习攻击三类。同时根据成员推断攻击和防御的发展现状,阐述了影响攻击的因素以及经典的防御策略。最后指出成员推断攻击中仍需解决的问题以及未来的发展方向。

机器学习训练数据集的成员推理综述

机器学习作为人工智能的一种重要工具,在解决分类、预测以及辅助决策等问题上表现出了卓越的能力。随着机器学习技术的逐渐提高,机器学习的使用也日益广泛,其隐私问题也受到越来越多的关注。其中,有关训练数据集的隐私问题也备受关注,成员推理攻击正是一种会威胁数据集隐私的攻击方法。然而,目前还缺少有关于成员推理最新研究的综述。文章首先介绍了何为成员推理攻击,分类以及其存在的原因,并归纳和对比了现有的攻击算法。然后,对成员推理攻击的防御算法进行了归纳和总结,并介绍了如何利用成员推理攻击来审计模型是否有未授权使用用户数据集。最后,文章给出了仍需解决的问题和未来研究方向。

基于样本遗忘的仅标签成员推理攻击

为重新评估单个样本层面的隐私风险,降低成员推理攻击中错误推理的高昂代价,提出一种基于样本遗忘的仅标签成员推理攻击方法。通过建立样本遗忘因子计算模型,筛选出更容易被遗忘的样本作为成员推理攻击的目标,保证对每个目标的攻击均是有效推理。结合邻域置信度估计算法,实现由输出标签向真实类概率的转换,在严格的黑盒设置下对目标做出高精度预测,在实践中具有更高的可行性和应用价值。通过实验验证了该方法的有效性,为成员推理攻击的研究提供了一种思路和方法。

基于噪声扰动的成员推断防御机制

本文提出基于噪声扰动的成员推断防御机制,通过对训练数据提前进行处理来防御MLaaS中训练数据的隐私泄露问题。分析实验中的各个参数,与没有经过扰动的数据集进行比较,结果表明本文使用的方法在训练准确度没有严重损失且训练误差基本保持不变的情况下,测试准确度和攻击准确度差值较小且比较接近随机猜测的效果。