基于梯度的对抗排序攻击方法

互联网检索中普遍存在排名竞争这种对抗攻击行为,会产生许多不良影响,因此对攻击方法的研究有助于设计更鲁棒的排序模型.已有的攻击方法容易被人识别且无法有效攻击神经排序模型.因此,文中提出基于梯度的对抗排序攻击方法.方法分为3个模块:基于梯度大小的词重要度排序、基于梯度的排序攻击和基于词嵌入的同义词替换.针对给定的目标排序模型,首先基于构建的排序攻击目标进行梯度回传,利用梯度信息在指定文档上找到最重要的词.然后,基于投影梯度攻击原理,在词向量空间上对这些最重要的词进行扰动.最后,利用同义词替换技术将这些最重要的词替换为和原词语义相近且和扰动后的词向量最近邻的词,完成文档扰动.在MQ2007、MS MARCO数据集上的实验验证文中方法的有效性.

防御性蒸馏网络抗梯度攻击的鲁棒性分析

防御性蒸馏自提出后,由于其对梯度攻击有很好的防御效果,已被广泛用于提高神经网络的鲁棒性.但是原始蒸馏过程需要对教师和学生网络进行共两次训练,即需要双倍的算力.目前许多工作仍然基于原始的防御性蒸馏方法来增强模型的鲁棒性.文章指出,防御性蒸馏应对梯度攻击的鲁棒性仅与最大的两个logits的差值有关,而logits值与温度和损失函数值有关.学生网络向教师网络学习这一蒸馏过程并非防御性蒸馏起作用的根本原因,只需在训练时增大最大两个logits值之差即可达到防御对抗攻击的作用.文章理论推导并实验验证了上述结论,并基于logits值与温度的正相关关系设计了最佳温度的估计算法,该算法可显著减少寻找最佳温度所消耗的算力.在数据集MNIST和CIFAR-10上,文章提出的快速防御性蒸馏对梯度攻击的鲁棒性与原始防御性蒸馏相同,算法时间消耗和测试集成功率均优于原始防御性蒸馏.文章研究对于防御性蒸馏原理的理解具有理论意义,对防御性蒸馏在实际部署中算力的节省具有实际意义.

基于梯度结构的图神经网络对抗攻击

图神经网络在半监督节点分类任务中取得了显著的性能.研究表明,图神经网络容易受到干扰,因此目前已有研究涉及图神经网络的对抗鲁棒性.然而,基于梯度的攻击不能保证最优的扰动.提出了一种基于梯度和结构的对抗性攻击方法,增强了基于梯度的扰动.该方法首先利用训练损失的一阶优化生成候选扰动集,然后对候选集进行相似性评估,根据评估结果排序并选择固定预算的修改以实现攻击.通过在5个数据集上进行半监督节点分类任务来评估所提出的攻击方法.实验结果表明,在仅执行少量扰动的情况下,节点分类精度显著下降,明显优于现有攻击方法.

针对联邦学习中梯度泄露攻击的改进方法

研究联邦学习中的隐私安全问题有利于能够帮助其在现实场景下的应用和发展。梯度泄露攻击(deep leakage from gradients,DLG)是联邦学习框架下利用梯度进行的攻击。有研究表明,随着批次的增大,梯度泄露算法将会频繁攻击失败。故针对这个问题,通过不断研究梯度泄露算法的算法内容,从三个方面对其进行改进,分别是引入生成式网络、标签提取方法、正则项添加。实验结果表明,在批次数量大小等于1时,DLG算法和改进算法都可以恢复来自CIFAR100、LFW数据集和MNIST数据集中的数据,而当批次数量大小增加到4或8时,DLG算法无法恢复来自CIFAR100、LFW数据集中的数据,而改进算法可以继续恢复数据。这也就意味着,增加批次数量,无法抵御改进后的梯度泄露算法攻击。

文本风格转换模型的平衡性改进方法研究

针对现有的文本风格转换模型语句内容保留度较低、内容与风格间平衡性较差,提出了基于文本属性可控转换模型(CTAT)的平衡性改进模型Balance-CTAT。在提出的模型中,改进的优化算法和结构加强了内容保留程度,即在对抗性风格干扰算法上添加显著性操作将干扰影响局部化;在自编码器结构上构造递进式解码器,逐层增加注意力头数对信息进行渐进式融合。提出的模型与现有的文本风格转换模型(如Cross、CTAT、FGST)进行了对比分析,并从风格转换精度、内容保留度和几何平均值进行评价。实验结果表明:提出的模型明显优于现有的文本风格转换模型,具有很好的内容保留度,综合性能显著提升。

基于生成模型的联邦学习隐私保护算法

在联邦学习中,交换模型参数或梯度信息通常被视作是安全的。但近期研究表明,模型参数或者梯度信息也会导致训练数据的泄露。基于保护客户端数据安全的目的,提出了一种基于生成模型的联邦学习算法。为了验证该算法的有效性,在DermaMNIST数据集上进行了仿真实验,采用梯度泄露攻击对算法进行验证。实验结果表明,提出的基于生成模型的联邦学习算法与联邦学习经典算法在准确率上仅仅相差0.02%,并且通过MSE、PSNR、SSIM等评价指标可以判断出该算法可以有效地保护数据隐私。