针对联邦学习中梯度泄露攻击的改进方法

研究联邦学习中的隐私安全问题有利于能够帮助其在现实场景下的应用和发展。梯度泄露攻击(deep leakage from gradients,DLG)是联邦学习框架下利用梯度进行的攻击。有研究表明,随着批次的增大,梯度泄露算法将会频繁攻击失败。故针对这个问题,通过不断研究梯度泄露算法的算法内容,从三个方面对其进行改进,分别是引入生成式网络、标签提取方法、正则项添加。实验结果表明,在批次数量大小等于1时,DLG算法和改进算法都可以恢复来自CIFAR100、LFW数据集和MNIST数据集中的数据,而当批次数量大小增加到4或8时,DLG算法无法恢复来自CIFAR100、LFW数据集中的数据,而改进算法可以继续恢复数据。这也就意味着,增加批次数量,无法抵御改进后的梯度泄露算法攻击。

基于生成对抗网络的隐私增强联邦学习方案

联邦学习作为一种分布式机器学习范式,其具有隐私保护能力和异构协作等特性,引起了研究者极大的关注。然而,研究工作表明通过梯度可以确定一个确切的数据记录或一个具有特定属性的数据记录是否包含在其他参与者的批处理中,甚至揭露参与者的训练数据,通常称之为“梯度泄露”。同时,当前隐私增强联邦学习方法的工作可能存在准确率下降或者计算通信开销增加等问题,甚至引发新的不安全因素。因此,提出一种差分隐私增强的生成对抗网络模型,该模型向vanillaGAN中引入了识别器,通过生成器与鉴别器、生成器与识别器两个博弈过程,生成器合成的数据尽可能接近输入数据的同时满足差分隐私的约束。将此模型应用到联邦学习框架中,在一定程度上保证了模型准确率,并且提高了联邦学习框架的隐私保护能力。仿真实验验证了所提方案在客户端/服务器联邦学习架构下的有效性,相比DP-SGD方法,所提方案平衡了数据隐私性与实用性而不是以牺牲准确率为代价来增强隐私保护能力。从理论上分析了所提模型在点对点(P2P,peer-to-peer)架构下的可用性,并讨论了未来研究工作。

基于生成模型的联邦学习隐私保护算法

在联邦学习中,交换模型参数或梯度信息通常被视作是安全的。但近期研究表明,模型参数或者梯度信息也会导致训练数据的泄露。基于保护客户端数据安全的目的,提出了一种基于生成模型的联邦学习算法。为了验证该算法的有效性,在DermaMNIST数据集上进行了仿真实验,采用梯度泄露攻击对算法进行验证。实验结果表明,提出的基于生成模型的联邦学习算法与联邦学习经典算法在准确率上仅仅相差0.02%,并且通过MSE、PSNR、SSIM等评价指标可以判断出该算法可以有效地保护数据隐私。