-
题名差分隐私GAN梯度裁剪阈值的自适应选取方法
被引量:6
- 1
-
-
作者
郭鹏
钟尚平
陈开志
程航
-
机构
福州大学数学与计算机科学学院
网络系统信息安全福建省高校重点实验室
-
出处
《网络与信息安全学报》
2018年第5期10-20,共11页
-
基金
福建省自然科学基金资助项目(No.2017J01502)
福州大学博士科研基金资助项目(No.XRC-17015)~~
-
文摘
提出自适应选取差分隐私GAN梯度裁剪阈值的方法。该方法假设可以接触到与隐私数据同分布的小部分公开数据,通过从公开数据中随机选取一批数据,设置裁剪阈值为这批数据的平均梯度范数,迭代上述操作直到网络聚合。在Mnist和Cifar10数据集上对所提方法进行了实验验证,结果表明,在合理隐私预算下与差分隐私辅助分类GAN相比,卷积神经网络(CNN)分类器准确率提高1%~4%,而评估分数(inception scores)提升0.6~1.2。
-
关键词
生成对抗网络
差分隐私保护
梯度裁剪阈值
自适应选取
-
Keywords
GAN
differential privacy protection
gradient clipping thresholds
adaptive selection
-
分类号
TP309
[自动化与计算机技术—计算机系统结构]
-
-
题名动态梯度阈值裁剪的差分隐私生成对抗网络算法
- 2
-
-
作者
陈少权
蔡剑平
孙岚
-
机构
福州大学计算机与大数据学院
-
出处
《计算机应用》
CSCD
北大核心
2023年第7期2065-2072,共8页
-
文摘
现有的生成对抗网络(GAN)和差分隐私相结合的方法大多采用梯度扰动的方法实现隐私保护,即在优化过程中利用梯度裁剪技术来约束优化器对单个数据的敏感性,并对裁剪后的梯度添加随机噪声以达到保护模型的目的。然而大多数方法在训练时裁剪阈值固定,而阈值过大或过小均会影响模型的性能。针对该问题,提出动态梯度阈值裁剪的DGC_DPGAN(Dynamic Gradient Clipping Differential Privacy Generative Adversarial Network)算法以兼顾隐私保护和模型的性能。该算法结合预训练技术,在优化过程中先求取每批次隐私数据的梯度F-范数均值作为动态梯度裁剪阈值,再对梯度进行扰动。考虑不同的裁剪顺序,提出先裁剪再加噪的CLIP_DGC_DPGAN(Clip Dynamic Gradient Clipping Differential Privacy Generative Adversarial Network)算法和先加噪再裁剪的DGC_DPGAN算法,并采用Rényi Accountant求取隐私损失。实验结果表明,在相同的隐私预算下,所提出的两种动态梯度裁剪算法与固定梯度阈值裁剪方法相比更优:在Mnist数据集上,所提两种算法在IS(Inception Score)、结构相似性(SSIM)、卷积神经网络(CNN)分类准确率上分别提升了0.32~3.92,0.03~0.27,7%~44%;在Fashion-Mnist数据集上,所提两种算法在IS、SSIM、CNN分类准确率上分别提升了0.40~4.32,0.01~0.44,20%~51%。同时,GAN模型生成图像的可用性更好。
-
关键词
生成对抗网络
差分隐私
动态梯度阈值裁剪
Rényi
Accountant
-
Keywords
Generative Adversarial Network(GAN)
differential privacy
dynamic gradient threshold clipping
Rényi Accountant
-
分类号
TP309.2
[自动化与计算机技术—计算机系统结构]
-