基于数据特征相关性和自适应差分隐私的深度学习方法研究

基于差分隐私的深度学习隐私保护方法中,训练周期的长度以及隐私预算的分配方式直接制约着深度学习模型的效用.针对现有深度学习结合差分隐私的方法中模型训练周期有限、隐私预算分配不合理导致模型安全性与可用性差的问题,提出一种基于数据特征相关性和自适应差分隐私的深度学习方法(deep learning methods based on data feature Relevance and Adaptive Differential Privacy,RADP).首先,该方法利用逐层相关性传播算法在预训练模型上计算出原始数据集上每个特征的平均相关性;然后,使用基于信息熵的方法计算每个特征平均相关性的隐私度量,根据隐私度量对特征平均相关性自适应地添加拉普拉斯噪声;在此基础上,根据加噪保护后的每个特征平均相关性,合理分配隐私预算,自适应地对特征添加拉普拉斯噪声;最后,理论分析该方法(RADP)满足ε-差分隐私,并且兼顾安全性与可用性.同时,在三个真实数据集(MNIST,Fashion-MNIST,CIFAR-10)上的实验结果表明,RADP方法的准确率以及平均损失均优于AdLM(Adaptive Laplace Mechanism)方法、DPSGD(Differential Privacy with Stochastic Gradient Descent)方法和DPDLIGDO(Differentially Private Deep Learning with Iterative Gradient Descent Optimization)方法,并且RADP方法的稳定性仍能保持良好.

差分隐私中噪声添加与精度分析研究

国内对于差分隐私定义以及所使用的基本机制缺乏严格清晰的证明与推导过程,对学者入门造成了困难.因此针对这方面空白,通过分析、证明与应用举例的方式,对差分隐私中的拉普拉斯机制与指数机制进行了详细分析,并给出完整的数学推导过程和应用举例.指出了拉普拉斯机制精度公式和指数机制精度公式存在缩放过大的问题,并且在拉普拉斯机制和指数机制精度公式的证明之后给出了放缩过大的理由.通过实验得出结论,拉普拉斯机制精度公式和指数机制精度公式是精度范围过大的公式.