一类自适应梯度裁剪的差分隐私随机梯度下降算法

梯度裁剪是一种防止梯度爆炸的有效方法,但梯度裁剪参数的选取通常对训练模型的性能有较大的影响。为此,本文针对标准的差分隐私随机梯度下降算法进行改进。首先,提出一种自适应的梯度裁剪方法,即在传统裁剪方法基础上利用分位数和指数平均策略对梯度裁剪参数进行自适应动态调整,进而提出一类自适应梯度裁剪的差分隐私随机梯度下降算法。其次,在非凸目标函数的情况下对提出的自适应算法给出收敛性分析和隐私性分析。最后,在MNIST、Fasion-MNIST和IMDB数据集上进行数值仿真。其结果表明,与传统梯度裁剪算法相比,本文提出的自适应梯度裁剪算法显著提高了模型精度。

自适应隐私预算分配的差分隐私梯度下降算法

在大数据时代的背景下利用机器学习模型解决问题的同时也存在着敏感数据泄露的安全风险.利用差分隐私方法对模型训练过程进行保护是解决该问题的有效方式,现有的差分隐私梯度下降算法虽然已经取得了显著的成果,但是在其迭代训练过程中依旧存在不足之处.文章从隐私预算分配的角度提出了一种自适应选择学习率和隐私预算分配的差分隐私梯度下降算法.具体地,在保证模型收敛的前提下对每次迭代过程中的隐私预算进行自适应地分配,最大程度地对其进行隐私保护,防止模型参数的泄露.最后,实验结果验证了该算法的隐私性和有效性,并且在不同数据集中都表现出了优于已有算法的结果。

面向深度神经网络训练的数据差分隐私保护随机梯度下降算法

针对传统深度神经网络所采用的随机梯度下降算法忽略了对数据集隐私性保护的缺点,提出一种基于数据差分隐私保护的随机梯度下降算法。引入范数剪切与附加高斯噪声操作,对传统梯度更新策略进行改进。为衡量每次迭代过程中对数据隐私性的破坏,提出隐私损失累积函数在迭代过程中对数据隐私性的侵犯程度进行度量。MNIST手写数字识别和CIFAR-10图像分类实验表明,该算法在保护数据集隐私性的同时,对手写数字以及图像分类的识别准确率分别超过了90%和70%,且相较于传统的随机梯度下降算法,其准确率提升了5%以上。该算法在实际工程中能够有效兼顾数据隐私性保护与神经网络辨识准确度。

MapReduce框架下支持差分隐私保护的随机梯度下降算法

针对现有分布式计算环境下随机梯度下降算法存在效率性与私密性矛盾的问题,提出一种MapReduce框架下满足差分隐私的随机梯度下降算法。该算法基于MapReduce框架,将数据随机分配到各个Map节点并启动Map分任务独立并行执行随机梯度下降算法;启动Reduce分任务合并满足更新要求的分目标更新模型,并加入拉普拉斯随机噪声实现差分隐私保护。根据差分隐私保护原理,证明了算法满足e-差分隐私保护要求。实验表明该算法具有明显的效率优势并有较好的数据可用性。

卷积神经网络中基于差分隐私的动量梯度下降算法

针对卷积神经网络(CNN)模型的训练过程中,模型参数记忆数据部分特征导致的隐私泄露问题,提出一种CNN中基于差分隐私的动量梯度下降算法(DPGDM)。首先,在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声,并用加噪后的梯度值参与模型参数的更新过程,从而实现对模型整体的差分隐私保护;其次,为了减少引入差分隐私噪声对模型收敛速度的影响,设计学习率衰减策略,改进动量梯度下降算法;最后,为了降低噪声对模型准确率的影响,在模型优化过程中动态地调整噪声尺度的值,从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明,与DP-SGD(Differentially Private Stochastic Gradient Descent)相比,所提算法可以在隐私预算为0.3和0.5时,模型准确率分别提高约5和4个百分点。可见,所提算法提高了模型的可用性,并实现了对模型的隐私保护。

基于梯度扰动和BB步长的迭代收缩阈值差分隐私算法

本文研究隐私保护下带有非凸正则的经验风险极小化问题,其中损失函数是凸函数,正则项 为MCP函数。提出了基于梯度扰动和Barzilar-Borwein (BB)步长的迭代收缩阈值差分隐私算法(ISTDP)。 首先,基于算法每次迭代均对梯度添加高斯噪声,证明了该算法具有差分隐私保护性质。 其次,基于以BB步长做试探步进行线搜索的迭代收缩阁值算法,证明了该算法可以收敛于任意给定的精度。因此,ISTDP算法是一种可以满足隐私保护要求的机器学习优化算法。

基于差分隐私的联邦学习方案

联邦学习的特点之一是进行训练的服务器并不直接接触数据,因此联邦学习本身就具有保护数据安全的特性。但是研究表明,联邦学习在本地数据训练和中心模型聚合等方面均存在隐私泄露的问题。差分隐私是一种加噪技术,通过加入适当噪声达到攻击者区分不出用户信息的目的。文中研究了一种基于本地和中心差分隐私的混合加噪算法(LCDP-FL),该算法能根据各个客户端不同权重、不同隐私需求,为这些客户端提供本地或混合差分隐私保护。而且我们证明该算法能够在尽可能减少计算开支的同时,为用户提供他们所需的隐私保障。在MNIST数据集和CIFAR-10数据集上对该算法进行了测试,并与本地差分隐私(LDP-FL)和中心差分隐私(CDP-FL)等算法进行对比,结果显示该混合算法在精确度、损失率和隐私安全方面均有改进,其算法性能最优。

基于局部差分隐私的增强矩阵分解推荐算法

为增强隐私保护能力以及推荐干扰鲁棒性,有效减少通信成本,提出一种基于局部差分隐私的增强矩阵分解推荐算法。提出用于矩阵分解的局部差分隐私梯度下降算法,同时保护用户项目和评级;通过随机过程的维度还原技术减少由于大量项目而产生的大扰动误差,通过稳定噪声半径减少由于迭代而产生的误差;引入一个因子,通过数据集稳定扰动梯度。通过两个数据集验证了提出方法的有效性。

基于差分隐私的广告推荐算法

随着移动互联网行业进入快速发展阶段,用户数据以及浏览数据大幅增加,所以准确把握用户潜在需求和提高广告推荐效果显得极其重要。DeepFM模型作为目前较为先进的推荐方法,可以从原始特征中抽取到各种复杂度特征,但模型没有对数据进行防护。为了在DeepFM模型中实现隐私保护,提出一种基于差分隐私的DeepFM模型——DP-DeepFM,在模型训练过程中将高斯噪声加入Adam优化算法中,并进行梯度裁剪,防止加入噪声过大引发模型性能下降。在广告Criteo数据集上的实验结果表明,与DeepFM相比,DP-DeepFM的准确率仅下降了0.44个百分点,但它能提供差分隐私保护,更具安全性。

梯度策略自适应差分进化算法

差分进化算法是一种有效求解全局优化问题的方法,为进一步提高求解精度,加快求解过程,文中提出一种梯度策略自适应差分进化算法。该算法是在差分进化算法中加入梯度下降法,使其不仅有较好的全局搜索能力,且具有传统优化方法的快速局部搜索能力,因此具有较高搜索精度和较快的搜索过程。通过对CEC2005测试集中的1~14号测试函数进行仿真实验,并与Sa DE,NSDE以及CMAES等算法实验结果进行了对比,结果表明了该算法的有效性。

基于动态学习率边界的隐私保护算法

深度学习优化算法在对数据进行训练时容易导致隐私泄露,卷积神经网络在进行隐私计算时会因为计算每个样本的梯度而带来巨大的内存开销,针对以上问题,提出一种结合混合重影剪裁的差分隐私动态学习率边界算法.将AdaBound优化算法与差分隐私相结合,缓解了算法在训练时的极端学习率和不稳定现象,减少了在反向传播过程中因为加入噪声而对模型收敛速度产生的影响.在卷积层上使用混合重影剪裁,简化了更新中对于梯度的直接计算所带来的开销成本,可以有效地训练差分隐私模型.最后,通过仿真实验,与其他经典的差分隐私算法进行对比,实验表明,算法实现了在相同隐私预算下更高的准确率,具有更优的性能,对模型的隐私保护效果更好.

压缩降维矩阵分解算法的差分隐私推荐

为提供更好的用户体验,提出一种考虑压缩降维矩阵分解的差分隐私随机扰动推荐算法。首先,改进了局部差分隐私保护(LDP)的下矩阵分解算法,单个用户将自己的数据随机化以满足不同的隐私,并将受干扰的数据发送到推荐器。然后,推荐者计算扰动数据的聚集,框架确保了用户的项目和评级对推荐者都是私有的。同时为解决LDP应用于矩阵因式分解时存在的数据高维特性,采用了随机投影降维技术,在没有数据先验知识情况下减少用户数据的维度。通过在Last.fm和Flixster测试集上对推荐系统的推荐精度、推荐效率以及参数变化影响进行了实验分析,证明了上述算法在更强的隐私要求下比现有的算法具有更好的矩阵分解性能,验证了算法的有效性。

一种改进的分布式优化随机差分隐私算法

多智能体系统中的分布式优化隐私保护,利用邻居的信息来协同最小化所有智能体目标函数的和,旨在潜在窃听者能够获取所有通信信息的条件下,保护每个智能体的目标函数不被窃取。为了进一步提升性能,在梯度跟踪技术与现有DiaDSP算法的基础上,提出了在状态和方向上添加随机噪声的随机差分隐私算法,并证明了该算法不仅能够在概率意义下收敛到问题的最优解,还能够在信息交互过程中保持DiaDSP算法的隐私保护性能,而且通过添加随机的随机变量能够节省计算时间,提高优化效率。数值仿真结果显示,相较于DiaDSP算法,改进算法在p<1时收敛时间减少,收敛精度也有较大的提升。

满足本地差分隐私的分类变换扰动机制

本地差分隐私作为一种隐私保护技术,被广泛用于连续数值型数据的均值估计,使用的扰动机制将直接影响均值的准确度.为进一步提高均值估计的准确性,提出了一种满足差分隐私的分类变换扰动机制.该机制对连续数值型数据划分变换范围并进行分段,根据分段将其变换为1维二元分类数据.转换后使用随机响应机制进行扰动,再根据扰动后的数据标识的数值段从中随机均匀抽取数值作为扰动值.在真实数据和合成数据中的均值估计实验结果表明该机制极大地提高了准确性.除此之外,将分类变换扰动机制用于构建满足本地差分隐私的小批量梯度下降算法,并完成线性回归学习任务,实验结果证明该方法同样优于其他已有机制,可得到更小的均方误差.

增强深度学习中的差分隐私防御机制

近年来,深度学习在很多领域都得到了广泛的应用,然而基于深度学习的人工智能应用正面临严重的隐私泄露风险,虽然研究人员提出了很多相应的防御机制,但这些方法大都存在以下问题:对攻击者掌握的背景知识有过多的假设、不具有通用性以及高复杂度和高计算代价.尝试从差分隐私的角度出发构造一个通用隐私保护防御算法.目前在深度学习领域,应用最广泛的差分隐私算法是DPSGD(Stochastic Gradient Descent with Differential Privacy),但在应用DPSGD的过程中难以选择合适的参数以达到良好的拟合效果;此外,其隐私损失的度量机制也较为复杂.为解决这些问题,提出DPADAM(Adaptive Moment Estimation with Differential Privacy)算法,同时引入zCDP(Zero⁃Concentrated Differential Privacy)作为隐私损失的度量机制,使其在应用过程中更加简单灵活.实验证明,DPADAM算法能够有效解决参数依赖问题,在确保隐私性的同时提高模型的拟合效果.

一种基于差分隐私和时序的推荐系统模型研究

推荐系统的建立依赖用户的个人隐私信息,攻击者可以通过推荐的结果对用户的状态和行为进行预测.目前,虽然有对基于协同过滤近邻隐私保护的研究,但是对基于模型的隐私保护的关注度并不够高.差分隐私理论定义了一个相当严格的防攻击模型,通过添加噪声使数据失真达到隐私保护的目的,而且用户的兴趣存在兴趣漂移问题,对推荐效果造成影响,因此,提出基于差分隐私理论和时序理论构建基于模型的推荐系统.首先,根据差分隐私理论,给用户的评分数据增加小波动的符合Laplace分布的噪声,增大待分解矩阵的安全系数;然后,在随机梯度下降模型的基础上,将时序因子建模为时间权重,提高模型的准确性.实验证明该算法的准确性,并且为增强隐私研究提供了新的思路.

一种基于桶重构的差分隐私直方图发布方法

差分隐私(Differential Privacy,DP)是一种新型的隐私保护模型,而直方图是差分隐私保护下数据发布的一种重要形式。现有的差分隐私直方图发布技术未能高效处理存在离群点的数据集。针对这一问题,基于桶重构思想,提出一种高效的、面向存在离群点数据集的差分隐私直方图发布的R-G-I方法。该方法包括三个重要的算法,第一步用梯度回归算法处理原始数据集,第二步用基于桶重构的贪心算法处理经第一步处理后形成的数据集,第三步用保序回归算法处理经第二步处理后形成的数据集。采用不同特点的真实数据集进行实验,结果验证了提出的直方图发布方法针对含有离群点的数据集的准确性和有效性。

基于生成模型的Q-learning二分类算法

对于二分类问题,基于判别模型的分类器一般都是寻找一条最优判决边界,容易受到数据波动的影响。针对该问题提出一种基于生成模型的Q-learning二分类算法(BGQ-learning),将状态和动作分开编码,得到对应各类的判决函数,增加了决策空间的灵活性,同时在求解参数时,采用最小二乘时序差分(TD)算法和半梯度下降法的组合优化方法,加速了参数的收敛速度。设计实验对比了BGQ-learning算法与三种经典分类器以及一种新颖的分类器的分类性能,在UCI数据库七个数据集上的测试结果表明,该算法有着优良的稳定性以及良好的分类精确度。

边缘智能协同计算模式下的隐私保护系统

智慧医疗背景下,隐私安全问题以及针对可控疾病的安全医疗预测与诊断至关重要。提出一种能够高效率地诊断可控疾病并对个人隐私数据和深度学习模型进行保护的基于边缘计算的安全医疗诊断系统。主要采用CNN卷积神经网络对医学图像数据进行处理,并在联邦学习Flower框架下将模型训练在中间服务器上,数据信息保留在本地客户端,结合差分隐私梯度下降算法保护个人敏感数据,最后使用可追踪的环签名技术在每个客户端签名,以此保护深度学习模型。在Kaggle数据库中已标注处理的原始淋巴切片细胞图片数据集上进行验证,系统准确率达到91.90%。

基于联邦学习的下肢康复评估算法与实现

为解决跨机构模型训练及康复评估的数据隐私问题,提出一种基于联邦学习的下肢康复评估算法。搭建联邦学习系统,通过客户端选择机制及量化编码压缩提高通讯效率。设计限制项随机梯度下降优化器保证本地训练时的模型收敛性,通过高斯差分隐私算法进行全局更新。在此基础上设计GRU-Inception神经网络模型,利用联邦学习系统进行训练并完成下肢康复评估任务。实验验证了该算法具有较好的康复评估效果。