两方参与的隐私保护岭回归方案与应用

大数据环境下,同态加密可以有效解决机器学习中的隐私泄露问题.本文利用CKKS同态加密技术,设计了一种两方参与、基于密文域上带除法延迟的改进共轭梯度法的隐私保护岭回归方案,参与模型训练的双方可以通过少量的交互,在密文数据上高效地训练岭回归模型,防止过程中有隐私被泄露;分析了方案的安全性、计算以及通信复杂度,基于HEAAN同态加密库利用C++实现了该方案;在公开数据集上验证了该方案,实验证明所提方案可以安全高效地训练岭回归模型.对于特征维度为77,样本个数为4000的UCI数据集Twitter,训练模型所需迭代次数仅为16,时间损耗为127.5 s,通信量为41.87MB,密文域上带除法延迟的改进共轭梯度法收敛速度快,模型训练效率高,通信损耗小,且在密文数据上的训练得到的模型参数与在明文数据上的计算结果相比误差不超过0.001,可以满足特定场景下的实际应用需求.

基于同态加密的多分类Logistic回归模型

随着计算能力的发展,机器学习得到了广泛的应用,数据的安全问题也成为一个重要问题.同态加密技术可以在不泄露明文信息的情况下,对密文进行运算并在解密后得到与在明文上执行相应运算一致的结果.因此,同态加密是一种可行的有潜力的数据安全外包解决方案.为了解决现实生活中出现的多分类问题,本文基于Cheon等提出的HEAAN同态加密方案,提出了一种能有效保护数据隐私的多分类Logistic回归模型,采用"一对其余"的拆解策略,通过训练多个分类器,将二分类Logistic回归模型推广到多分类.数据持有者可以将数据加密后发送给服务器,服务器使用多分类Logistic回归模型对加密数据进行训练,并将结果传回数据持有者,数据持有者解密结果后可以用来对多分类数据进行预测,整个过程中不会有隐私被泄露.本文通过对UCI的Dermatology和Iris数据集进行了实验,测试模型的性能.Dermatology数据集包含358条样本, 34个特征属性,分为6个类别,训练时间约为36.70分钟,准确率达到77.18%,与明文计算的准确率一致.实验验证了本文的模型在效率和准确率方面的可行性.

基于同态加密的线性系统求解方案

在科学计算、统计分析以及机器学习领域,许多实际问题都可以归结到线性系统Ax=b的求解,如最小二乘估计和机器学习中的回归分析等。而实际中用于计算的数据往往由不同用户拥有且包含用户的敏感信息。当不同的数据拥有者想在合作求解一个模型的同时保护数据的隐私,同态加密可以作为解决方法之一。针对两个用户参与的场景,基于Cheon等提出的HEAAN同态加密技术,设计了一种两方参与、利用Gram-Schmidt正交化方法安全求解线性系统Ax=b的新方案;提出了一种适用于该场景的交互式安全乘法逆协议,解决了同态加密无法高效计算除法的问题,保证在高效计算的同时保护数据的隐私信息;分析了方案的安全性、通信损耗以及计算复杂度;基于HEAAN同态加密库,利用C++实现了该方案;最后通过大量的实验证明,该方案可以安全高效地求解维度不超过17的线性系统,与在明文数据上的计算结果相比,相对误差不超过0.0001;针对该方案设计的平行编码方法,可以通过SIMD技术并行求解多个线性系统,拓宽了方案的可用性,基本满足特定场景下的实际应用需求,可进一步用于隐私保护数据挖掘算法的设计。