纵向联邦学习(Vertical federated learning,VFL)是一种新兴的分布式机器学习技术,在保障隐私性的前提下,利用分散在各个机构的数据实现机器学习模型的联合训练.纵向联邦学习被广泛应用于工业互联网、金融借贷和医疗诊断等诸多领域中,...纵向联邦学习(Vertical federated learning,VFL)是一种新兴的分布式机器学习技术,在保障隐私性的前提下,利用分散在各个机构的数据实现机器学习模型的联合训练.纵向联邦学习被广泛应用于工业互联网、金融借贷和医疗诊断等诸多领域中,因此保证其隐私安全性具有重要意义.首先,针对纵向联邦学习协议中由于参与方交换的嵌入表示造成的隐私泄漏风险,研究由协作者发起的通用的属性推断攻击.攻击者利用辅助数据和嵌入表示训练一个攻击模型,然后利用训练完成的攻击模型窃取参与方的隐私属性.实验结果表明,纵向联邦学习在训练推理阶段产生的嵌入表示容易泄漏数据隐私.为了应对上述隐私泄漏风险,提出一种基于最大−最小策略的纵向联邦学习隐私保护方法(Privacy preservation method for vertical federated learning based on max-min strategy,PPVFL),其引入梯度正则组件保证训练过程主任务的预测性能,同时引入重构组件掩藏参与方嵌入表示中包含的隐私属性信息.最后,在钢板缺陷诊断工业场景的实验结果表明,相比于没有任何防御方法的VFL,隐私保护方法将攻击推断准确度从95%下降到55%以下,接近于随机猜测的水平,同时主任务预测准确率仅下降2%.展开更多
文摘纵向联邦学习(vertical federated learning,VFL)常用于高风险场景中的跨领域数据共享,用户需要理解并信任模型决策以推动模型应用。现有研究主要关注VFL中可解释性与隐私之间的权衡,未充分满足用户对模型建立信任及调优的需求。为此,提出了一种基于人在回路(human-in-the-loop,HITL)的纵向联邦学习解释方法(explainable vertical federated learning based on human-in-the-loop,XVFL-HITL),通过构建分布式HITL结构将用户反馈纳入VFL的基于Shapley值的解释方法中,利用各参与方的知识校正训练数据来提高模型性能。进一步,考虑到隐私问题,基于Shapley值的可加性原理,将非当前参与方的特征贡献值整合为一个整体展示,从而有效保护了各参与方的特征隐私。实验结果表明,在基准数据上,XVFL-HITL的解释结果具有有效性,并保护了用户的特征隐私;同时,XVFL-HITL对比VFL-Random和直接使用SHAP的VFL-Shapley进行特征选择的方法,模型准确率分别提高了约14%和11%。
文摘纵向联邦学习(Vertical federated learning,VFL)是一种新兴的分布式机器学习技术,在保障隐私性的前提下,利用分散在各个机构的数据实现机器学习模型的联合训练.纵向联邦学习被广泛应用于工业互联网、金融借贷和医疗诊断等诸多领域中,因此保证其隐私安全性具有重要意义.首先,针对纵向联邦学习协议中由于参与方交换的嵌入表示造成的隐私泄漏风险,研究由协作者发起的通用的属性推断攻击.攻击者利用辅助数据和嵌入表示训练一个攻击模型,然后利用训练完成的攻击模型窃取参与方的隐私属性.实验结果表明,纵向联邦学习在训练推理阶段产生的嵌入表示容易泄漏数据隐私.为了应对上述隐私泄漏风险,提出一种基于最大−最小策略的纵向联邦学习隐私保护方法(Privacy preservation method for vertical federated learning based on max-min strategy,PPVFL),其引入梯度正则组件保证训练过程主任务的预测性能,同时引入重构组件掩藏参与方嵌入表示中包含的隐私属性信息.最后,在钢板缺陷诊断工业场景的实验结果表明,相比于没有任何防御方法的VFL,隐私保护方法将攻击推断准确度从95%下降到55%以下,接近于随机猜测的水平,同时主任务预测准确率仅下降2%.
