电子健康记录(Electronic Health Records,EHRs)数据已成为生物医学研究的宝贵资源。通过学习隐藏在EHRs数据中的人类难以区分的多维特征,机器学习方法可以获得更好的结果。然而,现有的一些研究只考虑了模型训练过程中或模型训练后可能...电子健康记录(Electronic Health Records,EHRs)数据已成为生物医学研究的宝贵资源。通过学习隐藏在EHRs数据中的人类难以区分的多维特征,机器学习方法可以获得更好的结果。然而,现有的一些研究只考虑了模型训练过程中或模型训练后可能面临的一些隐私泄露,导致隐私防护措施单一,无法实现覆盖机器学习全生命周期。此外,现有的方案大多是针对单模态数据的联邦学习隐私保护方法的研究。因此,提出了一种面向多模态数据的联邦学习隐私保护方法。为防止敌手通过反向攻击窃取原始数据信息,对每个参与者上传的模型参数进行差分隐私扰动。为防止在模型训练过程中各参与方的局部模型信息泄露,利用Paillier密码系统对局部模型参数进行同态加密。从理论的角度对该方法进行了安全性分析,给出了安全模型定义,并证明了子协议的安全性。实验结果表明,该方法在几乎不损失性能的情况下,保护了训练数据和模型的隐私。展开更多
针对联邦学习存在处理大多数不规则用户易引起聚合效率降低,以及采用明文通信导致参数隐私泄露的问题,基于设计的安全除法协议构建针对不规则用户鲁棒的隐私保护联邦学习框架。该框架通过将模型相关计算外包给两台边缘服务器以减小采用...针对联邦学习存在处理大多数不规则用户易引起聚合效率降低,以及采用明文通信导致参数隐私泄露的问题,基于设计的安全除法协议构建针对不规则用户鲁棒的隐私保护联邦学习框架。该框架通过将模型相关计算外包给两台边缘服务器以减小采用同态加密产生的高额计算开销,不仅允许模型及其相关信息以密文形式在边缘服务器上进行密文聚合,还支持用户在本地进行模型可靠性计算以减小传统方法采用安全乘法协议造成的额外通信开销。在该框架的基础上,为更精准评估模型的泛化性能,用户完成本地模型参数更新后,利用边缘服务器下发的验证集与本地持有的验证集联合计算模型损失值,并结合损失值历史信息动态更新模型可靠性以作为模型权重。进一步,在模型可靠性先验知识指导下进行模型权重缩放,将密文模型与密文权重信息交由边缘服务器对全局模型参数进行聚合更新,保证全局模型变化主要由高质量数据用户贡献,提高收敛速度。通过HybridArgument模型进行安全性分析,论证表明PPRFL(privacy-preserving robust fe-derated learning)可以有效保护模型参数以及包括用户可靠性等中间交互参数的隐私。实验结果表明,当联邦聚合任务中的所有参与方均为不规则用户时,PPRFL方案准确率仍然能达到92%,收敛效率较PPFDL(privacy-preserving federated deep learning with irregular users)提高1.4倍;当联邦聚合任务中80%用户持有的训练数据都为噪声数据时,PPRFL方案准确率仍然能达到89%,收敛效率较PPFDL提高2.3倍。展开更多
基金supported by the National Key Research and Development Program of China (2018YFB0804102)the National Natural Science Foundation of China (61802357)+1 种基金the Fundamental Research Funds for the Central Universities(WK3480000009)the Scientific Research Startup Funds of the Hefei University of Technology (13020-03712022064)。
文摘电子健康记录(Electronic Health Records,EHRs)数据已成为生物医学研究的宝贵资源。通过学习隐藏在EHRs数据中的人类难以区分的多维特征,机器学习方法可以获得更好的结果。然而,现有的一些研究只考虑了模型训练过程中或模型训练后可能面临的一些隐私泄露,导致隐私防护措施单一,无法实现覆盖机器学习全生命周期。此外,现有的方案大多是针对单模态数据的联邦学习隐私保护方法的研究。因此,提出了一种面向多模态数据的联邦学习隐私保护方法。为防止敌手通过反向攻击窃取原始数据信息,对每个参与者上传的模型参数进行差分隐私扰动。为防止在模型训练过程中各参与方的局部模型信息泄露,利用Paillier密码系统对局部模型参数进行同态加密。从理论的角度对该方法进行了安全性分析,给出了安全模型定义,并证明了子协议的安全性。实验结果表明,该方法在几乎不损失性能的情况下,保护了训练数据和模型的隐私。
文摘针对联邦学习存在处理大多数不规则用户易引起聚合效率降低,以及采用明文通信导致参数隐私泄露的问题,基于设计的安全除法协议构建针对不规则用户鲁棒的隐私保护联邦学习框架。该框架通过将模型相关计算外包给两台边缘服务器以减小采用同态加密产生的高额计算开销,不仅允许模型及其相关信息以密文形式在边缘服务器上进行密文聚合,还支持用户在本地进行模型可靠性计算以减小传统方法采用安全乘法协议造成的额外通信开销。在该框架的基础上,为更精准评估模型的泛化性能,用户完成本地模型参数更新后,利用边缘服务器下发的验证集与本地持有的验证集联合计算模型损失值,并结合损失值历史信息动态更新模型可靠性以作为模型权重。进一步,在模型可靠性先验知识指导下进行模型权重缩放,将密文模型与密文权重信息交由边缘服务器对全局模型参数进行聚合更新,保证全局模型变化主要由高质量数据用户贡献,提高收敛速度。通过HybridArgument模型进行安全性分析,论证表明PPRFL(privacy-preserving robust fe-derated learning)可以有效保护模型参数以及包括用户可靠性等中间交互参数的隐私。实验结果表明,当联邦聚合任务中的所有参与方均为不规则用户时,PPRFL方案准确率仍然能达到92%,收敛效率较PPFDL(privacy-preserving federated deep learning with irregular users)提高1.4倍;当联邦聚合任务中80%用户持有的训练数据都为噪声数据时,PPRFL方案准确率仍然能达到89%,收敛效率较PPFDL提高2.3倍。