联邦学习系统攻击与防御技术研究综述

联邦学习作为一种使用分布式训练数据集构建机器学习模型的新兴技术,可有效解决不同数据用户之间因联合建模而导致的本地数据隐私泄露问题,从而被广泛应用于多个领域并得到迅速发展.然而,现有的联邦学习系统已被证实在数据收集阶段、训练阶段和推理阶段都存在潜在威胁,危及数据的隐私性和系统的鲁棒性.本文从安全威胁和隐私威胁两类潜在威胁入手,围绕机密性、完整性和可用性(CIA三元组)给出了联邦学习场景中安全属性的详细定义,并对联邦学习中各类攻击方式和防御手段进行了系统全面综述.首先,本文对横向、纵向联邦学习过程,以及潜在威胁分别进行了概述,并从对抗性攻击和非对抗性攻击两个角度,分析了投毒攻击、对抗样本攻击和推理攻击等常见攻击的基本概念、实施阶段和现有方案.进一步地,依据不同的攻击方式,将防御手段划分为鲁棒性提升方法和隐私性增强技术两类:鲁棒性提升方法主要防御系统遭受的对抗性攻击,包括数据消毒、鲁棒性聚合、异常检测、对抗训练、知识蒸馏和剪枝等,隐私性增强技术主要防御系统遭受的非对抗性攻击,包括同态加密、安全多方计算、差分隐私和区块链等.最后,本文给出了联邦学习中鲁棒性和隐私性方面的未来研究方向.