隐私保护深度学习研究综述

深度学习即服务模式下,包含个人隐私的数据在多方之间不断流转,难以避免地产生了隐私泄露的风险.一方面,数据拥有者担心输入到云端模型中的隐私数据会直接暴露给云服务提供商;另一方面,云端模型拥有者担心客户端可以在大量的数据交互中窃取到自己耗费海量资源训练的模型.因此,如何将隐私保护和深度学习相结合成为了当今隐私计算领域的热点问题.本文回顾了2016年至今隐私保护深度学习相关工作,并根据深度神经网络中的线性层和非线性层运算对前人工作使用的方案进行了分类.通过发表时间、研究周期以及发表数量,分析了不同实现方案的优胜劣汰和当下的研究焦点,同时通过对每个实现方案的不同优化方向进行追溯,理清了每个方案的发展脉络.最后,从多维度综合对比代表性方案,整理了如今隐私保护深度学习所面临的困难并提出了可行的解决方案和具有前景的发展方向.

通用深度学习语言模型的隐私风险评估

近年来,自然语言处理领域涌现出多种基于Transformer网络结构的通用深度学习语言模型,简称“通用语言模型(general-purpose language models,GPLMs)”,包括Google提出的BERT(bidirectional encoder representation from transformers)模型等,已在多个标准数据集和多项重要自然语言处理任务上刷新了最优基线指标,并已逐渐在商业场景中得到应用.尽管其具有很好的泛用性和性能表现,在实际部署场景中,通用语言模型的安全性却鲜为研究者所重视.近年有研究工作指出,如果攻击者利用中间人攻击或作为半诚实(honest-but-curious)服务提供方截获用户输入文本经由通用语言模型计算产生的文本特征,它将以较高的准确度推测原始文本中是否包含特定敏感词.然而,该工作仅采用了特定敏感词存在与否这一单一敏感信息窃取任务,依赖一些较为严格的攻击假设,且未涉及除英语外其他语种的使用场景.为解决上述问题,提出1条针对通用文本特征的隐私窃取链,从更多维度评估通用语言模型使用中潜在的隐私风险.实验结果表明:仅根据通用语言模型提取出的文本表征,攻击者能以近100%的准确度推断其模型来源,以超70%的准确度推断其原始文本长度,最终推断出最有可能出现的敏感词列表,以重建原始文本的敏感语义.此外,额外针对3种典型的中文预训练通用语言模型开展了相应的隐私窃取风险评估,评估结果表明中文通用语言模型同样存在着不可忽视的隐私风险.

基于神经元激活模式控制的深度学习训练数据泄露诱导

开放网络下分布式深度学习的兴起带来潜在的数据泄露风险.作为分布式模型构建中的重要信息载体,训练梯度是模型和端侧数据共同计算的产物,包含参与计算的私密用户数据信息.因此,近年的研究工作针对训练梯度提出一系列新型攻击方法.其中,尤以数据重建攻击(data reconstruction attack)所造成的攻击效果最佳:仅从深度神经网络的平均训练梯度中,攻击者即可近乎无损地恢复一个训练数据批次的各个样本.然而,已有数据重建攻击大多仅停留在攻击方法设计和实验验证层面,对重要实验现象缺乏深层机理分析.尽管有研究发现,满足特定神经元激活独占性(exclusivity)条件的任意大小训练数据批次能被攻击者从训练梯度中像素级重建,然而,实证研究表明在实际训练数据中满足该条件的训练数据批次比例较少,难以造成实际泄露威胁.为增强上述攻击的有效性和应用范围,提出基于线性规划的神经元激活模式控制算法,为给定训练批次生成微小扰动,从而满足神经元激活独占性,以增强后续数据重建攻击效能.在实际中,通过在端侧节点部署该算法,半诚实(honest-but-curious)分布式训练服务能诱导本地训练批次的训练梯度具有理论保证的可重建性.在5个涵盖人脸识别、智能诊断的数据集上的实验结果表明,提出方法在与原始攻击算法重建效果持平的情况下,将可重建训练批次大小从8张提升至实际应用大小,并提升攻击效率10倍以上.

面向用户数据和模型数据的隐私保护技术

数据与模型作为人工智能框架的2个重要元素,既需要考虑它们的安全性与隐私需求,又需要兼顾它们的计算性能。将密码学与人工智能技术相结合,面向多种智能算法,通过安全多方计算技术重构神经网络核心算法,实现全流程的安全推理。基于多线程计算和分段加密等技术优化Blowfish算法,高效完成海量模型数据的加解密流程。该研究有助于提升人工智能模式的安全性与密文计算效率,具有重要研究意义。