针对机器学习的成员推断攻击综述

近年来,机器学习不仅在计算机视觉、自然语言处理等领域取得了显著成效,也被广泛应用于人脸图像、金融数据、医疗信息等敏感数据处理领域。最近,研究人员发现机器学习模型会记忆它们训练集中的数据,导致攻击者可以对模型实施成员推断攻击,即攻击者可以推断给定数据是否存在于某个特定机器学习模型的训练集。成员推断攻击的成功,可能导致严重的个人隐私泄露。例如,如果能确定某个人的医疗记录属于某医院的数据集,则表明这个人曾经是那家医院的病人。首先介绍了成员推断攻击的基本原理;然后系统地对近年来代表性攻击和防御的研究进行了总结和归类,特别针对不同条件设置下如何进行攻击和防御进行了详细的阐述;最后回顾成员推断攻击的发展历程,探究机器学习隐私保护面临的主要挑战和未来潜在的发展方向。

云计算环境下数据安全及隐私保护的技术实践支撑

云计算集合了多种信息技术,发展速度迅速,以数据共享为结构,为人类解决问题提供了积极的帮助。但同时也存在着数据安全隐患和隐私可能被侵犯的问题。虽然我们在数据安全方面做了很多工作,如加密、认证、授权等,但难免还是会发生信息泄露的问题,导致隐私得不到有效的保护。云计算中数据泄露、隐私被侵犯的原因有很多,我们应积极寻找解决问题的关键技术,从数据传输、数据存储、数据审计等多个方面采取应对策略:采用混合云进行数据存储处理、加密数据检索、数据水印隐私保护等手段来解决。

针对深度学习的对抗攻击综述

深度学习在图像、文本、语音等多种数据类型的处理上取得了显著进展.然而,深度学习的不可解释性导致深度学习的输出缺乏可信性,致使其在许多安全领域的应用受到了严重的制约.研究人员发现通过对原始样本加入微小扰动所生成的对抗样本能够有效欺骗深度学习模型,并将生成对抗样本的方式称之为对抗攻击.对抗攻击能够使深度学习以高置信度的方式给出错误的输出,实现针对深度学习检测服务的逃逸攻击.本文首先介绍了对抗攻击的基本原理,并从扰动范围、攻击者掌握目标模型知识的情况、攻击目标的针对性、攻击频次等4个方面对对抗攻击进行分类.然后,总结了近年来计算机视觉领域中对抗攻击研究的代表性成果,对比分析各种攻击方案的特点.特别针对对抗攻击在自然语言处理、语音识别、恶意软件检测和可解释性对抗样本等4种典型场景下的应用进行了详细介绍,进一步揭示了对抗样本对深度学习服务的安全威胁.最后,通过回顾对抗攻击的发展历程,探究该技术面临的主要挑战并指出其未来潜在的发展方向.