图像对抗样本防御技术研究综述

人工智能的快速发展和广泛应用带来了新的安全性问题,针对深度神经网络的对抗样本生成与防御是其中的热点之一。深度神经网络在图像领域应用最广也最容易被图像对抗样本欺骗,针对图像对抗样本的防御技术研究是提升人工智能应用安全的重要手段。图像对抗样本的存在原因尚无统一解释,但可从不同维度加以观察与理解,从而为提出针对性的防御技术方法提供启示。对当前主流的盲区假说、线性假说、决策边界假说、特征假说等对抗样本存在原因假说,以及各种假说与典型对抗样本生成方法之间的关联关系进行了梳理分析。以此为基础,从基于模型和基于数据两个维度对图像对抗样本防御技术进行了总结归纳,对比分析了不同技术方法的适应场景与优缺点。现有的图像对抗样本防御技术方法大多针对具体的对抗样本生成方法进行防御,尚无统一的防御理论与方法。现实应用中需综合考虑具体的应用场景、潜在的安全风险等,在现有的防御技术方法中进行优化组合配置。后续可从泛化防御理论、防御效果评价、体系化防护策略等方面深化技术研究。

深度神经网络模型后门植入与检测技术研究综述

作为当前人工智能快速发展的代表性技术之一,深度神经网络的应用范围越来越广,由此带来的安全性问题也逐渐受到关注。现有研究主要聚焦于如何高效构造多样化的对抗样本,以实现对深度神经网络模型的欺骗,以及如何检测对抗样本并加固深度神经网络模型。但是,随着深度神经网络模型的开发越来越依赖开源数据集、预训练模型和计算框架等第三方资源,模型被植入后门的风险越来越高。从深度神经网络模型生命周期的各个环节出发,对深度神经网络模型后门植入与检测相关技术进行了归纳总结,对比分析了不同技术的主要特征与适用场景,对相关技术未来的发展方向进行了展望。