基于生成对抗网络的目标检测黑盒迁移攻击算法

目标检测被广泛应用到自动驾驶、工业、医疗等各个领域.利用目标检测算法解决不同领域中的关键任务逐渐成为主流.然而基于深度学习的目标检测模型在对抗样本攻击下,模型的鲁棒性存在严重不足,通过加入微小扰动构造的对抗样本很容易使模型预测出错.这极大地限制了目标检测模型在关键安全领域的应用.在实际应用中的模型普遍是黑盒模型,现有的针对目标检测模型的黑盒攻击相关研究不足,存在鲁棒性评测不全面,黑盒攻击成功率较低,攻击消耗资源较高等问题.针对上述问题,提出基于生成对抗网络的目标检测黑盒攻击算法,所提算法利用融合注意力机制的生成网络直接输出对抗扰动,并使用替代模型的损失和所提的类别注意力损失共同优化生成网络参数,可以支持定向攻击和消失攻击两种场景.在Pascal VOC数据集和MS COCO数据集上的实验结果表明,所提方法比目前攻击方法的黑盒迁移攻击成功率更高,并且可以在不同数据集之间进行迁移攻击.

大模型安全与治理探讨

预训练大模型近年来取得了快速发展,也被广泛应用于各个领域,但其内在的安全风险仍然十分严峻,亟需从技术和治理等角度解决大模型的安全性问题。本文深入探讨了预训练大模型的安全风险和治理方法,从幻觉、不良信息、隐私泄露、偏见等角度分析大模型的安全风险,并介绍了数据清洗、基于人类或AI反馈的强化学习,以及安全性评估等方面的安全性加固技术。针对当前大模型安全性治理,提出了在国家层面上加强大模型安全保障体系建设、推动全球网络空间共同体的建设以及加大科研投入等建议,以期不断提升预训练大模型的安全性,让人工智能更安全地服务于人类。

面向对抗样本的深度神经网络可解释性分析

虽然深度神经网络(Deep neural networks,DNNs)在许多任务上取得了显著的效果,但是由于其可解释性(Interpretability)较差,通常被当做"黑盒"模型.本文针对图像分类任务,利用对抗样本(Adversarial examples)从模型失败的角度检验深度神经网络内部的特征表示.通过分析,发现深度神经网络学习到的特征表示与人类所理解的语义概念之间存在着不一致性.这使得理解和解释深度神经网络内部的特征变得十分困难.为了实现可解释的深度神经网络,使其中的神经元具有更加明确的语义内涵,本文提出了加入特征表示一致性损失的对抗训练方式.实验结果表明该训练方式可以使深度神经网络内部的特征表示与人类所理解的语义概念更加一致.