-
题名针对视频语义描述模型的稀疏对抗样本攻击
- 1
-
-
作者
邱江兴
汤学明
王天美
王成
崔永泉
骆婷
-
机构
分布式系统安全湖北省重点实验室
-
出处
《计算机科学》
CSCD
北大核心
2023年第12期330-336,共7页
-
文摘
在多模态深度学习领域,尽管有很多研究表明图像语义描述模型容易受到对抗样本的攻击,但是视频语义描述模型的鲁棒性并没有得到很多的关注。主要原因有两点:一是与图像语义描述模型相比,视频语义描述模型的输入是一个图像流,而不是单一的图像,如果对视频的每一帧进行扰动,那么整体的计算量将会很大;二是与视频识别模型相比,视频语义描述模型的输出不是一个单词,而是更复杂的语义描述。为了解决上述问题以及研究视频描述模型的鲁棒性,提出了一种针对视频语义描述模型的稀疏对抗样本攻击方法。首先,基于图像识别领域的显著性分析的原理,提出了一种评估视频中不同帧对模型输出贡献度的方法。在此基础上,选择关键帧施加扰动。其次,针对视频语义描述模型,设计了基于L2范数的优化目标函数。在数据集MSR-VTT上的实验结果表明,所提方法在定向攻击上的成功率为96.4%,相比随机选择视频帧,查询次数减少了45%以上。上述结果验证了所提方法的有效性并揭示了视频语义描述模型的脆弱性。
-
关键词
多模态模型
视频语义描述模型
对抗样本攻击
图像显著性
关键帧选择
-
Keywords
Multi-model
Video caption
Adversarial example
Saliency map
Keyframe select
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-