自动驾驶场景下对交通路标对抗攻击的防御

针对现有单一对抗防御方法不能使自动驾驶视觉系统有效抵御交通路标对抗攻击的问题,提出一种多阶段对抗防御方法。首先,应用焦点损失消除正负样本数量不平衡的影响,提高对抗训练过程中模型分类的准确率;同时为使模型拥有更强的泛化能力,对数据集做混合数据增强,并在训练开始前预热学习率。然后,使用知识蒸馏算法将教师模型群的"知识信息"迁移到学生模型群。最后,以加权的方式平均学生模型群体的预测结果。经本防御方法训练后,学生模型对交通路标对抗样本的分类准确率由8%~19%提升到了69%~83%;同时与单一对抗防御方法相比,学生模型群体的预测准确率高达85%,优于现有防御模型。在轻量级条件下,利用本防御方法训练的深度学习模型能有效抵御交通路标的对抗攻击,可为自动驾驶视觉系统防御对抗攻击提供参考。

基于像素对齐和特征对齐的跨模态行人重识别

为了减少可见光-红外跨模态行人重识别中较大的跨模态差异,提出一种联合像素对齐和特征对齐的跨模态行人重识别方法。首先,从像素级角度出发,利用对齐生成对抗网络(alignment generative adversarial network,AlignGAN),将可见光图像转换为红外图像,减少可见光和红外图像之间的跨模态差距。其次,从特征级角度出发,通过交换可见光和红外图像的模态特定特征来生成跨模态配对图像,同时进行全局集合级对齐和细粒度实例级对齐。最后,运用基于非局部块的深度为50层的残差网络(50-layer residual nets,ResNet-50)捕获图像的长距离依赖关系。在SYSU-MM01数据集上进行了大量试验,我们的方法得到41.8%的识别准确率,在相比较的方法中准确率最高。可见,本方法可以有效地减少跨模态行人重识别中较大的跨模态差异。本研究结果可为跨模态行人重识别的研究提供参考。