结合数据增强的跨模态行人重识别轻量网络

现有的跨模态行人重识别方法中,轻量化网络的相关研究较少。考虑到硬件部署对轻量化网络的需求,提出新的跨模态行人重识别轻量网络。以Osnet为基础,进行特征提取器和特征嵌入器的拆分。同时使用数据增强操作,利用有限的数据集,最大程度提高了网络的鲁棒性。改进难样本三元组损失函数,在减少计算量的同时缩小模态间差异,提升网络识别准确率。提出的轻量化网络结构简单且效果显著,在SYSU-MM01数据集的全搜索模式下rank-1/mAP分别达到65.56%、61.36%,参数量仅为1.92×10^(6)。

结合数据增强与特征融合的跨模态行人重识别

可见光-红外行人重识别问题的难点在于图像间模态差异大,大多数现有的方法通过生成对抗网络生成伪图像或提取原始图像上的模态共享特征来缓解模态差异。然而,训练生成对抗网络需要消耗大量的计算资源且生成的伪图像容易引入噪声,提取模态共享特征也会不可避免地导致与行人身份相关的重要判别特征丢失。针对以上问题,提出新的跨模态行人重识别网络。首先将进行自动数据增强后的训练数据集作为网络输入,提高模型的鲁棒性;然后在网络中引入实例正则化来缩小模态差异;最后将网络各层提取到的不同尺度的行人特征进行有机融合,融合后的特征包含更多与行人身份相关的判别特征。该方法在SYSU-MM01数据集的全局搜索模式下Rank-1/mAP分别达到69.47%/65.05%,在RegDB数据集的可见光到红外模式下Rank-1/mAP分别达到85.73%/77.77%,实验结果获得显著提升。