高低显著性互补特征引导的跨模态行人重识别

在跨模态行人重识别(VI-ReID)任务中,有效挖掘行人图像中的显著信息并缓解模态间存在的差异是提升模型性能的关键。现有工作主要采用基于注意力的方法来增强模型对行人身体上的鉴别特征的学习。但这种方法仅关注行人最显著的区域,而忽略了行人图像中互补的次关键线索。提出了显著性互补特征指导网络(SCFG-Net)。设计了互补特征显著挖掘(CFSM)模块,用于推理出具有全局信息的行人图像的显著特征和被注意力忽略的次关键线索,并将这些特征进行融合,以提高行人图像特征的丰富性和鉴别性。还设计了跨模态判别特征融合(CDFF)模块,用于缓解模态间的颜色差异。实验结果表明,所提出的方法在两个公开数据集上取得了显著的性能提升。在SYSU-MM01数据集的全搜索单镜头模式下,Rank-1和mAP分别达到了74.4%和70.8%。