基于通道重组和注意力机制的跨模态行人重识别

近年来,跨模态行人重识别逐渐成为了计算机视觉领域的热门研究方向之一。然而,在跨模态行人重识别任务中,高效地提取行人特征,进一步实现图像之间的交互融合、挖掘行人图像之间的潜在关系是至关重要的。为了解决这一问题,提出一种基于通道分组重组和注意力机制的双流网络来提取两种模态之间更加稳定且丰富的特征。具体地:首先在主干网络中嵌入模态内特征通道分组重组模块以提取跨模态图像的共享特征,实现模态信息的交互融合;然后,通过聚合特征注意力机制及跨模态自适应图结构来挖掘不同模态行人图像之间的潜在关系,提取更具判别力的局部特征。在主流数据集SYSU-MM01、RegDB上进行的大量实验结果表明,所提算法在多个数据集上具有较好的泛化能力,与现有的主要算法相比,跨模态行人重识别精度达到较高的水准。