基于全局多粒度池化的可见光红外行人重识别

可见光红外行人重新识别是一种跨模态检索的问题。由于可见光和红外图像模态差异较大,能够精确的匹配行人仍然具有很大的挑战。最近的研究表明,利用池化描述身体部位的局部特征以及人图像本身的全局特征,即使在身体部位缺失的情况下,也能给出鲁棒的特征表示,但是简单的全局平均池化很难获取行人的细节特征。针对这个问题,提出一种新的全局多粒度池化的方法,利用全局平均池化和全局最大池化结合的方法,提取行人更多的背景和纹理信息。此外,传统的三元组损失在跨模态行人重识别上效果并不好。设计了一种新的跨模态三元损失,以优化类内和类间距离,并监督网络学习有区别的特征表示。通过实验证明了所提方法的有效性,并在RegDB和SYSU-MM01数据集上分别取得了88.01%Rank-1,79.26%mAP,和60.24%Rank-1,57.50%mAP的结果。