基于局部异构聚合图卷积网络的跨模态行人重识别

由于构建全天候视频监控系统的需要,基于可见光与红外的跨模态行人重识别问题受到学术界的广泛关注.因为类内变化和类间差异的影响,可见光与红外行人重识别是一项具有挑战性的任务.现有的工作主要集中在可见光-红外图像转换或跨模态的全局共享特征学习,而身体部位的局部特征和这些特征之间的结构关系在很大程度上被忽略了.我们认为局部关键点之间的图结构关系在模态内与模态间的变化是相对稳定的,充分挖掘与表示这种结构信息有助于解决跨模态行人重识别问题.本文提出了一种基于局部异构聚合图卷积网络的跨模态行人重识别方法,采用关键点提取网络提取图像的局部关键点特征,并构建了一种新颖的图卷积网络建模人体各部位之间的结构关系.该网络通过图内卷积层表征局部特征的高阶结构关系信息,提取具有辨别力的局部特征.网络中的跨图卷积层使两个异构图结构之间可以传递差异性特征,有助于减弱模态差异的影响.针对异构图结构的图匹配问题,设计了一种跨模态排列损失以更好地测度图结构的距离.本文方法在主流跨模态数据集RegDB和SYSU-MM01上的mAP/Rank-1为80.78%/80.55%和67.92%/66.49%,比VDCM算法的Rank-1分数高出7.58%和1.87%.