多分支融合变分细化蒸馏的跨模态行人重识别

目的针对目前跨模态行人重识别研究中对行人细腻区域关注不足以及网络易受噪声影响的问题,提出一种多分支融合变分细化蒸馏学习方法。方法首先,网络通过多分支聚合不同粒度的全局特征,督促深层网络学习两种模态的全局信息和细节信息,丰富行人的特征描述符;然后,结合变分细化蒸馏策略,对特征信息进行再压缩,保留与任务相关的深层信息,同时丢弃无用的干扰物;最后,将网络捕获的不同特征用多种损失函数联合监督,以提高网络对行人表征的敏感度。结果所提方法在SYSU-MM01数据集的全搜索模式下,R-1和mAP分别达到66.93%和65.25%;在RegDB数据集的可见光到红外设置下,R-1和mAP分别达到78.26%、77.83%。结论通过消融实验、对比实验和可视化实验,充分验证了所提方法的有效性。