生成对抗网络协同角度异构中心三元组损失的跨模态行人重识别

基于红外与可见光域之间的跨模态行人重识别对于夜间场景监控极为重要,但由于红外图像和可见光图像的数据分布存在较大差异,使得模型很难提取到同一行人在不同模态下的模态不变特征.本文针对现有跨模态行人重识别算法中存在的数据集样本数量较少问题以及不同模态图像之间存在较大跨模态差异问题,提出了一种新颖的生成对抗网络来生成与原始图像相似的匹配图像,在对跨模态行人数据集进行增广的同时减少跨模态差异;为减少跨模态差异和模态内差异,本文采用了双流网络来提取更具鉴别性特征,并提出了角度异构中心三元组损失对正负样本在特征空间中夹角进行约束,提升其在特征空间中的聚类效果.本文在SYSU-MM01和RegDB数据集上进行实验验证,结果表明本文所提出的生成匹配图像方法能够有效降低不同模态图像之间的跨模态差异,同时角度异构中心三元组损失使得特征空间中的嵌入特征具有角度辨别性,从而提升模型的分类能力.在SYSU-MM01数据集中,本文方法相较于最新算法在Rank-1和mAP分别提升了5.71%和8.18%,证实了文中方法的有效性.

基于相机感知距离矩阵的无监督行人重识别

在跨场景、跨设备的行人重识别中虽然增加了可利用的行人数据,但由于行人姿态不同、部分遮挡现象,难以避免引入样本噪声,在聚类过程中易生成错误的伪标签,造成标签噪声,影响模型的优化。为减弱噪声影响,应用相机感知的距离矩阵对抗相机偏移引起的样本噪声问题,利用对噪声鲁棒的动态对称对比损失减少标签噪声,提出基于相机感知距离矩阵的无监督行人重识别算法。在聚类前通过更改度量行人特征相似度的距离矩阵,利用相机感知距离矩阵来增强类内距离度量准确性,减少由于拍摄视角不同对聚类效果造成的负面影响。同时,结合噪声标签学习方法,进行损失设计,提出动态对称对比损失函数,联合损失训练,不断精炼伪标签。在DukeMTMC-reID和Market-1501两个数据集上进行实验,验证了提出方法的有效性。

特征分块重构的视频行人重识别算法

基于视频的行人重识别是将一段视频轨迹与剪辑后的视频帧进行匹配,从而实现在不同的摄像头下识别同一行人。但由于现实场景的复杂性,采集到的行人轨迹会存在严重的外观丢失和错位,传统的三维卷积将不再适用于视频行人重识别任务。针对这一问题,提出三维特征分块重构模型,利用第一张特征图在水平分块的级别上对后续特征图进行对齐。在保证特征质量的前提下充分挖掘轨迹的时间信息,在特征重构模型后加入三维卷积核,并且将它与现有的三维卷积网络相结合。此外,还引入一种由粗到细的特征分块重构网络,不仅能使模型在两种不同尺度的空间维度上进行特征重构,还能进一步减少计算开销。实验表明,由粗到细的特征分块重构网络在MARS和DukeMTMC⁃VideoReID数据集上取得了良好的结果。