基于卷积神经网络和Transformer的视频行人再识别

为了解决视频行人再识别领域仅使用卷积神经网络进行行人特征提取效果不佳的问题,提出一种基于卷积神经网络和Transformer的ResTNet(ResNet and Transformer network)网络模型。ResTNet利用ResNet50网络得到局部特征,令中间层输出作为Transformer的先验知识输入。在Transformer分支中不断缩小特征图尺寸,扩大感受野,充分挖掘局部特征之间的关系,生成行人的全局特征,同时利用移位窗口方法减少模型计算量。在大规模MARS数据集上,Rank-1和mAP分别达到86.8%和80.3%,比基准分别增加了3.8%和3.3%,在2个小规模数据集上也取得了良好效果。在几大数据集上的大量实验表明,本文方法能增强行人识别的鲁棒性,有效提高行人再识别的准确率。

时空特征结合相机关联自适应特征增强的视频行人再识别算法研究

针对由于行人姿势、外部遮挡、光照和摄像机参数等内外部条件变化导致的行人再识别率较低的问题,提出时空特征结合相机关联自适应特征增强的视频行人再识别算法。本文首先基于视频提取时空梯度方向直方图(HOG3D)特征,基于图像提取表观特征,然后将两者结合作为视频行人目标的特征描述子,从而提高特征描述有效性;距离度量时结合边际费希尔分析(Marginal Fisher Analysis,MFA)算法将特征进行自适应特征增强,增强共性特征之间的联系,从而进一步提高距离度量阶段对特征的判别性,最后再进行欧式距离度量和排序。另外,本文在iLIDS-VID和PRID 2011两大视频行人数据集中各进行两组实验,实验结果表明,该算法能够充分利用视频中包含的运动信息,得到鲁棒的视频行人再识别匹配模型,提高行人再识别的匹配精度。

联合多级深度特征表示和有序加权距离融合的视频行人再识别方法

针对目前视频行人再识别中存在视角、光线变化,背景干扰与遮挡,行人外观与行为相似,以及相同行人在不同模态特征下距离的差异性而导致的匹配不正确问题,提出一种联合多级深度特征表示和有序加权距离融合的视频行人再识别方法。在行人特征表示阶段,提出了行人多级深度特征表示网络,该网络不仅能学习视频序列中行人的时空特征,还能获取行人的全局外观特征和局部外观特征。在有序加权距离融合阶段,将行人的特征表示输入到距离测度学习中,分别计算行人在三类特征下的独立距离,并将距离排序后,根据距离的排名优化距离权值,最后融合三类距离得到最终距离,从而准确匹配行人。通过在公共数据集中的实验表明,所提方法不仅能够提高视频行人再识别的识别率,还具有丰富和完整的行人特征表示能力。