基于视频行人重识别和时空特征融合的跟踪算法

针对多目标跟踪算法在现实拥堵场景容易引发行人身份交换频繁的问题,提出了一种融合目标检测与行人重识别两个任务的联合网络。同时引入一种用于融合重识别特征和时间信息的轨迹评分机制,该机制通过从检测结果和跟踪预测结果中收集候选目标,互相补充行人目标跟踪预测信息与重识别特征信息。针对视频画面中小目标难以被检测到的问题,对ResNet-34网络进行改进,在主干网络上通过结合深层聚合网络,同时将传统的残差块替换为多级特征卷积网络,实现了对小目标的着重关注,提高了检测准确率。在多目标跟踪数据集MOT16、MOT17、MOT20上进行实验,所提网络的多目标跟踪准确度(MOTA)分别达74.7、73.7、66.4,行人身份转换次数分别为210、209、1403。实验结果表明,所提网络取得了良好的检测跟踪效果。

基于生成对抗网络与自校准卷积的行人重识别

针对行人重识别过程中跨相机拍摄导致的行人图像风格差异问题,提出了一种基于循环矢量量化生成对抗网络(CVQGAN)与自校准卷积模块的学习框架。设计了一种离散化的矢量量化模块,将该模块用于生成器由编码到解码的过程中,利用矢量量化空间中的离散矢量解决了原始生成器产生噪声伪图像的问题,从而生成质量更高的风格转换图像。将自校准卷积模块融合至Resnet50主干网络的卷积层中,利用多分支网络结构对各支路进行不同的卷积操作,以获取表征能力更强的特征,进一步解决同一行人在不同相机下的风格差异问题。在Market1501和DukeMTMC-reID数据集上对所提算法进行有效性实验验证,结果表明本文算法能够有效提高行人重识别的准确率和鲁棒性。