基于多任务学习和身份约束的生成对抗网络人脸校正识别方法

针对DR-GAN(Disentangled Representation learning-Generative Adversarial Network)方法在将大偏转角度侧脸图像生成其正脸图像的整个生成过程中,没有考虑身份类别信息,从而导致在身份和姿态的解耦中存在真实的侧脸图像与其生成的正脸图像身份一致性较弱的问题,本文提出了一种基于多任务学习和身份约束的生成对抗网络人脸校正识别方法.该方法通过借鉴多任务学习机制,在生成网络的编码器与解码器之间构建了角度姿态分类模块和身份约束识别模块.这两个模块不但在生成过程中实现了人脸身份和姿态的解耦,更重要的是在由侧脸生成正脸的过程中加入了人脸身份监督信息.在训练过程中,该方法将身份和姿态类别直接作为身份编码特征和姿态编码特征的监督信息,并通过设计身份特征损失函数来约束侧脸的身份编码特征逼近其正脸的身份编码特征,实现了侧脸编码特征中身份信息和姿态信息的有效解耦,使解码器能更准确地生成与原侧脸图像保持身份一致的正脸图像.在M2FPA数据集上,对不同角度的侧脸图像使用所提方法生成的正脸图像进行识别,达到了更高的人脸识别准确率.实验结果表明,即使在偏转角度较大时,所提方法仍然能够较好地生成保持身份一致的正脸图像,显著提升了较大偏转角下人脸识别准确率.

基于身份一致性和不相关约束的行人重识别

为减小不同相机视角之间因背景、光照、遮挡等变化引起的差异,提出一种基于身份一致性和不相关约束的行人重识别算法.该算法首先针对不同视角下的行人图像学习字典,然后对每个视角采用不同的分类器实现行人视觉特征到身份信息空间的转换.分类时引入身份一致性和不相关约束,使不同行人之间的身份信息保持一定距离,相同行人的身份信息则尽可能接近.最后,通过行人身份信息构建相似性度量空间完成行人重识别.该算法在VIPeR,GRID,PRID2011和CUHK014个数据集上做了对比实验,实验结果表明,与单独使用视觉特征进行度量的算法相比,所提出的经过身份信息约束之后的算法能得到更高的识别精度.

足球场内球员多目标跟踪算法

为解决足球比赛场内球员的多目标跟踪任务中,因场外人员对跟踪的干扰,球员频繁地运动、互相遮挡,以及摄像镜头复杂地移动等情况,造成的跟踪准确度低、跟踪目标ID(identity)保持能力弱的问题,提出一种适用于足球场内球员跟踪的多目标跟踪数据集和多目标跟踪算法。通过条件生成对抗网络分割出球场区域,筛选出球场内的基于YOLOX框架的目标检测结果;在数据关联阶段,设计一种融合IoU(intersection over union)与欧式距离的代价矩阵进行目标间的相似性度量;利用足球比赛上场人数存在上限的先验条件,弹性约束跟踪目标ID的增长。实验结果表明,针对足球场内球员的跟踪问题,该算法能够在多目标跟踪准确度、跟踪目标ID保持能力上有极大提高。

基于语义耦合和身份一致性的跨模态行人重识别方法

针对跨模态行人重识别面临的较大跨模态差异和类内变化的问题,提出了一种基于语义耦合和身份一致性的跨模态行人重识别方法。在语义层面,通过双向耦合不同模态的语义特征,实现不同模态间语义的交互融合,有效缓解了跨模态差异;在行人身份层面,通过优化跨模态三元组损失和身份损失,实现类内身份信息一致性,有效缓解了类内变化问题。实验结果表明,本文算法能够有效提升跨模态行人重识别精度,与基线方法相比,Top-1和mAP指标精度提升了10%以上。