基于网格划分骨骼的行为预测

行为预测会面临行人部位遮挡、背景干扰、摄像机视角不同、行人姿态不同、外观差异过大及行人动作信息提取难度过大等问题。文章提出一种新的基于网格划分骨骼的行为预测方法,首先使用自下而上的方法提取行人的骨骼信息,通过学习人体关节点的距离度量特征和角度度量特征提取行人的行为特征。然后对关节点分别对比前后帧的行为特征,判断下一帧单个关节点运动类型发生的概率,通过对下一帧关节点运动类型的加权判断下一帧行人的动作。所提方法预测人体右脚关节点向上运动的概率为92.3%。

基于姿态交换图像生成的行人重识别

不同摄像设备之间存在角度、分辨率等差异,同时行人兼具刚性和柔性的特性且外观易受穿着、姿态、遮挡物和视角等因素的影响。基于此,文章从生成对抗网络与姿态特征等方面对行人重识别问题展开深入研究,提出了一种姿态可交换行人重识别框架(PSG-Net)。该框架将样本中的每个行人编码为姿态代码,视觉代码,通过切换姿态代码,生成高质量的姿态合成图像。在Market-1501、Duke MTMC-re ID和CUHK03数据集上的实验结果表明,该方法实现了识别性能改进,并在Market-1501数据集上的排序第一(rank-1),结果能达到95.1%,优于大多数先进的方法。

基于时空关注区域的视频行人重识别

在执行视频行人重识别任务时,传统基于局部的方法主要集中于具有特定预定义语义的区域学习局部特征表示,在复杂场景下的学习效率和鲁棒性较差。通过结合全局特征和局部特征提出一种基于时空关注区域的视频行人重识别方法。将跨帧聚合的关注区域特征与全局特征进行融合得到视频级特征表示,利用快慢网络中的两个路径分别提取全局特征和关注区域特征。在快路径中,利用多重空间关注模型提取关注区域特征,利用时间聚合模型聚合所有采样帧相同部位的关注区域特征。在慢路径中,利用卷积神经网络提取全局特征。在此基础上,使用亲和度矩阵和定位参数融合关注区域特征和全局特征。以平均欧氏距离评估融合损失,并将三重损失函数用于端到端网络训练。实验结果表明,该方法在PRID 2011数据集上Rank-1准确率达到93.4%,在MARS数据集上mAP达到79.5%,识别性能优于SeeForst、ASTPN、RQEN等方法,并且对光照、行人姿态变化和遮挡具有很好的鲁棒性。