目的当前,基于视觉的步态识别方法多基于完整的步态序列图像。然而,现实场景拍摄下的行人难免被遮挡,以至于获取的步态图像不完整,对识别结果有很大影响。如何处理大面积遮挡是步态识别中一个具有挑战性且重要的问题。针对此,提出了一...目的当前,基于视觉的步态识别方法多基于完整的步态序列图像。然而,现实场景拍摄下的行人难免被遮挡,以至于获取的步态图像不完整,对识别结果有很大影响。如何处理大面积遮挡是步态识别中一个具有挑战性且重要的问题。针对此,提出了一种步态时空序列重建网络(gait spatio-temporal reconstruction network,GSTRNet),用于修复被遮挡的步态序列图像。方法使用基于3D卷积神经网络和Transformer的GSTRNet来修复步态序列,在修复每一帧步态图像的空间信息的同时保持帧与帧之间的时空连贯性。GSTRNet通过引入YOLOv5(you only look once)网络来检测步态图像的局部遮挡区域,并将其作为先验知识为遮挡修复区域分配更高的修复权值,实现遮挡区域的局部修复,将局部修复步态图与原始遮挡图像进行融合,生成完整的修复步态图。同时,在GSTRNet中引入三元组特征损失和重建损失组成的联合损失函数来优化修复网络,提升修复效果。最终,以修复完整的步态序列图像为特征进行身份识别。结果本文在大规模步态数据集OU_MVLP(the OU-ISIR gait database,multi-view large population dataset)中人工合成遮挡步态序列数据来进行修复实验。结果表明,该方法在面对步态轮廓大面积遮挡时,识别准确率比现有的步态修复和遮挡识别方法有一定的提升,如在未知遮挡模式时比三元组视频生成对抗网络(sequence video wasserstein generative adversarial network based on triplet hinge loss,sVideoWGAN-hinge)最高提升6.7%,非单一模式遮挡时比Gaitset等方法识别率提高40%左右。结论本文提出的GSTRNet对各种遮挡模式下的步态图像序列有较好的修复效果,使用修复后图像进行步态识别,可有效改善识别率。展开更多
文摘目的当前,基于视觉的步态识别方法多基于完整的步态序列图像。然而,现实场景拍摄下的行人难免被遮挡,以至于获取的步态图像不完整,对识别结果有很大影响。如何处理大面积遮挡是步态识别中一个具有挑战性且重要的问题。针对此,提出了一种步态时空序列重建网络(gait spatio-temporal reconstruction network,GSTRNet),用于修复被遮挡的步态序列图像。方法使用基于3D卷积神经网络和Transformer的GSTRNet来修复步态序列,在修复每一帧步态图像的空间信息的同时保持帧与帧之间的时空连贯性。GSTRNet通过引入YOLOv5(you only look once)网络来检测步态图像的局部遮挡区域,并将其作为先验知识为遮挡修复区域分配更高的修复权值,实现遮挡区域的局部修复,将局部修复步态图与原始遮挡图像进行融合,生成完整的修复步态图。同时,在GSTRNet中引入三元组特征损失和重建损失组成的联合损失函数来优化修复网络,提升修复效果。最终,以修复完整的步态序列图像为特征进行身份识别。结果本文在大规模步态数据集OU_MVLP(the OU-ISIR gait database,multi-view large population dataset)中人工合成遮挡步态序列数据来进行修复实验。结果表明,该方法在面对步态轮廓大面积遮挡时,识别准确率比现有的步态修复和遮挡识别方法有一定的提升,如在未知遮挡模式时比三元组视频生成对抗网络(sequence video wasserstein generative adversarial network based on triplet hinge loss,sVideoWGAN-hinge)最高提升6.7%,非单一模式遮挡时比Gaitset等方法识别率提高40%左右。结论本文提出的GSTRNet对各种遮挡模式下的步态图像序列有较好的修复效果,使用修复后图像进行步态识别,可有效改善识别率。
