轻量级双路卷积神经网络与帧间信息推理的人体姿态估计

为了提高视频中人体姿态估计检测效果,在保留结构化信息的同时弥补下采样导致的空间分辨率的损失,增加视频中检测效率,本文结合时序信息提出了一种轻量级双路神经网络帧间信息推理的视频人体姿态估计方法.首先,基于最新的人体关键点检测网络训练一个基于该方法两路融合全卷积网络,一路选用金字塔全卷积网络,并选用采用轻量级Inverted residuals作为网络模块,另外一路保持分辨率大小不变以减少空间分辨率的损失,然后提出了一种利用帧间关键点信息建立时序模型,从而推理预测帧的关键点信息.本文在PoseTrack数据集中与最新的方法进行比较,关键点检测mAP提高1.3%,速度提升20%,关键点跟踪MOT提高2.8%,经过实验验证,本文算法可以保留结构化信息的同时有效弥补空间分辨率的损失并提高检测精度,同时提高了视频检测中的速度.