基于3D双流卷积神经网络和GRU网络的人体行为识别

针对基于双流卷积神经网络的人体行为识别准确率不高,不能充分利用时间维度的信息问题,提出一种基于3D双流卷积和门控循环单元(GRU)网络的人体行为识别模型。将3D卷积神经网络引入到双流卷积神经网络中,在双流卷积神经网络的空间流和时间流中分别使用3D卷积神经网络提取视频的时空信息;融合3D双流卷积神经网络提取到的时空特征,形成有时间顺序的时空特征流;将时空特征流输入到具有记忆信息能力的GRU网络中递归学习时间维度的长时序列特征并利用线性SVM分类器进行人体行为识别。在行为识别数据集UCF101上的实验结果表明,该模型充分地利用了视频的时间维度信息,识别率为92.2%,优于其他人体行为识别算法。