基于3D ResNet-LSTM的人体行为识别模型构建研究

人体行为识别在智能家居、安防、群体突发事件识别等方面有着广泛的应用,是智能视频数据处理领域重点研究内容之一。针对卷积神经网络不能学习长时序运动特征、而LSTM网络仅关注时序信息而忽略表观特征的问题,提出了一种3D ResNet-LSTM人体行为识别模型。首先,对输入视频进行按时间轴平均分成三段,在三个视频段内随机抽取L×256×256的视频子段作为网络模型的输入。其次,以ResNet网络为基础,设计了3D ResNet用于处理视频段,学习行为动作的表观特征和短时序信息。最后,设计了一个两层的LSTM网络,完成行为动作长时序特征的学习,利用SoftMax层完成行为识别的任务,得到最终结果。实验结果表明,在UCF101数据集的识别准确率为93.6%,具有很好的识别性能。