基于压缩奖惩机制的视频行为识别方法研究

大多数视频行为识别任务中都是同等处理网络提取到的时空信息,为了忽略无关信息而关注重点信息,本文设计了含有压缩奖惩机制的卷积神经网络结构,用于视频行为识别.该网络结构基于时间分段网络构建,首先将视频分为多个等长片段,从每个片段随机提取堆叠光流图像和RGB视频帧,将其分别输入到含有压缩奖惩机制的时间与空间双流卷积神经网络,通过压缩与奖惩操作,对网络提取到的特征进行加权,根据加权后的时间与空间特征分别在时间与空间两个通道上对行为作出初步预测;然后对每个片段的时间与空间初步预测结果分别融合,得到视频级预测结果;最后将视频级时间与空间预测结果融合,得到最终视频行为识别结果.在数据集UCF101与HMDB51上进行了实验,结果表明,与其他不含压缩奖惩机制的多种网络模型相比,该模型具有较高的准确率.