基于双流卷积与双中心loss的行为识别研究

针对行为视频中相似动作类内差异大、类间差异小,识别准确率不高的问题,提出了一种基于双流卷积网络与双中心loss的行为识别方法.该方法首先构建双流卷积网络结构,以C3Dnet模型作为双流结构的基础模型,分别提取多尺度RGB视频帧中的表观短时运动信息和堆叠光流图中的长时运动信息;然后将双流结构提取的深度信息经长短时记忆(LSTM)网络解析后进行特征融合;最后,利用基于双中心loss的2C-softmax目标函数,来最大化类间距离和最小化类内距离,从而实现相似动作的分类与识别.在数据集KTH上的实验结果表明,该方法能够准确识别相似动作,识别准确率可达98.2%,具有很好的识别效果.

基于三维卷积与双向LSTM的行为识别研究

准确识别视频中的内容是未来互联网应用发展的方向,视频中的行为识别是计算机视觉领域的研究重点。为充分利用视频中的信息,提高行为识别的准确程度,文中提出一种基于三维卷积与双向LSTM的行为识别算法。设计一种基于三维卷积的空间注意模块,可以关注空间区域的显著特征。为了更好地处理长时间视频,引入一种新的基于双向LSTM(长短时记忆网络)的时间注意模块,其目的在于关注关键视频而不是给定视频的关键视频帧,然后采用双中心loss(计算损失函数)优化网络对两阶段策略联合训练,使其能够同时探索空间和时间域的相关性。在HMDB-51和UCF-101数据集上测试证明,所提算法能够准确识别视频中的相似动作,行为识别的准确率得到提高,识别效果显著。