基于特征融合时序分割网络的行为识别研究

行为识别是当今计算机视觉领域的一个研究热点,是一项具有挑战性的任务.行为识别分析与其网络输入数据类型、网络结构、特征融合环节具有密切联系.目前,主流的行为识别网络输入数据为RGB图像和光流图像,网络结构主要以双流和3D卷积为主;而特征选择直接影响到识别的效率,多层次的特征融合工作还有很多问题有待解决.针对主流的双流卷积网络输入数据为RGB图像和光流图像的局限,利用低秩空间中稀疏特征能够有效捕捉视频中运动物体信息的特点,对网络输入数据进行补充.同时,针对网络中缺乏信息交互的特点,将深度网络中高层语义信息和低层细节信息结合起来共同识别行为动作,使时序分割网络性能更具优势.在行为识别数据集UCF101和HMDB51上取得了97.1%和76.7%的识别效果,较目前主流算法有了较大的提升.实验结果表明,该方法能够有效地提高行为识别的识别率.

基于改进时空异构双流网络的行为识别

针对主流的双流卷积神经网络在提取特征过程中,存在特征利用率低、忽略特征图各个部分之间的相互作用以致区分相似动作效果不佳的问题,提出一种基于深度特征融合和注意力机制的行为识别方法。利用不同层次卷积神经网络特征的互补优势,将网络中的低层和高层信息相融合,引入改进的注意力机制,捕获人体行为整体特征和不同类别之间的细微差别,提高网络性能。在数据集UCF-101上取得了94.5%的识别效果,将UCF-101数据集预训练网络模型迁移至相似动作数据集SDUFall上,同样表现良好,验证了所提方法的有效性。