基于密集轨迹和光流二值化图的行为识别算法

针对改进的密集轨迹算法(improved dense trajectories,iDT)提取的轨迹数量较为庞大的问题,提出了一种轨迹滤除方法。密集采样兴趣点,利用光流图计算每个兴趣点下一帧的位置进而组成轨迹,对每帧光流图进行最大值归一化以及二值化,得到光流二值化图,以此反映该点的运动是否相对显著。利用光流二值化图统计轨迹上各点的有效性从而判断轨迹是否满足有效条件,并将不满足条件的轨迹滤除,得到提纯的轨迹。为了验证算法的有效性,使用了行为识别领域的常用数据集KTH和UCF sports对算法进行验证,实验结果表明,该算法能在保证准确率的同时减少轨迹数量,并且计算量较小。

视频识别深度学习网络综述

视频识别是计算机视觉领域中最重要的任务之一,受到了研究者的广泛关注。视频识别指从视频片段中提取特征,并依据特征识别视频动作。相比于静态图片,视频的各帧间存在较大的关联性。如何高效地使用来自时空等不同维度的特征信息准确地识别视频,是当前研究的重点。以视频识别技术为研究对象,首先介绍了视频识别研究的背景信息及常用数据集。然后,详细地梳理了视频识别方法的演变过程;回顾了基于时空兴趣点、密集轨迹、改进的密集轨迹等传统的视频识别方法,以及近年来提出的可用于视频识别的深度学习网络框架。其中,分别介绍了基于2D卷积神经网络的视频识别框架、基于3D卷积神经网络的视频框架、伪3D卷积神经网络,以及基于Transformer结构的网络,介绍了这些框架的演变,并总结了它们的实现细节及特点;评测了各网络在不同视频识别数据集上的表现情况,分析了各网络的适用场景。最后,展望了视频识别网络框架未来的研究趋势。视频识别任务可以自动、高效地识别出视频所属的类别,基于深度学习的视频识别具有广泛的实用价值。

采用时空共生特征与改进VLAD的行为识别

特征提取与编码是决定行为识别系统性能的关键步骤.为实现对视频行为的准确描述,提出一种采用时空共生特征与改进VLAD编码的人体行为识别算法.在特征提取环节,采用扩展的人体矩形框对密集采样特征点的进行筛选,在光流场中跟踪筛选后的特征点得到密集轨迹,并在以密集轨迹为中心的时空体内提取时空共生特征;在特征编码环节,将每个特征向量分配到近邻多个单词,以这些单词为基向量在最小平方误差的准则下线性组合逼近对应特征向量,得到的组合系数作为隶属度,最后以隶属度为权值在多个单词上计算VLAD.在KTH,YouTube和HMDB51数据集上进行实验的结果表明,该算法具备较高的识别准确度,适用于复杂场景中的人体行为识别.