基于关键帧的轻量化行为识别方法研究

针对目前双流卷积神经网络通常使用堆叠RGB帧和光流图分别提取视频的表观信息和运动信息,存在信息冗余和计算复杂度高的问题,基于时域分割网络提出了一种结合光流图、差分图像和并行卷积神经网络的行为识别算法。首先通过分析行为视频中存在的运动模糊现象,设计了一种基于图像特征量的关键帧选取算法,同时构建了一个包含表观信息流和运动信息流的改进时域分割网络,将关键帧RGB图像、非关键帧光流图像和差分图像并行地输入特征提取网络计算分类得分,最后将关键帧与非关键帧的行为类别得分进行平均融合后输入SoftMax层得到视频类别概率。为进一步降低算法的参数量和计算复杂度,设计了一种轻量化卷积神经网络作为特征提取网络。本文算法在UCF101数据集的识别准确率为94.7%,在HMDB51数据集的识别准确率为69.3%,推理速度相比于时域分割网络快了45.3%。实验结果表明,该算法能够高效利用视频的表观信息和运动信息,且具有较高的行为识别准确率。

一种基于Star算法的多路视频稳像方法研究

目前,基于特征点匹配的稳像算法中存在特征点提取速度慢、误匹配率高,以及多目相机的多路视频稳像太过耗时、实时性不好的问题,提出了一种基于Star特征点提取算法的多路视频快速稳像方法。首先采用Star算法提取视频当前帧特征点,然后采用光流法结合当前帧特征点信息跟踪预测下一帧对应的特征点,以加快特征点提取速度,同时减少所提取的特征点错误匹配率。通过对匹配的特征点求取相应的仿射变换矩阵获取帧间运动矢量,进而采用卡尔曼滤波器对帧间运动矢量进行滤波处理,以滤除其中的相机随机抖动矢量并保留相机的主观运动矢量。最后依据滤波后的运动矢量进行图像补偿得到稳定的图像序列。针对复眼导引头存在的多路视频抖动情况,基于OpenMP并行开发库,利用多核处理器的优势,实现了多路抖动视频的并行实时稳像。所设计的数字稳像算法在PC平台下对4路抖动视频(OTB100的BlurCar系列视频,分辨率为640×480,帧率为30 FPS)并行稳像的结果参数为:峰值信噪比(Peak Signal-to-Noise Ratio,PPSNR)平均提升了4.62 dB,单帧耗时平均为14.51 ms。经仿真实验证实,算法的计算效率和特征点匹配正确率高,可实现多路输入视频的实时稳像。