基于C3D卷积神经网络人体动作识别方法改进

针对C3D卷积神经网络存在网络结构较浅、输入图像分辨率较低、训练过程中易产生过拟合现象等问题,该文设计了基于C3D卷积神经网络的人体动作识别改进算法。对3D卷积核进行分解,采用时空分离的(2+1)D卷积方式代替3D卷积;加深网络结构,增加一层(2+1)D卷积层和一层3D池化层,使输入图像由16帧112×112提升至32帧224×224;同时在每个(2+1)D卷积层后加入BN层,减少了训练过程梯度弥散。改进后的网络模型相较于原网络以及其他相关方法有更高的识别精度。

基于双通道C3D的基建现场人体异常行为识别

异常行为识别在智能监控领域有广泛的应用前景。本文提出一种基于双通道C3D(Convolutional 3D,三维卷积)的行为识别方法,对打架、向下抛物、摔倒、跨越警戒线这四类异常行为以及走路、跑步、工作这三类正常行为进行识别。该方法的一个通道通过提取视频的RGB图像送入C3D网络来获取静态特征;另一个通道通过提取视频的光流图像送入C3D网络来获取动态特征;最后,利用双通道网络在卷积层融合、全连接层融合、混合融合的方法将静态特征与动态特征相结合,对比实验结果表明,最优识别率达到97.7564%,证明了该网络结构在基建现场应用场景中的有效性和可行性。

基于C3D CNN的人脸表情识别系统设计与开发

为了实现对人脸表情的自动识别,笔者设计和开发了一款基于C3D卷积神经网络(Convolutional Neural Network,CNN)的人脸表情识别系统。首先,利用已有Cohn-Kanade数据集和CASMEⅡ数据集作为训练数据。其次,使用Keras和TensorFlow的深度学习框架搭建C3D CNN,创建数据集并进行训练,以得到人脸表情识别模型。最后,使用PyQt5设计和开发人脸表情识别系统。结果表明,该系统具有页面简洁明了、方便用户操作等特点,可为心理诊断等领域提供一定的判断依据。

视频监控下利用改进型C3D-RF的人群异常行为检测

传统基于卷积神经网络(CNN)算法的人群异常行为检测方法由于采用二维卷积核提取图像特征,故无法准确捕捉视频流在时序上的动态特征。为此,提出一种基于改进C3D网络与随机森林(RF)算法相结合的检测方法。利用具有时间特征捕捉能力的C3D网络进行视频流梯度方向直方图(HOG)特征提取,并作为三维卷积核输入以实现对视频时空特征的提取;使用随机森林分类器替代softmax全连接层以避免训练过程中繁琐的梯度计算操作,并降低对训练数据集样本规模的要求;基于基准数据集的算例结果表明,所提出的改进C3D-RF方案对人群异常行为的检测准确率保持在90%以上,且与传统C3D网络、支持向量数据描述模型(SVDD)、编码深度卷积神经网络(CAE)等方法相比,其训练时间缩短了15.34%以上。

基于深度学习的时空特征融合人体动作识别

深度学习需要充分利用视频中动作的时空信息来进行动作识别。为了充分利用视频中的时空特征来提高动作识别的准确率,并以较低的成本保存相关信息,提出一种采用稀疏采样方案的时空特征融合动作识别框架。采用稀疏采样获得视频的RGB图和光流图,分别送入VGG-16网络提取视频的时空特征;融合时空卷积神经网络(CNN)提取中层时空融合特征;将中层时空融合特征送入C3D CNN识别出动作的类别。在HMDB51和UCF101两个数据集的实验结果表明:该框架能够充分利用视频的时间信息和空间信息,达到了较高的动作识别准确率。