基于改进3D ResNet的视频人体行为识别方法研究

针对人体行为在视频中呈现的时序性特点,提出了一种融合非对称卷积和CBR模块的视频人体行为识别方法。该方法使用3D ResNet-50作为主干网络。首先,将网络中较大的卷积核拆分为2个非对称3D卷积核的串联,加深卷积层在水平和竖直方向上的局部关键特征提取;其次,加入了CBR模块,以增加网络层数。该网络对连续的视频帧序列进行图像和时序的多角度特征提取,并根据特征数据对其进行分类,最后输出识别结果。在基准数据集UCF101上的大量实验结果表明,所提方法的Top1准确率和Top5准确率与原始3D ResNet网络相比分别提升了4.03%和4.99%,且该方法的识别准确率也优于其他主流方法的识别准确率。

融合的三维卷积神经网络的视频流分类研究

三维数学模型擅长描述连续性视频流数据的多维度信息,是视频分类研究中的重要手段.将多个顺序模型融合(Merge)后通过全连接(Dense)的方式构建了融合的三维卷积神经网络模型(3DConvNet_Ensemble),解决了单个三维卷积神经网络模型训练不充分性和低相关性问题.对UCF-101视频流数据集的101类场景进行动作行为分类实验,结果表明该模型在UCF-101数据集上获得了87. 7%的分类准确率,相比二维ConvNet和三维ConvNet模型的分类准确率分别提高了32%和17%.

基于双流BRC3D卷积神经网络的行为识别

针对C3D网络时间维上的信息抽取单一特点,模型本身存在泛化能力弱等问题,该文基于BN归一化算法改进残差网络结构,并嵌入到C3D网络中,实现了网络结构的优化,保证各个层数据的分布稳定性。引入双流思想,构建了改进的BRC3D卷积神经网络的识别方法。最终在UCF101数据集上进行训练与测试,准确率达到了91.343%。

基于深度学习的人体行为识别技术研究

人体行为识别是计算机视觉领域研究的一个热点,为了提高视频中的人体行为识别的准确率,提出了一种基于3D卷积神经网络的行为识别方法,首先构建3D CNN模型,通过三维卷积核,来提取视频中人体行为的时-空域信息,最终并在UCF-101数据集上进行训练与测试,证明了该方法具有较好的识别效果。

基于ORB算法与神经网络的图像特征点提取方法

图像特征是图像处理研究的重要内容,其中图像特征点应用十分广泛,目前已经有多种优秀的特征点算法,但这些算法在特征点提取时十分依赖图像质量,在实际应用中图像特征点提取稳定性差,特征点数量往往不足。所以所提出基于神经网络的特征点提取方法,针对ORB特征点设计网络及损失函数,以Caltech 101数据集作为训练、测试数据集,其中标签的制作是以开源计算机视觉库OpenCV中的ORB特征提取算法为基础的,网络提取是由PyTorch框架实现,并最终使用Python语言实现整个实验。代码在已经在https://github.com/later-3/NN4ORB开源。实验结果证明,该方法对图像质量要求较传统ORB算法低,降低提取ORB特征点对图像的依赖,提取的特征点数量可以根据阈值动态调节,提高了ORB特征点提取的稳定性。

基于膨胀卷积神经网络的人体动作识别研究

针对传统的人体动作识别方法需要人工选取特征且需要选择一个合适的分类器,分类效果不好且缺少实时性的问题,研究了基于膨胀卷积神经网络的人体动作识别方法,提高了识别效率和识别准确率。膨胀卷积神经网络将3D卷积神经网络、双流网络、迁移学习的优势聚合,采用GoogleNet网络结构,其中的Inception-v1模型是从Kinetics数据集上经过预训练后再迁移到UCF101数据集上的,同时也采用视频单帧图像和堆叠的光流图像进行双流训练,这种算法识别效果提升明显,最终的平均准确率达到了97.09%。