基于时序时空双流卷积的异常行为识别

针对地铁站特定场合下,人体异常行为识别无法有效利用帧间运动时间维度信息,导致人体异常行为识别准确率不高的问题,提出一种深层次残差长短期双流网络结构。将RGB帧和连续光流帧作为双流网络的输入,分别利用ResNet34提取低层特征信息,空间流网络提取运动外观特征信息,时间流网络提取光流运动信息,然后将特征信息输入长短期记忆(LSTM)网络,有效学习空间外观和光流运动的帧间关联时间信息,并且通过多种加权融合策略加强模型识别效果。最后在地铁站异常行为数据集上验证提出的网络结构,并与原双流网络进行对比,改进后的网络识别准确率提高了4.7%,融合后的模型准确率提高了12.9%。实验结果表明,所提方法能够充分利用时间维度信息,可有效提高异常行为识别准确率,在昏暗环境下仍有较好的识别效果。

基于暗通道及双流卷积网络的监控视频质量评估算法

受光照、气象、污损、视频压缩以及网络传输的影响,视频监控的质量可能会大幅降低,给后继的信息获取造成困难。为实现对监控视频质量的精确评估,本文提出了基于暗通道及双流卷积网络的监控视频质量评估算法,首先计算监控视频关键帧的暗通道图像,然后与原始图像合并,并利用双流卷积网络进行监控视频质量评估。该算法可准确评估监控视频中出现的模糊、块效应、噪声等质量缺陷。

基于双流卷积的实时跌倒行为检测

针对独居老人摔倒问题,构建一种基于双流卷积神经网络(TwoStream CNN)的实时跌倒检测模型。将提取人物轮廓的RGB单帧作为输入的空间流,将连续多帧运动历史图(motion history image,MHI)作为输入的时间流融合,在一个特定维度的全连接层将两个网络的同shape张量Concatenation相连后添加到新的层,在公开的摔倒数据集上进行实验和定量分析。实验结果表明,采用人物轮廓RGB-MHI的双流卷积网络在非摔倒和摔倒的区分检测中准确率达到了98.12%,改进的融合方式相比较其它方法有提高,时间流输入MHI满足实时性要求。

基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG(Temporal Actionness Grouping)生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS2014数据集和ActivityNet v1.3数据集获得较好的识别率.

结合LSTM的双流卷积人体行为识别

为了更好地获取视频中连续帧之间的时间信息,提出一种新颖的双流卷积网络结构用于视频的人体行为识别。该网络在不改变双流卷积中空间流结构的情况下,在时间流的卷积模型中加入长短时记忆(LSTM)网络,并且时间流的训练相较于以往的双流卷积架构采用端对端的训练方式。同时在新的网络结构上尝试使用组合误差函数来获得更好的光流信息。在KTH和UCF101两个通用人体行为视频数据集上进行实验,实验结果证明,提出的使用组合误差函数结合LSTM的双流卷积与普通的双流卷积、使用以往误差函数结合LSTM的双流卷积相比,识别率有明显的提高。

基于双流卷积网络的宫颈细胞细粒度分类

为了实现对宫颈细胞图像相近类别的准确自动分类,提出了一种双流卷积神经网络算法。算法以DenseNet121网络和Xception网络为基础并对其进行改进,以提高算法对宫颈细胞进行细粒度分类的识别准确率。首先,在DenseNet121中引入DropBlock模块进行网络正则化,用于提高模型的泛化能力;其次,在Xception中加入SE(squeeze-and-excitation)模块调整通道权重,以增强网络提取有效特征的能力;最后,将两个网络输出的特征图进行拼接构建双流网络,来获取宫颈细胞更全面的特征信息。实验结果表明,该网络在Herlev数据集以及SIPaKMeD数据集上各性能指标都表现良好,且都达到了99%的准确率,优于改进融合前的网络,提出的算法在宫颈细胞的细粒度分类中具有较高识别率。

基于3D双流卷积神经网络和GRU网络的人体行为识别

针对基于双流卷积神经网络的人体行为识别准确率不高,不能充分利用时间维度的信息问题,提出一种基于3D双流卷积和门控循环单元(GRU)网络的人体行为识别模型。将3D卷积神经网络引入到双流卷积神经网络中,在双流卷积神经网络的空间流和时间流中分别使用3D卷积神经网络提取视频的时空信息;融合3D双流卷积神经网络提取到的时空特征,形成有时间顺序的时空特征流;将时空特征流输入到具有记忆信息能力的GRU网络中递归学习时间维度的长时序列特征并利用线性SVM分类器进行人体行为识别。在行为识别数据集UCF101上的实验结果表明,该模型充分地利用了视频的时间维度信息,识别率为92.2%,优于其他人体行为识别算法。

一种基于双流卷积神经网络跌倒识别方法

针对跌倒行为的视觉特征难以提取的问题,提出一种由两路卷积神经网络和模型融合部分组成的双流卷积神经网络(Two-Stream CNN)的跌倒识别方法.该方法的一路对视频帧的运动人加框标记后,送三维卷积神经网络(3D-CNN)处理来消除视频背景的干扰;另一路从相邻视频帧获取光流图后,送VGGNet-16卷积神经网络处理;最后将3D-CNN和VGGNet-16的Softmax输出识别概率加权融合作为Two-Stream CNN输出结果.实验结果表明:标记运动人并经3D-CNN处理有效地消除了视频背景的干扰;Two-Stream CNN跌倒识别率为96%,比3D-CNN提高了4%,比VGGNet-16网络提高了3%.

基于改进双流卷积网络的火灾图像特征提取方法

基于图像处理技术的火灾监测,是近年来火灾监控领域的重要分支。对于开阔场景的火灾监测,利用火灾发生时产生的烟雾和火焰的动、静特性,以双流(Two-Stream)卷积神经网络作为理论基础对火灾进行检测识别。双流卷积神经网络采用空间流与时序流分别提取视频中的空间信息与时序信息,然而火灾初期的信息较为微弱,特征不够明显。为进一步提高初期的识别率,提出一种空间增强网络作为双流卷积神经网络的空间流来提取并增强视频的空间信息。空间增强网络同时对当前帧图片V t和上一帧图片V t-1做卷积,用V t的卷积特征与V t-1的卷积特征做减法,保留卷积特征差异性,再将卷积特征差与当前帧V t的卷积特征相加,从而增强对V t的空间特征卷积;双流卷积网络的时间卷积流对当前帧的光流图片V t′进行时序特征卷积;最后将增强后的空间特征与时序特征融合进行分类。实验结果表明,改进后的双流卷积网络的识别率比原始的双流卷积网络提高了6.2%,且在公开数据集上的测试准确率达到了92.15%,从而证明了该方法的有效性和优越性。此外,与其他方法相比,该网络具有低深度、高识别率的特征,不仅能提高火灾和烟雾的识别率,而且实现了火灾的早期发现,缩短了检测时间。

基于双流卷积神经网络的人体动作识别研究

针对双流卷积神经网络存在的网络结构较浅、时间流及空间流网络均为独立训练学习、并未学习到时空网络之间关联信息等问题,文章设计了基于双流卷积神经网络的人体动作识别改进算法。采用ResNet-34对原网络进行替换,加深网络结构;将时间流、空间流网络提前进行特征图融合,加强时空网络信息融合的充分性。文章还对具体的融合方式和融合位置进行了实验研究,确定了网络最佳融合策略,在UCF-101数据集上的识别率为91.5%,相较于原网络以及其他相关识别方法有更高的识别精度。

基于双流卷积神经网络的改进人体行为识别算法

近年来人体行为识别成为计算机视觉领域的一个研究热点,而卷积神经网络(convolutional neural network,CNN)在图像分类和识别领域取得了重要突破,但是人体行为识别是基于视频分析的,视频包含空间域和时间域两部分的信息;针对基于视频的人体行为识别问题,提出一种改进的双流卷积神经网络(Two-Stream CNN)模型,对于空间域,将视频的单帧RGB图像作为输入,送入VGGNet_16模型;对于时间域,将多帧叠加后的光流图像作为输入,送入Flow_Net模型;最终将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体行为识别器。基于JHMDB公开数据库的实验,结果证明了改进的双流CNN在人体行为识别任务上的有效性。

结合Attention-ConvLSTM的双流卷积行为识别

针对传统方法在通过视频数据进行人体行为识别的过程中,无法准确分析长时间范围的运动信息,不能很好地利用运动信息中的局部特征和其空间关系.提出将基于注意力机制的卷积长短时记忆神经网络(Attention-ConvLSTM)与传统的双流卷积进行结合,实现了对视频数据中运动信息的非线性特征更好的学习,对局部显著特征及其空间关系更好的利用.本文还设计了新的正则交叉熵损失函数,使得扩展之后的神经网络实现更快的收敛.本文的方法在UCF101和HMDB51两个通用人体行为视频数据集上的表现相较于传统的方法有明显的提升.

一种双流卷积神经网络的黑烟车检测算法

针对目前人工监测机动车黑烟行为费时费力的问题,文章提出一种双流卷积神经网络的机动车黑烟检测方法。该方法首先使用Vibe背景模型提取运动前景目标,然后对前景图像使用霍夫直线检测,获取候选黑烟区域,减少了路面环境和机动车车身对黑烟检测的影响。双流卷积神经网络分为空间流卷积神经网络和时间流卷积神经网络,空间流提取黑烟图像的空间域特征,时间流通过光流图片获取黑烟图像的动态信息,将2个网络的输出结果融合得到最后分类结果。实验结果表明,该文提出的黑烟检测模型的识别率高达93.7%,为行驶中的机动车黑烟监控提供了一种有效方案。

基于双流卷积神经网络的智能小车避障算法研究

目前,智能小车由于其应用广泛,是研究的热点之一,而基于神经网络与摄像头的智能车由于其在价格以及可靠性等方面的优越性更是受到了广大研究人员的青睐。然而,在端对端的卷积神经网络智能小车避障系统中,有时无论对网络结构和参数进行何种微调,总有一些图像是难以正确分类的,或者说要对某些图像进行正确分类,需要进行相当繁复的参数调整以及结构改变。针对上述问题,考虑采用双流卷积神经网络,利用原始图片与光流图片分别通过预训练的网络后,再将评分结果进行融合,得到最终的分类结果。事实证明,采用该方法可以有效改善传统卷积神经网络一些分类错误的问题。

基于双谱与双流卷积神经网络的断路器故障诊断

高压断路器操动机构的振动信号包含了断路器运行状态的重要信息,对操动机构工作状态的诊断辨识十分重要。针对振动信号随机、非平稳的复杂特性,提出了一种基于双谱分析和双通道流浅层卷积神经网络的断路器故障诊断方法。对振动信号进行双谱分析和小波分析,分别提取2D双谱矩阵以及1D小波频带能量作为双流卷积神经网络的双通道特征;对断路器模拟实验采集到的5种工况下的振动信号进行有监督训练。结果表明,双谱分析能够抑制高斯噪声、保留操动机构不同工况下主要峰值形态特征并融合小波频带能量特征,所提模型训练迭代5次即可达到98.33%的高识别精度,实现断路器操动机构的故障诊断辨识。

基于双流卷积神经网络的肌电信号手势识别方法

面向高性能的肌电控制系统,提出一种基于双流卷积神经网络的肌电信号手势识别方法,其从原始表面肌电信号中提取离散小波变换系数,与原始表面肌电信号分别作为双流卷积神经网络两个分支的输入进行高层特征学习,最终通过一个高层特征融合模块对两个分支学习得到的高层特征进行融合。所提方法在3个包含50~52类手势动作表面肌电信号的大规模基准数据集中,识别所有手势动作的投票准确率分别达到97.9%,81.3%,82.4%,且在3个数据集中基于不同长度滑动采样窗口的手势识别准确率均显著超越了近年来本领域相关研究工作所提出的深度神经网络模型。

基于双流卷积与双中心loss的行为识别研究

针对行为视频中相似动作类内差异大、类间差异小,识别准确率不高的问题,提出了一种基于双流卷积网络与双中心loss的行为识别方法.该方法首先构建双流卷积网络结构,以C3Dnet模型作为双流结构的基础模型,分别提取多尺度RGB视频帧中的表观短时运动信息和堆叠光流图中的长时运动信息;然后将双流结构提取的深度信息经长短时记忆(LSTM)网络解析后进行特征融合;最后,利用基于双中心loss的2C-softmax目标函数,来最大化类间距离和最小化类内距离,从而实现相似动作的分类与识别.在数据集KTH上的实验结果表明,该方法能够准确识别相似动作,识别准确率可达98.2%,具有很好的识别效果.

基于双流卷积神经网络的时序动作定位

为提高三维卷积神经网络对时序动作定位的识别效率和准确率,提出一种基于双流卷积神经网络的多阶段时序动作定位模型。该模型首先运用多尺度分割生成视频段,然后依次通过建议网络选择建议区域、分类网络作为定位网络的初始化,最后通过定位网络和非极大值抑制识别动作类别和动作起止时间。其中,建议网络、分类网络、定位网络使用稀疏采样的时序分割网络进行训练。实验证明,该模型可以有效进行时序动作定位,比目前较好的S-CNN网络获得了更好效果。

基于人的双流卷积神经网络的摔倒行为识别

随着计算机视觉技术的发展及现代社会的需求,研究者们对视觉信息的理解已经从单帧图像更多地转向语义更加丰富的视频信息。摔倒是人们日常生活中最常见的安全问题,利用计算机视觉技术对人们行走中的摔倒行为进行识别,可以减小人由于不及时救治导致死亡等严重后果的概率。本文对行为识别任务进行定义,并基于此提出了一种基于双流卷积神经网络的摔倒行为识别方法,最后实验表明本文提出的方法可以满足实际应用需求。

基于3D双流卷积神经网络的异常行为检测

随着科技的不断发展,越来越多的人工智能技术应用于社会生活.依据这一现实,本文运用当前较为热门的图像处理技术进行能识别视频中异常行为并给出预测值的系统开发.首先,我们利用双流膨胀3D卷积网络(Two-Stream-I3D)特征提取技术对视频进行特征提取.其次,运用Python对特征进行处理,转化为深度学习网络所能识别的特征,最后进行GRNN广义回归网络训练,最终达到能对特征值进行良好的异常概率回归的效果.实验表明,运用本系统针对测试集近50例的视频的检测下,系统的平均准确率达74%,具有良好的性能.