基于紧耦合时空双流卷积神经网络的人体动作识别模型

针对视频人体动作识别中动作信息利用率不高、时间信息关注度不足等问题,提出了一种基于紧耦合时空双流卷积神经网络的人体动作识别模型。首先,采用两个2D卷积神经网络分别提取视频中的空间特征和时间特征;然后,利用长短期记忆(LSTM)网络中的遗忘门模块在各采样片段之间建立特征层次的紧耦合连接以实现信息流的传递;接着,利用双向长短期记忆(Bi-LSTM)网络评估各采样片段的重要性并为其分配自适应权重;最后,结合时空双流特征以完成人体动作识别。在数据集UCF101和HMDB51上进行实验验证,该模型在这两个数据集上的准确率分别为94.2%和70.1%。实验结果表明,所提出的紧耦合时空双流卷积网络模型能够有效提高时间信息利用率和动作整体表达能力,由此明显提升人体动作识别的准确度。

基于时空图卷积神经网络的强迫振荡定位与传播预测

振荡源定位与传播预测是抑制强迫振荡和保证电力系统稳定的关键。现有方法未能充分利用电网的空间拓扑信息和振荡的时序特征,限制了定位和预测的精度。因此,该文提出一种基于时空图卷积神经网络的强迫振荡定位与传播预测方法。首先,根据节点特征和拓扑信息构建图数据,考虑到强迫振荡传播的快速性,通过切比雪夫多项式扩大节点空间感受野,提取振荡空间特征。同时,利用门控循环单元网络提取多个节点振荡数据的时序关联,通过时空图卷积单元融合空间和时序特征。然后,将定位与传播预测分别建模为分类和回归问题,训练时空图卷积神经网络模型。算例分析表明,所提方法具有更高的准确率,且在噪声和部分节点数据缺失的情况下依然具有较好的性能。

基于双流-非局部时空残差卷积神经网络的人体行为识别

3维卷积神经网络(3D CNN)与双流卷积神经网络(two-stream CNN)是视频中人体行为识别研究的常用架构,且各有优势。该文旨在研究结合两种架构且复杂度低、识别精度高的人体行为识别模型。具体地,该文提出基于通道剪枝的双流-非局部时空残差卷积神经网络(TPNLST-ResCNN),该网络采用双流架构,分别在时间流子网络和空间流子网络采用时空残差卷积神经网络(ST-ResCNN),并采用均值融合算法融合两个子网络的识别结果。进一步地,为了降低网络的复杂度,该文提出了针对时空残差卷积神经网络的通道剪枝方案,在实现模型压缩的同时,可基本保持模型的识别精度;为了使得压缩后网络能更好地学习到输入视频中人体行为变化的长距离时空依赖关系,提高网络的识别精度,该文提出在剪枝后网络的首个残差型时空卷积块前引入一个非局部模块。实验结果表明,该文提出的人体行为识别模型在公共数据集UCF101和HMDB51上的识别准确率分别为98.33%和74.63%。与现有方法相比,该文模型具有参数量小、识别精度高的优点。

基于时空关联的时空图卷积神经网络城市轨道交通进站客流预测

[目的]准确的短时客流预测对于提高超大规模城市轨道交通线网的运营和管理效率具有重要意义,而目前现有研究对于深度挖掘时空关联性仍不够充分,为此基于短时客流的时空规律提出了基于客流时空关联特征的STGCN(时空图卷积神经网络)模型。[方法]首先,通过切比雪夫图卷积网络捕捉超大规模城市轨道交通网络的空间相关性,借助门控循环单元挖掘多时空关联特征下客流的时间相关性;然后,分析待预测车站历史客流数据相关性及OD(起讫点)客流数据相关性,以深入提取时空相关性;最后,结合客流时空关联特征建立STGCN模型。[结果及结论]以上海地铁江苏路站为例,进行短时进站客流预测,结果表明采用时空关联特征参数的预测结果较未加入特征参数的预测精度提高了16%,预测效果较优。

基于时空图卷积神经网络的管网产量模拟计算

针对原油集输管网的流量计测量数值偏差大,模拟仿真软件人工校正繁琐、自适应差的问题,提出一种自适应时空图卷积神经网络的产量计算方法,实现原油集输管网产量的模拟计算.以潜油电泵井为节点,输油管道为边构建管网拓扑图.使用图卷积神经网络提取井分布空间信息,时间卷积神经网络获取产量数据的时间序列特征,计算得到准确的产量模拟计算结果.在某油田原油集输管网系统上进行了实验验证,结果表明本文方法能够准确对管网系统内各电泵井的产量进行计算,与其他基准网络模型相比,各项误差指标均有下降,平均绝对误差降至0.87,平均绝对百分比误差降至4.45%,均方误差降至0.84,证明了提出方法的有效性和准确性.

基于卷积神经网络和时空特征的烟幕视频检测和参数提取

为提高干扰弹在战场上作战效能,摸清干扰弹的作战效能底数和极限施放条件,并修正干扰弹烟幕扩散方程。针对现有干扰弹作用过程形成的烟幕,烟幕透明特性和纹理各不相同,通用性较差,为能精准提取烟幕的烟幕轮廓和运动特征,提出一种基于卷积神经网络、烟幕时空特征的混合方法。该方法主要分为5个阶段:对YUV色彩空间的对比度调整;应用了差帧法检测输入视频图像序列的运动区域,设计了卷积神经网络体系结构框架,将运动区域通过卷积神经网络识别烟幕候选区域;根据烟幕的时空特征,从每个候选区域进一步识别烟幕候选区域;采用了支持向量机分类器,利用提取的特征对真实烟幕区域与非烟幕区域进行分类;提取烟幕特征的参数。经试验验证,所建立的模型将烟幕识别准确度最低提高至99.94%,能有效满足修正干扰弹作用过程中的烟幕扩散方程,为干扰弹的定型试验和作战应用提供了有力支持。

基于3D双流卷积神经网络和GRU网络的人体行为识别

针对基于双流卷积神经网络的人体行为识别准确率不高,不能充分利用时间维度的信息问题,提出一种基于3D双流卷积和门控循环单元(GRU)网络的人体行为识别模型。将3D卷积神经网络引入到双流卷积神经网络中,在双流卷积神经网络的空间流和时间流中分别使用3D卷积神经网络提取视频的时空信息;融合3D双流卷积神经网络提取到的时空特征,形成有时间顺序的时空特征流;将时空特征流输入到具有记忆信息能力的GRU网络中递归学习时间维度的长时序列特征并利用线性SVM分类器进行人体行为识别。在行为识别数据集UCF101上的实验结果表明,该模型充分地利用了视频的时间维度信息,识别率为92.2%,优于其他人体行为识别算法。

一种基于双流卷积神经网络跌倒识别方法

针对跌倒行为的视觉特征难以提取的问题,提出一种由两路卷积神经网络和模型融合部分组成的双流卷积神经网络(Two-Stream CNN)的跌倒识别方法.该方法的一路对视频帧的运动人加框标记后,送三维卷积神经网络(3D-CNN)处理来消除视频背景的干扰;另一路从相邻视频帧获取光流图后,送VGGNet-16卷积神经网络处理;最后将3D-CNN和VGGNet-16的Softmax输出识别概率加权融合作为Two-Stream CNN输出结果.实验结果表明:标记运动人并经3D-CNN处理有效地消除了视频背景的干扰;Two-Stream CNN跌倒识别率为96%,比3D-CNN提高了4%,比VGGNet-16网络提高了3%.

基于自适应时空图神经网络的交通预测

准确的交通预测对城市规划、交通安全有着重要的意义。现有的预测模型大多集中在设计复杂的预定义的图来捕获交通数据的特征。然而,交通数据具有很强的空间依赖性,这意味着道路网络拓扑图的节点之间往往存在着复杂的相关性,并且道路网络的拓扑图随着时间的推移而变化。预定义的图可能无法完整获取交通信息。针对该问题,提出了一个基于自适应时空图神经网络的交通预测模型,首先提出一个图结构学习组件,分别捕获交通网络的宏观和微观信息,将它们集成为最优图邻接矩阵。然后设计一个时空卷积块用以捕获交通数据的时空特性。在METR-LA和PEMS-BAY数据集上展开实验,实验结果表明所提出模型的预测性能优于主流模型。

基于双流卷积神经网络的人体行为识别方法

时序行为检测是指在一段未分割的长视频中,检测出其中包含的若干行为片段的起止时间和类别.针对该项任务,提出基于双流卷积神经网络的行为检测模型.首先使用双流卷积神经网络提取视频的特征序列,然后使用TAG(Temporal Actionness Grouping)生成行为提议,为了构建高质量的行为提议,将行为提议送入边界回归网络中修正边界,使之更为贴近真实数据,再将行为提议扩展为含有上下文信息的三段式特征设计,最后使用多层感知机对行为进行识别.实验结果表明,本算法在THUMOS2014数据集和ActivityNet v1.3数据集获得较好的识别率.

基于时空特征卷积神经网络的运动想象脑电信号识别方法

为了正确提取脑电信号的特征信息以提高大脑运动想象的识别准确率,提出一种基于时空特征的卷积神经网络(TSCNN)方法。通过一个时间卷积神经网络和一个空间卷积神网络,自主学习最优的时空滤波器参数,之后再通过卷积神经网络进一步提取不同尺度的脑电信号特征信息,完成运动想象分类识别,并在小样本情况下通过信号分段、膨胀卷积等策略进一步优化训练效率和识别性能。该方法在BCI Competition IV Dataset 2a数据集上取得78.8%的准确率和0.72的kappa系数,相比其他方法可以在不进行预处理及额外特征提取的情况下,取得更好的识别效果。

基于动态自适应图神经网络的电动汽车充电负荷预测

电动汽车充电站负荷波动的不确定性与长时间预测任务给提升充电负荷预测精度带来巨大的挑战。文中提出一种基于动态自适应图神经网络的电动汽车充电负荷预测算法。首先,构建了一个充电负荷信息时空关联特征提取层,将多头注意力机制与自适应相关图结合生成具有时空关联性的综合特征表达式,以捕获充电站负荷的波动性;然后,将提取的特征输入到时空卷积层,捕获时间和空间之间的耦合关系;最后,通过切比雪夫多项式图卷积与多尺度时间卷积提升模型耦合长时间序列之间的能力。以Palo Alto数据集为例,与现有方法相比,所提算法在4种波动情况下的平均预测误差大幅降低。

用于微表情识别的改进双流浅层卷积神经网络

在微表情自动识别任务中,浅层卷积神经网络和深层网络相比更好地改善了网络训练过拟合的情况,但是多数浅层卷积神经网络存在输入特征单一和提取高维有效特征能力不足的问题.针对上述问题本文同时使用图像的灰度特征和运动特征表征原图像,并且提出了一种改进双流浅层卷积神经网络(Enhanced Dual-stream Shallow Convolutional Neural Network,EDSSNet)用于微表情的识别.本文首先使用欧拉视频放大算法和TV-L1光流法对视频关键帧处理,提取图像的灰度特征和运动特征,然后用空洞卷积和注意力模块改进双流浅层卷积网络模型,提高网络提取有效特征的能力,最后将两种特征输入网络训练后进行分类.理论分析及在CASMEⅡ、SMIC-HS和SAMM微表情数据库上的实验结果均表明了改进模型的有效性.

基于时空建模的动态图卷积神经网络

为了使图表示学习得到的嵌入向量对节点和边不断变化的动态图具有很好的信息表征能力,提出一种动态图卷积神经网络模型(DyGCN),将动态图上的表示学习建模为时间和空间信息的聚合。该模型将从图卷积神经网络(GCN)的空间卷积提取图上的结构信息与从时间卷积神经网络(TCN)的因果卷积提取时序上的历史信息相结合,同时在空间卷积层加入自适应的模型更新机制,使得模型参数随着图结构的变化能够自适应地更新。在金融领域数据集上针对金融欺诈检测进行的边分类实验表明,该模型比现有方法有很大的性能提升。

基于双流卷积神经网络的人体动作识别研究

针对双流卷积神经网络存在的网络结构较浅、时间流及空间流网络均为独立训练学习、并未学习到时空网络之间关联信息等问题,文章设计了基于双流卷积神经网络的人体动作识别改进算法。采用ResNet-34对原网络进行替换,加深网络结构;将时间流、空间流网络提前进行特征图融合,加强时空网络信息融合的充分性。文章还对具体的融合方式和融合位置进行了实验研究,确定了网络最佳融合策略,在UCF-101数据集上的识别率为91.5%,相较于原网络以及其他相关识别方法有更高的识别精度。

基于时空卷积神经网络的数据缺失交通流预测

针对数据连续缺失情况下交通流预测精度下降甚至失效的问题,提出了一种时空卷积神经网络预测模型,根据横向分布的时间相关性和纵向分布的空间相关性,构建路网交通数据时空矩阵,引入掩码矩阵标记数据的缺失状况,利用卷积操作提取路网中各检测器之间隐含的非线性关联,建立当前时刻与未来交通状态的映射关系,实现数据缺失情况下的交通流预测。使用公开数据集,在3个时间尺度上的验证结果表明,所提出的模型在平均误差和预测精度两个方面均优于长短期记忆网络、门控循环单元、扩散卷积神经网络和图马尔可夫网络模型,在交通数据随机缺失和连续缺失两种情况下,均表现出了良好的稳定性和健壮性。

基于改进时空残差卷积神经网络的城市路网短时交通流预测

城市路网交通流预测受到历史交通流和相邻路口交通流的影响,具有复杂的时空关联性。针对传统时空残差模型缺乏对交通流数据进行相关性分析、捕获微小变化而容易忽略长期时间特征等问题,提出一种基于改进时空残差卷积神经网络(CNN)的城市路网短时交通流预测模型。该模型将原始交通流数据转化成交通栅格数据,利用皮尔逊相关系数(PCC)对交通栅格数据进行相关性分析,确定相关性高的周期序列和邻近序列;同时,建立周期序列模型和邻近序列模型,并引入长短时记忆(LSTM)网络作为混合模型提取时间特征以及捕获两种序列的长期时间特征。利用成都市出租车数据集对模型进行验证,结果表明该模型预测结果优于LSTM、CNN和传统残差模型等基准模型,以均方根误差(RMSE)为评价指标时,所提模型将测试集中交通路网的平均预测精度分别提高了25.6%、13.3%和3.2%。

基于时空融合卷积神经网络的异常行为识别

为解决基于RGB图像的异常行为识别无法有效利用帧间运动信息的问题,采用深度学习思想,提出一种基于时空融合方法的双流卷积神经网络对异常行为进行识别。使用VGGNet16构建双流模型,以RGB图片和连续光流帧作为网络的输入,有效利用视频流信息。使用UCF101数据集预训练网络模型,将模型迁移学习到CASIA数据集上并微调网络。实验结果表明,与Multi-resolution CNN方法和Two-stream CNN (AlexNet)方法相比,该方法具有更高的准确率。

基于双流自适应时空增强图卷积网络的手语识别

针对提取手语特征过程中出现的信息表征能力差、信息不完整问题,设计了一种双流自适应时空增强图卷积网络(two-stream adaptive enhanced spatial temporal graph convolutional network,TAEST-GCN)实现基于孤立词的手语识别。该网络使用人体身体、手部和面部节点作为输入,构造基于人体关节和骨骼的双流结构。通过自适应时空图卷积模块生成不同部位之间的连接,并充分利用其中的位置和方向信息。同时采用残差连接方式设计自适应多尺度时空注意力模块,进一步增强该网络在空域和时域的卷积能力。将双流网络提取到的有效特征进行加权融合,可以分类输出手语词汇。最后在公开的中文手语孤立词数据集上进行实验,在100类词汇和500类词汇分类任务中准确率达到了95.57%和89.62%。

基于卷积神经网络的时空融合的无参考视频质量评价方法

无参考视频质量评价是指在不借助原始无损参考视频信息的条件下,对于给定的任意一段视频,直接评测出其质量程度。传统的无参考视频质量评价方法大都基于统计分析,绝大多数都针对特定的视频失真类型,对视频的时域信息考虑较少,导致现有的基于统计分析的方法应用范围局限,实时性较差。提出一种融合视频时空信息的基于卷积神经网络的无参考视频质量评价方法。该方法不针对特定失真类型。将方法分为空域和时域两部分进行处理,空域上提出一种基于卷积神经网络的方法学习空域失真特征,时域上设计一组基于邻帧块结构相似度的特征用以表征视频的时域失真信息。最后将视频的时空特征进行融合,送至线性回归模型进行视频质量的预测。实验表明,所提方法的多项指标均达到主流视频质量评价方法的性能,且方法运行速度大大提高,显示出较好的实时应用前景。