改进2DCNN时空特征提取的动作识别研究

基于深度学习的视频动作识别方法处理时间信息的方式主要有两种,一是利用光流表示相邻帧之间的运动信息,但其无法有效建模长程时间特征,二是利用3D卷积对时空信号进行混合建模,但其引入了大量的参数,导致内存消耗和计算量剧增.针对上述问题,本文提出了一种改进2D CNN时空特征提取的动作识别方法,在2D CNN中嵌入时空门控和动作注意力聚合(Spatial-temporal Gate and Motion Attention-aggregation,SGMA)模块增强其时空特征提取能力.SGMA包含时空动态门控和动作注意力聚合两个子模块,时空动态门控能够可视化各通道特征的运动比例因子并依此逐通道分离运动强相关特征和运动弱相关特征,动作注意力聚合利用运动强相关特征构建金字塔结构来提取不同时间跨度的运动特征,并使用注意力机制自适应聚合各时间跨度特征实现长程时间建模,运动弱相关特征经过2D卷积提取空间特征后融合动作注意力聚合模块的输出最终获得强有力的时空特征表达.在相同帧采样策略下,本文方法在Something-SomethingV1&V2验证集上的Top1准确度比基准TSM分别提高了4.4%和6.2%.

时差定位的地震视应力时空特征提取方法

为了发现具有地震前兆意义的地震事件,了解区域地应力水平,提出了一种时差定位的地震视应力时空特征提取方法。对含有噪声的超声信号进行小波分解,选取阈值筛选小波系数,重构信号,引入时差定位法,明确独立时差,构建时差方程,定位视应力关键点的坐标向量,计算地震视应力,提取其时空特征,实现地震视应力时空特征提取。实验结果表明,该方法提取的时间特征与背景值一致,在一定的空间范围内视应力分布均匀,符合物理意义,验证了该特征提取方法具备一定的可行性和有效性。

事件诱发电位信号分类的时空特征提取方法

准确对事件诱发电位(ERPs)进行分类,对于各种人类认知研究和临床医学评估非常有意义.由于ERPs信号是非常高维的数据,而且其中包含非常多的与分类无关的信息,从ERPs信号中提取特征尤显重要.分析了共空间模式(CSP)的原理和不足,引入自回归(AR)模型与白化变换相结合,提出了针对ERPs分类的时空特征提取方法,并设计了验证该方法的认知实验,在认知实验数据上分别用时空特征提取方法与CSP提取特征,用同样的分类器支持向量机(SVM)训练分类器,比较它们的分类效果.实验表明,在ERPs分类问题上,时空特征提取方法与CSP相比具有明显的优势,在参数确定合理的情况下,时空特征提取方法可使分类准确率达到90%以上.

基于时空特征提取的智能网络切片算法

5G网络作为新一代的移动通信网络,提供了差异多样的各类业务服务,而通过网络切片可以将5G网络的资源虚拟化并更为有效地分配给各类服务。然而,当用户的服务需求发生变化时,需要及时地进行切片资源的重新分配和管理。为了准确适配业务需求的时空变化,提升切片性能,考虑采用深度强化学习的人工智能算法对切片资源进行实时管理,提出了基于时空特征提取的智能网络切片算法。算法采用了图注意力网络(GAT)以及长短期记忆网络(LSTM)进行数据的预处理,并使用深度Q网络(DQN)进行决策。在多基站和多用户的无线接入网场景下的仿真测试中,该算法在性能上相比于传统的网络切片算法实现了较大的提升。

人体动作识别中基于HTM架构的时空特征提取方法

针对人体动作识别中时空特征提取问题,提出一种基于层次时间记忆(HTM)架构的深度学习模型,用来提取图像帧的时空特征。将图像帧构建成树型节点层次结构,在每一层中,通过欧氏距离分组来提取图像样本的空间特征,利用时间邻接矩阵提取样本的时间特征,利用置信传播方法将各层局部特征组进行汇总归类,得到整体特征组,作为该图像帧的时空特征。此外,在节点操作中引入张量代数,从而避免出现高维特征,将特征送入支持向量机(SVM)分类器进行识别分类。在MSR Gesture 3D和KTH动作数据库上的实验结果表明,提出的方法能够有效提取出高分类性能的时空特征,分类准确率高于其他几种较新的方法。

基于深度学习的网络流时空特征自动提取方法

流量异常检测是网络入侵检测的主要途径之一,也是网络安全领域的一个热门研究方向。通过对网络流量进行实时监控,可及时有效地对网络异常进行预警。目前,网络流量异常检测方法主要分为基于规则和基于特征工程的方法,但现有方法需针对网络流量特征的变化需重新人工收集规则或构造特征,工作量大且繁杂。为解决上述问题,该文提出一种基于卷积神经网络和循环神经网络的深度学习方法来自动提取网络流量的时空特征,可同时提取不同数据包之间的时序特征和同一数据包内字节流的空间特征,并减少了大量的人工工作。在MAWILab网络轨迹数据集上进行的验证分析结果表明,该文所提出的网络流时空特征提取方法优于已有的深度表示学习方法。

基于面部动作时空特征的疲劳预警算法

目前疲劳预警算法多采用实时监测报警的方式,这在高速行驶中具有很大的安全隐患。鉴于人类疲劳状态的时序相关性,提出一种基于面部动作时空特征提取的预警算法。首先,构建加入空间变换结构的卷积神经网络,识别人脸区域,对脸部特征点进行检测标记;其次,建立时空特征提取网络,利用采集的人脸图像序列,对未来图像序列进行预测并输出;最后,在输出的图像序列中根据眼部、嘴部综合状态判断是否发出警告。实验结果表明,以15 fps的速率采集图像,预测未来2 s 30帧图像的方式下,该算法能以90%以上的准确率提前26帧(约1.5 s)预警,且提前15帧(1 s)预警的准确率达到97%。在我国高速公路平均100 km/h的车速下,相当于提前40 m预警,能进一步减少交通事故的发生。

一种基于2D时空信息提取的行为识别算法

基于计算机视觉的人体行为识别技术是当前的研究热点,其在行为检测、视频监控等领域都有着广泛的应用价值。传统的行为识别方法,计算比较繁琐,时效性不高。深度学习的发展极大提高了行为识别算法准确性,但是此类方法和图像处理领域相比,效果上存在一定的差距。设计了一种基于DenseNet的新颖的行为识别算法,该算法以DenseNet做为网络的架构,通过2D卷积操作进行时空信息的学习,在视频中选取用于表征行为的帧,并将这些帧按时空次序组织到RGB空间上,传入网络中进行训练。在UCF101数据集上进行了大量实验,实验准确率可以达到94.46%。

基于多尺度时空优化的空气质量预测方法

本文提出一种基于多尺度时空优化的空气质量预测方法(multi-scale spatial-temporal network for air quality prediction,MSSTN-AQP),结合空气质量系统中存在的长短期时间依赖关系和动态空间依赖性,提高长期空气质量预测的准确性。首先,通过构建多尺度时空特征提取模块,从多源异构数据中提取时空特征。其次,构建动态空间特征提取模块。通过将图卷积网络与注意力机制进行有效结合,捕捉空气质量网络中的全局空间特征,用于对多种空间依赖关系的联合建模。最后,构建时间特征提取模块,对Transformer模型进行改进与优化。自适应时间Transformer模块主要用于模拟跨多个时间步长的双向时间依赖关系。此外,将上述时空特征提取模块进行有效集成化,构建端到端的空气质量预测模型。为了验证模型的有效性,在两个真实数据集中进行实验验证。实验结果表明,MSSTN-AQP在预测精度上更具优势,尤其是在长期的空气质量预测任务中优势更加明显。

基于ARMA过滤器的时空图卷积网络短时交通流预测

针对大多数现有的时空融合图卷积网络模型在分析交通流数据所采用的过滤器提取空间特征时,可能会导致网络节点特征过于平滑从而丢失原始信息、计算量大等问题,将一种能有效逼近任何所需响应的基于自回归移动平均(ARMA)过滤器的图卷积网络与门控循环单元(GRU)相融合,提出一种基于ARMA过滤器的时空图卷积网络短时交通流预测模型。在该模型中,采用GRU提取交通流数据的时间特征;利用基于ARMA过滤器的图卷积网络提取空间特征;通过平均池化层得到预测结果。在美国加州高速公路公开数据集PeMS04、PeMS07和PeMS08上进行了实验。结果表明,相比于切比雪夫多项式等传统的过滤器,ARMA过滤器能够更好地捕获交通流数据中的空间特征且能有效提升计算效率,在三组数据集上相比于GRU、DCRNN、T-GCN、ASTGCN和MSTGCN等基准模型,新模型的平均绝对误差指标平均降低了26.28%、28.25%、39.59%、26.24%和19.07%,训练时间平均降低了26.54%、95.00%、78.87%、93.58%和89.03%。

融合时空切片和双注意力机制的视频摘要方法

为解决现有视频摘要方法的视频帧特征信息提取不充分、摘要结果过分依赖单一特征的问题,提出了一种融合时空切片和双注意力机制的视频摘要方法。在原视频的精准分段阶段,提出了基于时空切片的核时序分割算法(STS-KTS),将视频场景信息反映为时空切片纹理信息,采用水平映射法将预处理后的时空切片投影为一维数组,作为KTS的输入特征;以双注意力机制和分组卷积为基本组件,结合BiLSTM构建时空特征提取网络,以快速提取丰富的时空特征信息,从而配合纹理特征信息消除现有摘要模型对单一特征的过分依赖;采用帧参数预测模块获取最佳的视频帧贡献度分数、中心度分数以及帧序列位置;将帧分数转化为镜头分数,以选取内容丰富的片段,进而生成动态视频摘要。在SumMe和TVSum数据集上的实验表明:所提方法能提高生成摘要的准确性,比现有方法性能更高,尤其在SumMe数据集上的生成摘要准确性相比于现有方法提升了0.58%。

基于视频图像驱动的驾驶人注意力估计方法

驾驶人视觉注意力的深入研究对于预测不安全驾驶行为和理解驾驶行为具有重要意义。为此,提出一种基于视频图像驱动的驾驶人注意力估计方法,以估计驾驶人在行车时注意到视域内的行人或车辆等各种对象。该方法利用深度神经网络学习交通场景视频与驾驶员注意力特征之间的映射关系,并融入引导学习模块来提取与驾驶员注意力最相关的特征。考虑到驾驶的动态性,使用动态交通场景视频作为模型输入,设计时空特征提取模块。在稀疏、密集、低照度等常见的交通场景中,将估计的驾驶员注意力模型与收集的驾驶员注意力数据点进行对比。实验结果表明,所提方法能够准确估计驾驶员在驾驶过程中的注意力,对于预测不安全驾驶行为以及促进人们更好地理解驾驶行为具有重要的理论和实用价值。

结合变种残差模型和Transformer的城市公路短时交通流预测

城市公路交通流的预测受到历史交通流量和相邻车道交通流量的影响,蕴含了复杂的时空特征。针对传统交通流预测模型卷积长短时记忆(ConvLSTM)网络进行交通流预测时,未将时空特征分开提取而造成的特征提取不充分、特征信息混淆和特征信息缺失等问题,对ConvLSTM模型作出改进。首先,提取每个采样时刻的交通流数据的短期时间特征和空间特征,并在特定的维度下将交通流的短期时空特征融合;其次,进行残差映射;最后,将映射后的短期时空特征交由Transformer模型捕捉交通流数据长期的时空特征,并根据所捕捉的长期特征对未来时刻每个采样点交通流进行预测。使用加州城市快速路数据对模型进行验证,以平均绝对误差(MAE)作为模型评价指标时,所提模型相较于Conv-Transformer模型,预测精度提高了18%,验证了所提模型的有效性。

基于长短期记忆网络的城市积水内涝风险预警

城市积水内涝风险预警需要综合考虑多个因素的影响,如内涝空间与时间特征等,为增强城市积水内涝预警能力,及时应对潜在暴雨威胁,提出一种基于长短期记忆网络的城市积水内涝风险预警方法。利用内涝点核密度、不透水面密度指标明确积水蔓延面积,通过Moran指数得到积水空间分布汇聚特征,创建水文数据集和降雨数据集,把内涝时间特征提取问题转换为有监督学习问题,归一化处理后,将特征变量输入长短期记忆网络融合处理,明确内涝整体演变趋势;利用卷积神经网络预测未来一段时间的内涝水深,根据预测结果划分积水内涝风险等级,基于多源特征数据融合结果,使用单因子风险评估法与一维圣维南方程组完成内涝风险预警。仿真结果证实:所提方法可精准提取积水内涝特征,预警结果准确率高、效率快,可妥善处理极端暴雨威胁下积水内涝预警工作。

HINet:一种面向冰雹识别的多源数据融合网络

冰雹天气具有突发性和局地性强,以及破坏力大的特点。尽管地面自动站、雷达和卫星等获取的观测资料在冰雹识别中发挥了一定的作用,但单一观测资料的局限性导致冰雹识别虚警率较高和准确率较低。因此,亟需构建基于多源高分辨率观测的冰雹识别技术。本文提出了一种面向冰雹识别的多源数据融合网络,该深度学习方法利用时空特征提取模块、多源数据特征融合模块和UCUNet(U Connection Unet,U形连接卷积神经网络)识别模块,充分挖掘冰雹发生时FY4B(风云四号B星)、天气雷达和数值模式等多源数据的时空特征,并创新地加入地形高度、坡度、坡向等作为冰雹识别因子。为评估所提网络方法的性能,本文进行了系列实验,并将实验结果与真实标签数据进行对比。结果显示,HINet(Hail Identification Net,冰雹识别网络)能够充分利用多源数据,在复杂地形条件下有效改善冰雹识别结果,在冰雹研究和识别中具有较高的准确性和实用性。

改进的自监督生成对抗网络算法在视频生成中的应用

时序特征提取是视频生成领域具有挑战性的任务之一。本文提出一种改进的自监督时空特征学习的视频生成对抗网络(self-supervised spatio-temporal feature learning video generative adversarial networks,SSFLVGAN)算法来提升模型的性能,对于判别器网络的3D CNN模块,在其前四层卷积网络后增加了3D平均池化层AvgPool3d,以减少模型参数,从而实现合成视频和真实视频有效判别,以及帧之间运动时序关系是否正确的有效识别。与基准算法比较,SSFLVGAN算法在结构相似性指数和峰值信噪比评价指标上的效果更好,生成的视频更加逼真、更加合理。

视频监控下利用改进型C3D-RF的人群异常行为检测

传统基于卷积神经网络(CNN)算法的人群异常行为检测方法由于采用二维卷积核提取图像特征,故无法准确捕捉视频流在时序上的动态特征。为此,提出一种基于改进C3D网络与随机森林(RF)算法相结合的检测方法。利用具有时间特征捕捉能力的C3D网络进行视频流梯度方向直方图(HOG)特征提取,并作为三维卷积核输入以实现对视频时空特征的提取;使用随机森林分类器替代softmax全连接层以避免训练过程中繁琐的梯度计算操作,并降低对训练数据集样本规模的要求;基于基准数据集的算例结果表明,所提出的改进C3D-RF方案对人群异常行为的检测准确率保持在90%以上,且与传统C3D网络、支持向量数据描述模型(SVDD)、编码深度卷积神经网络(CAE)等方法相比,其训练时间缩短了15.34%以上。

面向多模态网络业务切片的虚拟网络功能资源容量智能预测方法

为解决多模态网络场景中网络切片上的VNF部署方案调整不及时造成的切片性能下降问题,提出了一种基于时空特征提取的VNF资源容量预测方法,旨在通过预测为即将到来的切片需求进行VNF的预部署。所提方法首先对用于预测的数据流时间序列进行加权处理,然后把处理后的时间序列及其依赖的空间拓扑信息输入网络模型中,通过图卷积网络重组时间序列的空间分布特征,再由门控循环单元感知输入数据的时序依赖关系,最后基于数据流序列与VNF实例数量的映射关系,由前馈神经网络最终输出VNF资源需求预测视图。实验结果表明,所提方法比对照方法中预测精度最高的方法提高了6.54%的需求预测精度。

一种基于视频中人体姿态的跌倒检测方法

为了及时、准确地对老年人跌倒行为进行检测,保障老年人的养老安全,提出一种基于人体姿态的跌倒检测方法。首先将视频图像送入到OpenPose算法中获取图像中人体的姿态信息,再利用三维卷积神经网络提取视频中人体姿态变化的时空特征。通过对局部特征的重新组合,得到抽象的全局特征进行跌倒检测。实验结果表明,所提出的跌倒检测方法计算复杂度低,对跌倒行为的平均正确检测率为98.32%,对其他日常行为的平均误检率为2.84%,兼顾了准确性和实时性的要求。

基于时序图像深度学习的电熔镁炉异常工况诊断

超高温电熔镁炉(Fused magnesium furnace, FMF)生产炉况监测困难,易发生欠烧异常工况,不仅造成产品质量下降,也直接危害生产安全与人员安全.现有的人工巡检方式实时性差,容易发生漏报和误报,甚至导致铁制炉壳烧透、烧漏.针对该问题,本文采用视频信号,利用电熔镁炉欠烧工况的时空特征,即在炉壳表面出现的局部不规则高亮区域的空间特征,以及该高亮区域随时间呈现出亮度增强、面积变大的时序特征,提出一种基于卷积循环神经网络(Convolutional recurrent neural network, CRNN)的电熔镁炉异常工况诊断新方法.该方法包括图像序列一致性变换和时序残差图像提取预处理、基于卷积神经网络(Convolutional neural network, CNN)的空间特征提取、基于循环神经网络(Recurrent neural network,RNN)的时序特征提取、基于加权中值滤波的工况自动标记.最后采用实际的电熔镁炉炉壳的视频信号,进行了所提方法与现有的两种深度学习网络模型的实验比较研究,结果说明了所提方法的优越性.