基于因果卷积和Informer模型的城市公交客流预测

为了有效缓解日常交通拥堵,倡导健康绿色出行,通过城市客流特征分析和预测精准掌握城市交通中的客流量分布特点,综合考虑天气、节假日等多种影响因素对客流量的影响,基于卷积神经网络提出了一种因果卷积自注意力的城市公交客流量CCN-Informer预测模型,改善输入序列局部信息提取能力,获取长期依赖信息,从而提高预测准确性。实验使用因果卷积自注意力进行依赖性特征提取,通过控制编码器的样本计算成本,采用生成式解码器提高模型预测效率。结果表明,CCN-Informer模型考虑周围重要特征因素影响,样本数据拟合程度明显提高,与基线模型对比,标准误差下降范围为4%~20%,有更高的预测精度和运行效率,验证了模型的有效性,可以为城市交通客流量预测提供依据。

基于空洞因果卷积网络的风电机组异常检测

准确可靠的异常检测对于保障风电机组安全高效运行尤为重要。然而,由于风电机组内部结构复杂,运行工况复杂多变,导致所获取的数据采集与监控(SCADA)系统数据往往呈现出复杂的非线性和关联耦合特性。为了更加有效地捕获不同传感器变量之间的空间相关性,提出基于空洞因果卷积网络的风电机组异常检测方法,并采用Focal Loss改进损失函数解决了数据不平衡问题对模型性能的影响。该方法可通过不同的感受野大小从多尺度角度提取丰富的空间相关特征,有效建模并挖掘不同传感器数据间存在的空间因果关系。同时,该模型提供了一种端到端的异常检测方案,可直接从原始SCADA数据中提取空间特征,建立数据与状态标签之间的非线性映射关系,从而输出异常检测结果。通过某风场的SCADA数据实例分析验证了所提出方法的可行性和有效性。

基于因果卷积的儿童睡眠分期方法

目的睡眠分期能为儿童睡眠问题的诊断提供客观的评价标准,有利于提前发现和诊断儿童睡眠疾病。方法研究了一种基于因果卷积的儿童自动睡眠分期方法。首先,对原始的脑电信号进行带通滤波处理以减少噪声干扰,再利用具有不同尺寸卷积核的双分支模块提取信号的时频特征;然后利用膨胀因果卷积模块完成时序特征的提取;最后,通过全连接层和Softmax分类器对学习到的抽象特征进行分类。在20折交叉验证下,采用准确率、召回率、以及F1分数和科恩系数等指标对模型的分类性能进行评价。结果采用美国国家儿童医院的164名2~10岁临床儿童数据集,并设计了2~10岁、2~6岁、6~10岁3个年龄组,实验结果表明所提的因果卷积模型的儿童睡眠分期准确率分别为81.7%、80.0%、82.4%,科恩系数分别为0.75、0.73、0.76。结论基于因果卷积的睡眠分期方法对儿童数据有良好的分类能力,同时具有较快的收敛速度,可作为儿童睡眠疾病诊断的有效辅助工具。

基于扩张因果卷积模型的冷库商品销售量预测

疫情环境下,供应链受到不良影响,库存及市场投入量关乎着社会以及民生的稳定。但是供给与需求无法达到完全一致的现象普遍存在,这使存储管理上面临两方面难题:要么库存过剩增加成本,要么库存不足造成供给短缺。在这种情况下,对商品销售量预测进行深入的研究是一件非常重要的事情。传统的一维卷积神经网络(CNN)在销售量预测上存在信息泄露的问题,且其结构难以获取较长的记忆。文中提出扩张因果卷积神经网络(Dilated Causal Convolution)来优化模型解决问题,其中扩张卷积可以增加卷积模型的感受野大小,获取序列的长时记忆;同时引入因果卷积来解决信息泄露问题。实验结果表明文中提出的扩张因果卷积在销售量预测方面有着较好的预测效果。

结合注意力机制和因果卷积网络的维吾尔语方言识别

针对传统x-vector模型生成方言语音段级表示时,未考虑不同帧级特征对方言辨识作用不一致的问题,以及维吾尔语的黏着性特点,提出结合注意力机制和因果卷积网络的维吾尔语方言识别方法。首先使用多层因果卷网络实现方言语音序列建模,然后采用空洞卷积核增大感受野扩展采样范围,最后使用注意力池化获取方言语音段级特征。维吾尔语方言识别实验结果表明,所提方法较标准x-vector模型方言识别的识别准确率提升了23.19个百分点。

基于因果卷积与LSTM网络的电离层总电子含量预报

电离层总电子含量(TEC)不仅是分析电离层形态的关键参数之一,同时为导航及定位等空间应用系统消除电离层附加时延提供重要支撑。由于电离层TEC的时空变化特征,本文融合因果卷积和长短时记忆网络,以太阳活动指数F_(10.7)、地磁活动指数Dst和电离层TEC历史数据作为特征输入,构建深度学习模型,实现提前24 h预报电离层TEC。进一步利用2005-2013年连续9年的CODE TEC数据,全面评估了模型在北京站(40°N,115°E)、武汉站(30.53°N,114.36°E)和海口站(20.02°N,110.38°E)的预报性能。结果显示不同太阳活动条件下三个站的TEC值与真实测量值的相关系数都大于0.87,均方根误差大都集中在0~1TECU以内,且模型预报精度与纬度、太阳、地磁活动程度、季节变化相关。与仅由长短时记忆网络构成的预报模型相比,本实验模型均方根误差降低了15%,为电离层TEC预报模型的实际应用提供了参考。

基于时序图卷积的动态网络链路预测

动态网络链路预测广泛的应用前景,使得其逐渐成为网络科学研究的热点.动态网络链路演化过程中具有复杂的空间相关性和时间依赖性,导致其链路预测任务极具挑战.提出一个基于时序图卷积的动态网络链路预测模型(dynamic network link prediction based on sequential graph convolution, DNLP-SGC).针对网络快照序列不能有效反映动态网络连续性的问题,采用边缘触发机制对原始网络权重矩阵进行修正,弥补了离散快照表示动态网络存在时序信息丢失的不足.从网络演化过程出发,综合考虑节点间的特征相似性以及历史交互信息,采用时序图卷积提取动态网络中节点的特征,该方法融合了节点时空依赖关系.进一步,采用因果卷积网络捕获网络演化过程中潜在的全局时序特征,实现动态网络链路预测.在2个真实的网络数据集上的实验结果表明,DNLP-SGC在precision, recall, AUC指标上均优于对比的基线模型.

基于扩张因果卷积的城市客流量预测算法

人群的迁移行为可以通过时空相关轨迹和用户上网行为进行记录。通过分析用户的上网行为分布情况发现,用户在不同场景下的浏览内容具有一定的偏好性,据此构建了融合用户上网行为及迁移行为异构信息网络表征城市人群的转移行为。基于该异构信息网络,提出了一种基于扩张因果卷积的城市客流量预测模型,采用扩张因果卷积模块捕捉客流量分布特征和用户上网行为特征,并构建了异构信息融合模型来融合客流量分布特征与用户上网行为特征。客流量分布特征提取是通过不同时间尺度下时间序列提取客流量时间依赖关系,用户上网行为特征提取是根据2种场景下的用户上网内容。特征提取采用扩张因果卷积减少了模型层数,提高了模型效率。异构信息融合模型融合了多维特征信息,提高了模型在预测有突发事件时的即时客流量的准确率。

一种面向细粒度空气质量分指数(IAQI)预测的时空因果卷积模型

精确、细粒度空气质量分指数(Individual Air Quality Index,IAQI)预测是空气质量指数(Air Quality Index,AQI)的基础,对于空气质量防治和保护人类身心健康均具有重要意义。目前传统时序建模、循环神经网络(Recurrent Neural Network,RNN)、图卷积网络(Graph Convolutional Network,GCN)等方法难以有效融合时空因素和气象因素,稳定提取监测站点间动态边缘关系。本文提出了基于时空因果卷积网络(Spatial-Temporal Causal Convolution Networks,ST-CCN)的空气质量分指数预测模型ST-CCN-IAQI。首先采用空间注意力机制分析多源空气污染物和气象因素的空间效应;其次利用堆叠膨胀卷积和时间注意力机制提取特征矩阵的时间依赖性特征;最后采用贝叶斯调优方法对膨胀卷积的多种参数进行了调优。本文采用上海市空气监测站空气质量分指数(IAQI-PM2.5)数据展开实验,并采用一系列基线模型(AR、MA、ARMA、ANN、SVR、GRU、LSTM和ST-GCN)与ST-CCN-IAQI效果进行对比。实验结果显示:(1)在单测站测试中,ST-CCN-IAQI的RMSE和MAE值分别为9.873、7.469,相比基线模型平均下降了24.95%和16.87%;R2值为0.917,相比基线平均提升了5.69%;(2)对全部站点的IAQI-PM2.5、IAQI-PM10和IAQI-NO2的预测,证明了ST-CCN-IAQI具有较强的泛化能力和稳定性。(3)采用Shapley分析方法论证了IAQI-PM10、湿度、IAQI-NO2对IAQI-PM2.5的预测具有较大程度的影响;通过不同数据抽样条件下的Friedman检验,证明了ST-CCN-IAQI对比基线模型有显著的性能提升。ST-CCN-IAQI方法为细粒度IAQI精准预测提供了一种鲁棒可行的解决方案。

跨层多模型特征融合与因果卷积解码的图像描述

目的图像描述结果的准确合理性体现在模型对信息处理的两个方面,即视觉模块对特征信息提取的丰富程度和语言模块对描述复杂场景句子的处理能力。然而现有图像描述模型仅使用一个编码器对图像进行特征提取,容易造成特征信息丢失,进而无法全面理解输入图像的语义。运用RNN(recurrent neural network)或LSTM(long short-term memory)在对句子建模时容易忽略句子的基本层次结构,且对长序列单词的学习效果不佳。针对上述问题,提出一种跨层多模型特征融合与因果卷积解码的图像描述模型。方法在视觉特征提取模块,对单个模型添加低层到高层的跨层特征融合结构,实现语义特征和细节特征之间的信息互补,训练出多个编码器对图像进行特征提取,在充分描述和表征图像语义方面起到补充作用。在语言模块中使用因果卷积对描述复杂场景的长序列单词进行建模处理,得到一组单词特征。使用attention机制将图像特征和单词特征进行连接匹配,用于学习文本信息与图像不同区域之间的相关性,最终通过预测模块结合Softmax函数得到单词的最终预测概率。结果在MS COCO(Microsoft common objects in context)和Flickr30k两个数据集上使用不同评估方法对模型进行验证,实验结果表明本文提出的模型性能较好。反映生成单词准确率的BLEU(bilingual evaluation understudy)-1指标值高达72.1%,且在其他多个评估指标上优于其他主流对比方法,如B-4指标超过性能优越的Hard-ATT("Hard"attention)方法6.0%,B-1和CIDEr(consensus-based image description evaluation)指标分别超过emb-g(embedding guidance)LSTM方法5.1%和13.3%,与同样使用CNN(convolutional neural network)+CNN策略的Conv Cap(convdntioral captioning)方法相比,在B-1指标上本文模型提升了0.3%。结论本文设计的模型能够有效提取和保存复杂背景图像中的语义信息,且具有处理长序列单词的能力,对图像内容的描述更准确、信息表达更丰富。

基于多尺度卷积自注意力的多维时间序列预测

现有的多维时间序列(mutivariate time series, MTS)预测模型大多关注序列变量间的时空依赖关系,没有考虑MTS各变量上取值的典型变化趋势,即局部上下文模式(local context pattern, LCP)。为此设计一种基于因果卷积自注意力和图卷积网络的MTS预测模型,通过多通道多尺度因果卷积提取MTS各变量的多尺度LCP特征,采用多头自注意力机制捕获多尺度LCP间的时序依赖关系,由图卷积网络提取多尺度LCP时序特征之间的空间依赖关系。在4个公开MTS数据集上的结果表明了该预测方法预测性能的优越性。

顾及缺失值的因果图时空预测网络

时空预测是地理时空大数据挖掘的基础研究命题。目前,多种模型用于预测未知系统的时空状态。然而,存在的大多数预测模型仅在没有缺失数据的时空数据集上进行测试,忽略了缺失值对预测结果的影响。在真实场景中,由于传感器或网络传输故障,数据缺失是一个不容忽视的问题。鉴于此,本文提出了一种顾及缺失值的因果图卷积网络(causal graph convolutional network considering missing values,Causal-GCNM)模型用于时空预测。Causal-GCNM模型可以自动捕捉时空数据中的缺失模式,使得Causal-GCNM模型在不需要借助额外插值算法的前提下,可以直接完成时空预测任务。本文提出的模型在3种真实的时空数据集(交通流数据集、PM_(2.5)监测数据集及气温监测数据集)得到了验证。试验结果表明,Causal-GCNM模型在4种缺失条件(20%随机缺失、20%块状缺失、40%随机缺失及40%块状缺失)下仍然具有较好的预测性能,并在预测精度和计算效率两类指标上优于10种存在的基线方法。

基于时间卷积网络的通信信号调制识别算法

针对基于深度学习的端到端调制识别方法存在识别率较低、神经网络参数量大的问题,提出了一种基于时间卷积网络(Temporal Convolutional Network, TCN)的调制识别算法。利用一维因果膨胀卷积,提取信号的时域和频域特征,并加入批归一化(Batch Normalization, BN)和Dropout提高算法的拟合能力;使用全局平均池化(Global Average Pooling, GAP)层替代Flatten层,整合向量特征信息,进一步实现信号的准确分类。在RML 2016.10a数据集上验证了TCN算法的识别性能,在不同信噪比(Signal to Noise Ratio, SNR)下对11种调制信号的平均识别率达到62.3%,与CNN,LSTM和SCRNN算法相比分别提高了10.5%、4.1%、1.1%,参数量分别降低了98.8%、82.5%、91.2%。所提方法对于通信调制信号识别的研究领域具有理论参考价值,对复杂环境下的空间信号智能分类的研究具有工程借鉴意义。

基于图小波卷积神经网络的时空图挖掘模型

针对传统时空图网络模型对时空序列数据空间结构刻画和时空特性挖掘不充分的问题,提出一种基于图小波神经网络的时空图挖掘模型(ST-GWNN)。基于图小波神经网络通过学习节点特征的局部化表达来捕捉时空序列数据中的空间拓扑结构,时间门控卷积层通过门控线性单元所堆叠的因果卷积来提取时间特征信息,并将多个时间步的空间图相融合来学习时间和空间2个维度关联特征的能力,以更好地捕获时空序列中复杂的时空相关性信息。在公共交通数据集PEMS-BAY上的实验结果表明,ST-GWNN模型能够获得较好的预测效果,当预测时长为15 min时,在MAE、RMSE、MAPE 3个评价指标上相较于基准模型取得最小值,且较基准模型最优值分别降低了2.31%、6.96%、5.84%;当预测时长为30 min和60 min时,较基准模型最优的MAPE、RMSE值分别降低了4.9%、3.51%和6.05%、6.68%,可适用于图网络属性的时空关系预测任务。

基于改进门控循环神经网络的采煤机滚筒调高量预测

采煤机自适应截割技术是实现综采工作面智能化开采的关键技术。针对采煤机在复杂煤层下自动截割精度较低的问题,提出了一种基于改进门控循环神经网络(GRU)的采煤机滚筒调高量预测方法。鉴于截割轨迹纵向及横向相邻数据之间的相关性,采用定长滑动时间窗法对获取的采煤机滚筒高度数据进行预处理,将输入数据划分为连续、大小可调的子序列,同时处理横向、纵向的特征信息。为提高模型预测效率,满足循环截割的实时性要求,提出了一种用因果卷积改进的门控循环神经网络(CC-GRU),对输入数据进行双重特征提取和双重数据过滤。CC-GRU利用因果卷积提前聚焦序列纵向的局部时间特征,以减少计算成本,提高运算速度;利用门控机制对卷积得到的特征进行序列化建模,以捕捉元素之间的长期依赖关系。实验结果表明,采用CC-GRU模型对采煤机滚筒调高量进行预测,平均绝对误差(MAE)为43.80 mm,平均绝对百分比误差(MAPE)为1.90%,均方根误差(RMSE)为50.35 mm,决定系数为0.65,预测时间仅为0.17 s;相比于长短时记忆(LSTM)神经网络、GRU、时域卷积网络(TCN),CC-GRU模型的预测速度较快且预测精度较高,能够更准确地对采煤机调高轨迹进行实时预测,为工作面煤层模型的建立和采煤机调高轨迹的预测提供了依据。

基于注意力机制与LSTM-CCN的月降水量预测

针对现有月降水量预测方法预测准确性不高的问题,提出一种基于注意力机制与LSTM-CCN的月降水量预测方法。首先,利用长短时记忆神经网络(long short-term memory neural network,LSTM)提取气象数据在时间维度的特征分布,从时间相关性方面捕获相邻时间段或长距离气象数据段中的统计分布;其次,利用因果卷积神经网络(causal convolutional network,CCN)将气象数据映射到空间维度,深层次地从空间维度捕获气象数据在空间中的特征统计分布;再次,以并联的方式将时间和空间特征作为交叉注意力网络的输入,构造融合的时空特征;最后,以长短时记忆神经网络构造解码器,并将融合的时空特征作为解码器的输入,预测的月降水量作为输出。选取河南省新乡市2001~2017年数据集进行测试,结果表明:所提出方法的均方根误差仅为13.08 mm,相比主流方法具有更低的预测误差。研究成果可为提高气象预测的准确性和实用性提供参考。

基于改进Transformer的滚动轴承剩余寿命预测方法

针对现有的滚动轴承剩余使用寿命预测方法存在预测准确度不足、训练效率不高等问题,提出一种时频分析结合改进Transformer的轴承剩余使用寿命预测方法。首先用短时傅里叶变换提取轴承的时频特征,为了改善Transformer的特征提取能力,研究了基于膨胀因果卷积的可变长度数据分析结构,并设计了自适应位置编码模块替代Transformer的传统编码方式,改进的模型增强了对时频数据的分析能力,实现了高效、准确的端到端的滚动轴承剩余寿命预测。在PHM2012轴承数据集上的实验结果表明提出的方法的效率比LSTM高20%,同时预测精度相比于多种现有传统方法均具有16%以上的提升。

基于时间卷积网络的刀具磨损在线监测

在刀具磨损监测领域中,传统卷积神经网络难以选择合适的卷积核大小,循环神经网络容易发生梯度消失和梯度爆炸,为克服以上缺点,引入时间卷积网络构建在线监测模型对刀具磨损量进行监测。考虑到原始数据量过大且每次走刀过程所采集数据量不同,对数据进行降采样处理,获得了大小为(7,5000)的网络输入数据。通过一维卷积神经网络和时间卷积块的依次叠加,对数据进行特征提取,使用全连接网络将特征映射到刀具磨损值。最后,使用PHM大赛中铣刀磨损的数据验证了模型的效果。实验结果证明,基于时间卷积网络的刀具磨损在线监测模型具有较强的泛化能力,在验证集上均方误差和平均绝对误差分别仅为65.16与6.21,相较于隐马尔科夫、梯度提升树等模型具有较大的提升。

基于改进Informer的云计算资源负载预测

负载预测是云计算资源管理中的重要组成部分,准确预测云资源的使用情况可提高云平台性能及防止资源浪费,然而云计算资源使用的动态性和不确定性使得负载预测较为困难,尽管Informer在时序预测领域取得了较好的效果,但未对时间的因果依赖关系加以限制造成未来信息泄露,也未考虑网络深度的增加导致模型性能下降的问题。为解决上述问题,提出一种基于改进Informer的多步负载预测模型(Informer-DCR)。将编码器中各注意力块之间的正则卷积替换为扩张因果卷积,使深层网络中的高层能够接收更大范围的输入信息来提高模型预测精度,并保证时序预测过程的因果性。在编码器中添加残差连接,使网络中低层的输入信息直接传到后续的高层,解决了深层网络退化问题。实验结果表明,Informer-DCR模型在不同预测步长下的平均绝对误差比Informer、时间卷积网络等主流预测模型降低了8.4%~40.0%,并且在训练过程中表现出比Informer更好的收敛性。

数据驱动的半无限介质裂纹识别模型研究

缺陷识别是结构健康监测的重要研究内容,对评估工程结构的安全性具有重要的指导意义,然而,准确确定结构缺陷的尺寸十分困难.论文提出了一种创新的数据驱动算法,将比例边界有限元法(scaled boundary finite element methods,SBFEM)与自编码器(autoencoder,AE)、因果膨胀卷积神经网络(causal dilated convolutional neural network,CDCNN)相结合用于半无限介质中的裂纹识别.在该模型中,SBFEM用于模拟波在含不同裂纹状缺陷半无限介质中的传播过程,对于不同的裂纹状缺陷,仅需改变裂纹尖端的比例中心和裂纹开口处节点的位置,避免了复杂的重网格过程,可高效地生成足够的训练数据.模拟波在半无限介质中传播时,建立了基于瑞利阻尼的吸收边界模型,避免了对结构全域模型进行计算.搭建了CDCNN,确保了时序数据的有序性,并获得更大的感受野而不增加神经网络的复杂性,可捕捉更多的历史信息,AE具有较强的非线性特征提取能力,可将高维的原始输入特征向量空间映射到低维潜在特征向量空间,以获得低维潜在特征用于网络模型训练,有效提升了网络模型的学习效率.数值算例表明:提出的模型能够高效且准确地识别半无限介质中裂纹的量化信息,且AE-CDCNN模型的识别效率较单CDCNN模型提高了约2.7倍.