基于GCN和TPA混合模型的青草沙水库叶绿素a浓度预测方法

青草沙水库是上海重要饮用水水源地,面临较大藻华暴发风险,实现对水库叶绿素a(Chl-a)浓度的准确预测,对于饮用水安全保障至关重要。文章以青草沙水库为对象,提出了一种图卷积时间模式注意力网络混合模型(GC-TPA),首先利用时间模式注意力(TPA)机制学习水质数据的时间依赖性,其次使用图卷积网络(GCN)学习不同水质参数之间的关系。另外,为进一步提高模型的预测精度,引入完全自适应噪声集合经验模态分解(CEEMDAN)以降低模型的滞后性,同时使用多层感知机(MLP)学习Chl-a浓度的突变。结果表明:(1)引入的GCN模块显著增强了TPA对Chl-a的预测能力,结合CEEMDAN和MLP的帮助,模型性能进一步提升,以纳什效率系数作为评价指标,混合模型的24 h预测精度较单独TPA提升了56.5%;(2)与单独TPA和长短期记忆网络(LSTM)的对比试验表明,在更长的预测周期(48 h)上,GC-TPA虽然精度下降,但仍表现最好,48 h预测平均绝对误差和均方误差比LSTM低25.5%和24.0%,比TPA低4.92%和8.40%;(3)GCN模块与MLP模块在结果预测中发挥了不同的作用,GCN模块增强了TPA的特征学习能力,提高了模型对Chl-a浓度变化趋势的预测精度,而MLP则对Chl-a的突变较为敏感。研究所提出的GC-TPA混合模型在青草沙水库Chl-a浓度短期预测中表现良好,可为水库水质管理提供支撑。

基于红外的TPA和IAOA BiLSTM电路芯片故障诊断

为了提高电路芯片故障诊断准确率,超参数设置的效率以及特征提取效率,提出一种基于时间模式注意力机制(TPA)的改进算数优化算法(IAOA)优化双向长短期记忆网络(BiLSTM)的电路故障诊断方法。首先,利用IAOA搜寻BiLSTM的最优超参数组合,提高模型诊断精度;然后使用TPA提取重要特征并分配权重,改善模型特征提取能力;最后,将红外摄像仪采集的红外温度数据输入到最优诊断模型中,实现电路芯片故障诊断。实验采用0~30 V可调稳压电源电路进行验证。结果表明,该模型对电路芯片故障诊断准确率高达9827,可实现对电路芯片的高准确率故障诊断。

基于CNN-TPA-GRU的电价预测模型研究与应用

文章介绍一种解决电力市场价格波动的电价预测方法。该方法利用卷积神经网络提取输入序列的局部特征,并降维处理。同时,应用时序模式注意力机制,考虑不同时间步之间的依赖关系,为每个时间步分配权重,优化门控循环单元的输入特征。该模型在TGE数据集上进行了验证,并与其他算法进行了比较,结果在各项评价指标上均达到最优,证实了其适应性和在电力现货市场中的可行性。

基于TPA机制改进的VMD-GRU抽水蓄能机组振动预测

针对抽水蓄能机组振动趋势预测中振动信号时间序列非线性、非平稳性极强导致常规预测方法难以进行精确预测的问题,提出变分模态分解(Variational Mode Decomposition,VMD)结合时序模式注意力(Temporal Pattern Attention,TPA)机制改进的门控循环单元(Gated Recurrent Units,GRU)神经网络的抽水蓄能机组振动预测方法。利用VMD算法首先将振动信号序列分解为若干个本征模态分量(IMF),降低时间序列的非平稳性,结合其他特征参数,构建预测输入矩阵。将输入矩阵放入TPA改进的GRU神经网络中训练,利用神经网络强大的非线性特征提取能力,达到精准的预测效果。最后将本方法与GRU-TPA、结合常规注意力机制(AM)的VMD-GRU预测方法进行对比发现,基于TPA改进的VMD-GRU预测方法效果更好,能够更加准确地预测振动信号的时间变化趋势。

基于集群辨识和卷积神经网络-双向长短期记忆-时序模式注意力机制的区域级短期负荷预测

为了解决区域级短期电力负荷预测时输入特征过多和负荷时序性较强的问题,提出一种基于集群辨识和卷积神经网络(convolutional neural networks,CNN)-双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)-时序模式注意力机制(temporal pattern attention,TPA)的预测方法。首先,将用电模式和天气作为影响因素,基于二阶聚类算法对区域内的负荷节点进行集群辨识,再从每个集群中挑选代表特征作为深度学习模型的输入,这样既能减少输入特征维度,降低计算复杂度,又能综合考虑预测区域的整体特征,提升预测精度。然后,针对区域电力负荷时序性的特点,用CNN-BiLSTM-TPA模型完成训练和预测,该模型能提取输入数据的双向信息生成隐状态矩阵,并对隐状态矩阵的重要特征加权,从多时间步上捕获双向时序信息用于预测。最后,在美国加利福尼亚州实例上分析验证了所提方法的有效性。

基于改进时间卷积网络的微电网超短期负荷预测

为了提高微电网中用电负荷超短期预测的准确性,对时间卷积网络进行特征增强和注意力增强改进,将时间卷积网络中的一维因果膨胀卷积替换为二维卷积,同时利用时间模式注意力机制对时间卷积网络的隐藏层加权处理,提取负荷的多维特征,挖掘序列中存在的潜藏联系。根据改进的方法建立预测模型并进行对比实验以验证方法的有效性,能够对用电负荷的不确定性进行有效的处理,拓宽特征向量的维度,有效捕捉负荷序列中与时间有关的特征,提高用电负荷的预测精度。

基于历史学习和关系注意力的时序知识图谱推理

时序知识图谱在传统静态知识图谱上进一步引入了时间维度,由此引出时序知识图谱推理任务,旨在推理未来事件或缺失事实的实体或关系。针对大多数时序知识图谱推理模型存在没有充分利用历史事实和关系关联分析的问题,该文提出一种基于历史学习和关系注意力的时序知识图谱推理方法(简称HLRA)。为了充分利用历史事实,使用多层感知机学习历史事实中的时间戳权重,并结合复制模式的思想,编码出具备时间权重的历史语义偏移向量,在此基础上关联查询信息得到历史学习评分。另一方面,使用自注意力机制分析关系间的关联,将计算出的关系间注意力分数作为影响因子,并将之加权到实体预测中得到关系注意力的得分。最终,通过结合两个分数以获得综合的置信分数。在ICEWS18、ICEWS14、YAGO和GDELT等数据集上的实验结果表明,HLRA模型在MRR、Hits@1、Hits@3和Hits@10等评价指标上较次优模型获得1%至4%的提升,有效提升了时序图谱推理的能力,是一种效果更好的模型。

基于时间模式注意力的炼化装置振荡传播分析

现有针对炼化装置的振荡传播分析方法构建的振荡传播因果模型中冗余、错误因果关系较多,为此,提出基于时间模式注意力的炼化装置振荡传播分析方法。考虑到时间模式注意力对数据的周期性特征提取能力较强的特点,将其与格兰杰因果分析相结合进行振荡传播因果模型构建,该方法构建的因果模型冗余、错误因果关系较少。同时利用设计结构矩阵对炼化装置的过程变量进行分组处理,以降低所提方法的计算复杂度。所提方法的有效性在催化裂化分馏塔动态仿真模型上得到了验证。

基于解耦注意力机制的多变量时序预测模型

针对多变量时序预测难以充分利用序列上下文语义信息及变量间隐含关联信息的问题,提出一种基于解耦注意力机制的多变量时序预测模型Decformer。首先,提出一种解耦注意力机制,从而充分利用嵌入的语义信息提升注意力权值分配的准确度;其次,提出一种不依赖于显式变量关系的模式关联挖掘方法,以挖掘并利用变量间隐含的模式关联信息。在话务量、电力消耗和交通3种不同类型的真实数据集(TTV、ECL和PeMS-Bay)上,与长短期时间序列网络(LSTNet)、Transformer、FEDformer等优秀的开源多变量时序预测模型相比,Decformer在所有预测时间长度上都取得了最高的预测精度。相较于LSTNet,Decformer在TTV、ECL和PeMS-Bay数据集上的平均绝对误差(MAE)分别降低了17.73%~27.32%、10.89%~17.01%和13.03%~19.64%;均方误差(MSE)分别降低了23.53%~58.96%、16.36%~23.56%和15.91%~26.30%。实验结果表明,Decformer能够有效提升多变量时序预测的精度。

面向数据隐私保护的分布式多风电场短期功率预测

【目的】基于集中式数据的深度学习可以有效提高风功率的预测精度,但数据泄露带来的严重后果令各风电场不断重视自身数据的保密,对数据驱动的风功率预测方法造成阻碍。【方法】针对上述问题,提出一种面向数据隐私保护的分布式多风电场短期功率预测方法,利用横向联邦学习(federated learning,FL)框架完成对风电场的功率预测任务。首先,多个风电场采用分布训练方式,利用时序模式注意力(temporal pattern attention,TPA)机制和长短期记忆(long short-term memory,LSTM)网络组合成TPA-LSTM本地模型完成本地数据训练;再将这些本地模型的参数进行聚合处理,同时引入模型上传权重值,提高拟合效果好的本地模型的贡献率;最后实现全局模型参数的更新。【结果】实验结果证明,提出的方法在保证风电场数据隐私的前提下,获得的全局模型在多场景下具有良好的预测性能和泛化能力。

基于双向长短期记忆网络及注意力机制的室内行人模式识别

在室内空间进行准确的行人模式识别/场景感知,特别是与位置关联的识别/感知,对于行人的聚集或追踪具有重要意义.针对传统机器学习方法特征提取困难、分类精度低,非正常性行为造成较大识别误差等问题,提出一种基于注意力机制和双向长短记忆(bidirectional long short-term memory,Bi-LSTM)网络的室内实时行人模式识别的模型.建立Bi-LSTM网络提取滑动窗口内行人模式时序特征,评估模型网络结构的性能与时效性,优化所提网络的Bi-LSTM层数和隐藏层节点数,并确定最优的网络结构;为了削减噪声数据对模型的影响,提高网络筛选信息特征的能力,引入注意力机制对所提取的时序特征进行权重参数优化.实验结果表明,相比传统机器学习算法,优化参数后的Bi-LSTM网络,行人模式识别准确度平均提高6.37%,进一步引入注意力机制后,识别准确度平均提高9.21%,最终准确度可达99.32%.所提模型可以有效对行人模式/场景感知进行分类,为室内精准定位追踪提供方法支持.

基于时间模式注意力机制的CNN-BiGRU短期负荷预测

准确的短期负荷预测可以缓解电力供需矛盾,协调负荷管理,保障电力系统安全。短期电力负荷具有很强的非线性和时间依赖性,并与气候变化和实时电价等诸多外部因素有关,给精准预测短期负荷带来了困难。为此,提出一种基于时间模式注意力(temporal pattern attention, TPA)机制的卷积神经网络(convolutional neural network, CNN)-双向门控循环单元(bidirectional gated recurrent unit, BiGRU)短期负荷预测方法。其中,卷积神经网络用于挖掘不同输入变量与当前负荷间的非线性空间联系,双向门控循环单元用于从时间序列中捕获长期依赖关系,时间模式注意力机制引入以自适应加权赋予特征权重,突出重要信息,实现短期负荷预测。以澳大利亚公开负荷数据集作为实例验证所提方法的效果,预测精度达到了97.651%,与CNN-LSTM、RNN预测模型进行对比,精度分别提高了0.531%和5.992%,实验结果表明:所提的TPA-CNN-BiGRU预测方法具有更高的预测精度和普适性。

基于时间模式注意力机制的GRU短期负荷预测

针对新能源时代负荷数据随机性更强及负荷预测误差较大的问题,提出一种基于时间模式注意力机制的门控循环单元神经网络短期负荷预测方法。首先,采用自适应白噪声的完整经验模态分解对负荷数据进行处理,得到若干个频率范围不同的本征模函数。其次,通过最大互信息系数进行相关性分析筛选特征,优化输入数据的特征维度。然后,构建基于时间模式注意力机制的门控循环单元神经网络预测模型进行负荷预测,采用自回归算法优化线性特征提取能力,得到预测结果。最后,通过实例分析证明了所提模型有助于负荷预测精度的提升。

基于多模式集成深度融合的非侵入式负荷分解模型

目前,基于深度学习的非侵入式负荷分解模型存在对长时间用电信息的时间依赖性建模能力受限及使用同一种分解模型对具有不同负荷特征的设备进行负荷分解所得到的分解误差达不到理想状态的问题。针对上述问题,文章提出了一种非侵入式负荷分解模型,其将基于CNN-LSTM-TPA的分解模型和改进的SVRVB-STCKF模型进行集成融合。首先,其使用时间模式注意力机制(TPA)加强CNN-LSTM分解模型对时间依赖性的建模能力,捕获原始用电信息的负荷特征并实现初步负荷分解;其次,采用支持向量机回归(SVR)建立目标设备的非线性状态空间模型,并利用改进的强跟踪技术和变分贝叶斯对容积卡尔曼滤波算法(CKF)进行改进,得到VB-STCKF模型,对初步分解结果进行二次动态调整。利用REDD和UKDALE公开数据集对所提模型进行验证,结果表明,所提加强模型的时间建模能力及其对初步分解结果进行动态调整的功能,可以有效降低模型的分解误差。

基于百度指数的中国影视基地互联网关注度时空格局研究

运用季节性集中指数、空间自相关和社会网络分析等方法,基于百度指数数据对2011—2020年中国24家主要影视基地互联网关注度的时空格局与互动网络进行系统研究,探索影视基地旅游资源的客源市场需求时空特征.结果表明:中国影视基地互联网关注度呈现出先升后降的变化趋势,季节性差异日益明显,峰值波动与主要节假日分布基本一致;影视基地互联网关注度表现出热点区域少、冷点区域多的空间格局以及明显的“东南-西北”差距,反映出区域经济水平和地理位置因素对影视基地旅游需求的影响;不同影视基地的旅游吸引力表现出明显的“头部效应”,欠发达地区影视基地客源市场具有更高的不稳定性;省域影视基地相互关注度存在较高的区域不均衡性和明显的方向性,少数省份在影视基地信息互动网络中发挥了重要的“媒介”作用.

新冠疫情对张家界旅游网络关注度时空格局的影响及机制

基于地理学的时—空视角,文章定量测度了新冠疫情对张家界旅游网络关注度时—空间格局的影响,并归纳了其影响因素及机制。结果表明:(1)在时间维度上,新冠疫情下张家界旅游网络关注度呈现“下降—反弹—平稳”的变化趋势,反映出新冠疫情对旅游网络关注度效应的动态性;(2)在空间维度上,中国各省区对张家界旅游网络关注度的规模—位序相对稳定,新冠疫情对旅游网络关注度的效应总体上呈现出距离衰减;(3)游客对旅游风险的感知、游客的风险承受能力、目的地熟悉度与区位、权威制约是新冠疫情影响旅游网络关注度的主要因素,这些因素相互作用共同驱动旅游网络关注度的时空变化。

基于时序注意力机制的超短期风电功率概率预测

提高预测精度是风电概率预测研究的关键问题,融合多源数值天气预报数据降低预测误差,采用时序注意力机制对输入信息进行自适应选择,采用时序卷积网络提取多时间尺度的概率特征,并使用混合Beta分布构建预测概率信息。算例结果表明通过时序注意力机制融合多源气象信息能有效提高模型训练的收敛性,其预测结果具有更高的精度。

基于时间模式注意力机制的BiLSTM多风电机组超短期功率预测

针对现有预测方法难以批量处理多风机间不同特征的问题,提出了基于时间模式注意力(temporal pattern attention,TPA)机制的双向长短时记忆(bidirectional long short-term memory,BiLSTM)网络多风电机组超短期功率预测方法。首先,基于集合经验模态分解(ensemble empirical mode decomposition,EEMD)获得风机原始功率信号的不同模态分量,以降低神经网络预测难度。其次,基于TPA机制,从Bi LSTM网络得到的隐藏行向量中提取多风机之间的复杂联系,从而使得具有不同特征的模态可以从不同时间步选择相关信息,进而降低各模态的预测误差。最后,将TPA机制与传统注意力机制应用于分散分布的14台风机区域功率预测任务。研究结果表明:基于本方法的多风电机组超短期功率预测的标准均方根误差仅为0.0546,证明TPA机制能有效提高多风电机组的超短期功率预测精度。

美食网络关注度时空特征及其与旅游的耦合性研究——以沪苏浙皖为例

休闲经济时代,人们由注重饮食的生理需要转向注重美食体验,美食信息越发受到关注。美食网络关注度是美食关注的典型表现和测量手段,是大众美食体验诉求的反映。通过百度指数,以沪苏浙皖41个城市为例,研究获取到2012-2014年各城市美食网络关注度和旅游网络关注度指数数据,采用变异系数、赫芬达尔指数等5个指标及GIS技术,刻画和分析了研究区美食网络关注度的时空差异特征,并探讨了与旅游网络关注度的时空耦合性。研究发现:美食网络关注度指数逐年增长,年内具有季节性特征,受旅游季节性影响;城市间有显著差异,指数多分布于传统长三角城市,城市旅游发展水平对美食网络关注度有显著影响;美食、旅游关注度显著正相关,系数最高的多为皖北城市,而系数较高的为重点旅游城市;美食、旅游相关系数与指数比具有明显的空间集聚性,周边城市对美食关注有较大影响。

基于MATCN的光纤周界入侵信号识别方法

针对光纤周界安防模式识别中机器学习算法依赖专家经验、现有深度学习算法学习关键特征能力不足的问题,提出了一种多注意力时间卷积网络(MATCN)识别模型。MATCN以时序信号为输入,通过利用通道和时序注意力优化网络学习机制,挖掘信号关键信息;在卷积过程中使用带泄露修正线性单元(Leaky ReLU)解决神经元坏死问题,提高模型的鲁棒性。搭建了基于相位敏感光时域反射系统(Φ-OTDR)的周界安防系统,模拟了攀爬、敲击、踩踏及无入侵事件。实验结果表明,MATCN的识别率达到了98.50%,识别时间为0.53 s,性能优于长短时记忆网络(LSTM)与融合卷积层的长短时记忆网络(CNN-LSTM)。所提方法能够有选择性地学习不同通道和时间片段中的关键信息,实现对周界入侵信号的准确、高效识别。