基于时域卷积网络与Transformer的茶园蒸散量预测模型

在茶园水资源管理中,蒸散量(Evapotranspiration,ET)是评估作物水分需求的关键指标,由于茶园蒸散量预测具有时序性、不稳定性以及非线性耦合等特点,目前的茶园蒸散量预测模型存在预测精度较低的问题,针对此问题本文提出了一种新型的茶园蒸散量预测模型。首先使用互信息算法(Mutual information,MI)与主成分分析算法(Principal component analysis,PCA)相融合的数据处理算法(MIPCA),筛选强相关的特征并提取主成分;其次将时域卷积网络(Temporal convolutional network,TCN)与Transformer融合,利用灰狼算法(Grey wolf optimization,GWO)优化超参数,捕捉茶园数据的全局依赖关系;最后整合2个网络构建了MIPCA-TCN-GWO-Transformer模型,通过消融试验和对比试验验证了模型性能,并对模型在不同时间步长下的性能进行测试。结果表明,该模型平均绝对百分比误差(Mean absolute percentage error,MAPE)、均方根误差(Root mean square error,RMSE)和决定系数(Coefficient of determination,R^(2))3个评价指标分别为0.015 mm/d、0.312 mm/d和0.962,优于长短期记忆模型(Long short term memory,LSTM)等传统预测模型。在小时尺度、日尺度和月尺度下的R^(2)分别为0.986、0.978和0.946,在不同时间步长下展现了良好的适应性和准确性。本文构建的MIPCA-TCN-GWO-Transformer模型具有较高的预测精度和稳定性,可为茶园水资源优化管理和灌溉制度制定提供科学参考。

融合Transformer的剩余使用寿命预测模型

剩余使用寿命(remaining useful life,RUL)预测对大型设备的故障预测与健康管理十分重要。然而,一些设备监测数据具有维度高、规模大、强耦合、参数时变等非线性特征,这些特征会导致RUL预测的准确性较低。为此引入Transformer解码器,并通过多头注意力机制综合全局信息,提出了一种基于多尺度双向长短期记忆网络和Transformer的神经网络模型,以提高模型预测精度。选取航空发动机作为研究对象,使用各个模型在NASA的C-MPASS数据集上进行对比实验,结果表明,在剩余使用寿命预测方面,该文提出的融合Transformer模型的多尺度双向长短期记忆网络模型在准确率和均方根误差指标上均优于其他对比模型。

融合多种时空自注意力机制的Transformer交通流预测模型

交通流预测是智能交通系统中实现城市交通优化的一种重要方法,准确的交通流量预测对交通管理和诱导具有重要意义.然而,因交通流本身存在高度时空依赖性而表现出复杂的非线性特征,现有的方法主要考虑路网中节点的局部时空特征,忽略了路网中所有节点的长期时空特征.为了充分挖掘交通流数据复杂的时空依赖,提出一种融合多种时空自注意力机制的Transformer交通流预测模型(MSTTF).该模型在嵌入层通过位置编码嵌入时间和空间信息,并在注意力机制层融合邻接空间自注意力机制,相似空间自注意力机制,时间自注意力机制,时间-空间自注意力机制等多种自注意力机制挖掘数据中潜在的时空依赖关系,最后在输出层进行预测.结果表明,MSTTF模型与传统时空Transformer相比,MAE平均降低了10.36%.特别地,相比于目前最先进的PDFormer模型,MAE平均降低了1.24%,能取得更好的预测效果.

基于Transformer和关系图卷积网络的信息传播预测模型

针对在信息传播动态演化中,结构特征和时序特征以及两者间的交互表达难以有效捕获的问题,提出一种基于Transformer和关系图卷积网络的信息传播预测模型(TRGCN)。首先,构建由社交关系图和传播级联图组合而成的异构图,使用关系图卷积网络(RGCN)提取图中各节点的结构特征;其次,使用双向长短期记忆(Bi-LSTM)网络对各节点的时间嵌入重新编码,引入时间衰减项以不同的权重赋予不同时间位置的节点,获得节点的时序特征;最后,将结构特征和时序特征输入Transformer进行融合,得到时空特征以预测信息传播。在Twitter、Douban和Memetracker这3个真实数据集上的实验结果表明,相较于对比实验中的最优模型,TRGCN的Hits@100指标分别提升3.18%,5.96%和3.34%,Map@100指标分别提升11.60%,19.72%和8.47%,验证了所提模型的有效性和合理性。

基于变量选择与Transformer模型的中长期电力负荷预测方法

准确且有效的负荷预测对于电力系统的实时运行和调度非常重要。提出了一种融合变量选择与稀疏Transformer模型的预测方法,将静态变量和时序变量作为输入,充分发挥静态变量在全局时间范围内的信息增强作用,基于门控机制设计变量分权组件,根据变量与预测结果的相关性,赋予变量不同的权重。设计了双层编码结构,进行时序特征提取,对注意力进行稀疏处理,通过多变量输入对未来时刻负荷进行预测。基于真实电力负荷数据的实验表明,本文模型能够提高中长期负荷预测精度和效率。

基于时空Transformer的多空间尺度交通预测模型

准确的交通预测对提高智能交通系统的效率至关重要。交通系统的空间依赖不仅体现在道路的相连关系上,更重要的是由道路属性、区域功能等因素形成的隐藏空间依赖。另外,交通数据之间的时间依赖具有严格的相对位置关系,忽略这一问题将难以实现准确的交通预测。为了解决这些问题,提出了一种基于时空Transformer的多空间尺度交通预测模型(MSS-STT)。MSS-STT使用多个特定的Transformer网络对不同的空间尺度建模,以捕捉隐藏空间依赖,同时使用图卷积网络来学习静态空间特征。接着,使用门控机制将不同空间尺度的空间依赖与静态空间特征根据各自对预测的重要性进行融合。最后,根据时间序列中不同相对位置对预测的不同贡献来提取不同的时间依赖关系。在PeMS数据集上的实验结果表明,MSS-STT优于最先进的基线。

融合Transformer和LSTM的蓝莓根区土壤含水量预测模型

针对土壤含水量预测模型存在难以解决非线性复杂特征、易陷入局部极小值等问题,构建融合Transformer和LSTM的土壤含水量深度学习预测模型(Transformer-LSTM)。采集山东省青岛市黄岛区丁家寨村蓝莓(Vaccinium spp.)生产区冷棚与露天2个站点的蓝莓根区土壤和气象数据作为建模数据,根据皮尔逊相关性和偏自相关性分析选择模型的数据输入特征与输入长度,与单一的Transformer模型和LSTM模型进行对比分析,评估模型对土壤含水量的预测性能。结果表明,Transformer-LSTM模型在预测精度上均优于单一的Transformer模型和LSTM模型,Transformer-LSTM模型的平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)、决定系数(R^(2))分别为0.245 9、0.572 0、0.012 1、0.960 6。Transformer-LSTM模型可以更全面地提取蓝莓种植环境因子输入序列中的特征信息,有效提升土壤含水量因子预测精度和水平。

基于双模态Transformer模型的话务量预测

为降低客户服务中心电话的等待率,提升服务质量。针对现有算法不能实现中长期话务量预测的问题,提出了一种基于双模态Transformer模型的话务量预测方法。首先采集并预处理某运营商真实的话务量数据,通过双模态特征融合构造出有益特征,最后采用多种模型进行话务量预测以及多种衡量指标对预测结果进行分析。结果表明:与其他算法比较,Transformer模型性能较好,对运营商资源的合理配置具有较高的指导意义,同时更易获得客户较高的满意度和忠诚度。

结合变种残差模型和Transformer的城市公路短时交通流预测

城市公路交通流的预测受到历史交通流量和相邻车道交通流量的影响,蕴含了复杂的时空特征。针对传统交通流预测模型卷积长短时记忆(ConvLSTM)网络进行交通流预测时,未将时空特征分开提取而造成的特征提取不充分、特征信息混淆和特征信息缺失等问题,对ConvLSTM模型作出改进。首先,提取每个采样时刻的交通流数据的短期时间特征和空间特征,并在特定的维度下将交通流的短期时空特征融合;其次,进行残差映射;最后,将映射后的短期时空特征交由Transformer模型捕捉交通流数据长期的时空特征,并根据所捕捉的长期特征对未来时刻每个采样点交通流进行预测。使用加州城市快速路数据对模型进行验证,以平均绝对误差(MAE)作为模型评价指标时,所提模型相较于Conv-Transformer模型,预测精度提高了18%,验证了所提模型的有效性。

基于Transformer编码器和残差网络的信贷违约预测模型

针对传统信贷违约预测模型对高维稀疏类别特征缺乏有效处理,性能受到人工特征工程影响较大的问题,提出一种基于Transformer编码器和残差网络的信贷违约预测模型(TE-ResNet)。该模型首先利用嵌入层对类别特征进行处理,将它们转化为低维度的稠密向量;然后将连续特征和嵌入后的类别特征连接,输入到堆叠的Transformer编码器中进行特征提取,捕捉输入特征之间的关系,得到有用信息的高层特征表示;最后使用结合了通道注意力机制的一维残差网络模型进行违约预测。在训练过程中,模型采用加权交叉熵损失函数,以解决信贷数据不平衡的问题。实验结果表明,与8种主流基准模型的最佳表现相比,TE-ResNet在LendingClub数据集、天池贷款数据集上的各项指标均有提升:AUC指标分别提升了0.58%和2.85%,F1-Score指标分别提升了0.85%和11.92%,G-mean指标分别提升了2.94%和16.19%。TE-ResNet能够提高信贷违约预测的性能,减少人工特征工程,实现端到端的学习。因此,TE-ResNet模型具有实际应用的潜力,并可为信贷业务提供更加精确和可靠的风险评估服务。

基于Transformer的空调能耗预测模型构建与参数优化

针对空调系统能耗预测建模过程中的数据质量、模型输入参数筛选等问题,研究基于Transformer神经网络的空调系统能耗预测模型构建和参数优化方法,结果表明:可以通过广义极端学生化偏差方法对数据中的离群值进行检测修正,从而提升数据质量;通过余弦相似度对输入参数进行两两相关性检验来消除各参数间的多重共线性,实现对输入参数的初步筛选;采用随机森林算法计算初选参数对空调能耗预测结果的影响来判断冗余参数,进而完成对输入特征参数的最终筛选;建立的空调能耗预测模型对数据测试集的预测结果均方根误差RMSE为38.831 kW,相关系数R^(2)为0.952,表现出了良好的预测性能。

基于iTransformer模型的金融时间序列预测

金融时间序列的准确预测是经济政策制定者和投资者密切关注的焦点。本文选用工商银行作为金融时间序列的代表,用一种新颖的神经网络模型iTransformer对工商银行的股票价格进行预测。同时,将统计模型ARIMA、神经网络模型LSTM和Transformer作为对照组,比较了不同模型在不同时间范围内预测的准确性。实证结果显示,iTransformer确实适用于股票价格的预测,在短期、中期和长期这三种不同的预测区间内,其精度普遍优于对照组的预测模型。

基于Transformer系列模型的高压线铁塔区域沉降预测方法

现有高压线铁塔区域沉降值预测方法存在无法准确进行长期预测的问题。提出了一种基于Transformer系列模型的沉降值预测方法。通过建立时序InSAR气象与环境因素数据集,训练并测试了四种Transformer系列模型,以六种评价指标对模型进行了对比与分析。结果表明,Transformer系列模型具有较高的预测精度,其中Autoformer模型在高压线铁塔区域沉降值预测任务上表现最优异,具有较好的应用潜力。所提出的方法有助于及时发现并预防高压线铁塔区域因地表沉降出现的危险情况。

融合增量学习与Transformer模型的股价预测研究

股票价格预测一直是金融研究和量化投资共同关注的重点话题。当前股价预测的深度学习模型多数基于批处理学习设置,这要求训练数据集是先验的,这些模型面对实时的数据流预测是不可扩展的,当数据分布动态变化时模型的预测效果将会下降。针对现有研究对非平稳股票价格数据预测精度不佳的问题,提出一种基于增量学习和持续注意力机制的在线股价预测模型(Increformer),通过持续自注意力机制挖掘特征变量之间的时序依赖关系,采用持续归一化机制处理数据非平稳问题,基于弹性权重巩固的增量训练策略获取数据流中的新知识,提高预测精度。在股票市场的股指与个股价格序列中选取五个公开数据集进行实验。实验结果表明,Increformer模型能够有效挖掘数据的时序信息以及特征维度的关联信息从而提高股票价格的预测性能。通过消融实验评估了Increformer模型的持续归一化机制、持续注意力机制以及增量训练策略的效果及必要性,验证了所提模型的准确性与普适性,Increformer模型能够有效捕捉股票价格序列的趋势与波动。

基于MLP和Transformer模型的大气温度预测

文章以运城市2015年1月1日至2020年12月21日期间监测的大气温度数据作为研究的基础资料,运用MLP模型和Transformer模型,预测了运城市大气温度。由于温度数据具有很强的时序性,对MLP模型与Transformer模型,各选取了两层、四层(MLP-2、MLP-4、Transformer-2、Transformer-4),进行了3天、5天、7天多组试验对比。结果显示:MLP-4模型7天的均方误差为3.2649,Transformer-4模型3天的均方误差为5.3767,预测精度都比较高,且MLP模型预测温度的精度高于Transformer模型预测温度的精度;MLP-2模型的均方误差分别为3.2662、3.2996、3.3579,MLP-4模型的均方误差分别为3.2674、3.2996、3.2649,均方误差有变化,但比较平稳;Transformer-2模型的均方误差分别为5.6225、5.9491、5.3892,Transformer-4模型的均方误差分别为5.3767、6.3787、6.1108,增加模型层数和参数量,均方误差增大,存在过拟合现象。运用Transformer模型进行预测,出现过拟合现象,原因是Transformer模型太过庞大(接近四百万个参数),而研究数据只有1531组,即使使用Weight decay和Dropout正则化的方法,仍然过拟合文章中提供的1531组研究数据,使其预测精度出现一定程度的下降。

基于图Transformer网络的城市路网短时交通流预测模型

针对城市路网短时交通流预测问题,在考虑路网交通状态时空相关性基础上,提出了一种基于图Transformer(graph transformer,Graformer)的预测方法。该方法将多条路段的交通状态预测问题转化为图节点状态预测问题,针对区分相同结构的空间路网结构图,将带有边的图同构网络(graph isomorphism network with edges,GINE)和Transformer网络相结合,对交通状态在路网层面的时空相关性进行建模,从而实现城市路网短时交通流预测。具体来说,Graformer模型首先利用长短期记忆网络(long short-term memory,LSTM)对交通数据的时序信息进行预处理,接着采用基于GINE与Transformer的全局注意力机制提取交通数据的空间特征,最后实现路网各路段交通流的同步预测。

基于时空感知Transformer的交通流预测模型

交通流预测是智能交通系统的一个热点研究领域,其根本挑战是对交通数据中复杂的时空相关性进行有效建模。针对大部分现有时空Transformer模型在构建时空相关性矩阵时忽略了时间趋势性和空间异质性的重要影响的问题,提出一种基于时空感知Transformer的交通流预测模型。首先,采用改进的时空感知自注意力机制挖掘交通流数据中潜在的时间趋势性和空间异质性特征,建立精确的时空相关性矩阵以获取全局时空特征;然后,使用多尺度扩散卷积模拟交通流在路网中的多阶扩散过程,捕获节点多邻域范围的局部空间特征;最后,采用多元特征融合模块对捕获的时空特征进行自适应融合并输出预测结果。在PeMS04和PeMS08两个真实交通数据集上进行实验,结果表明,与最近提出的RPConvformer、ASTGNN、PDFormer等基于Transformer的基线模型相比,新模型的平均绝对误差分别降低了8.0%、6.5%和2.0%。

基于Transformer模型的四旋翼无人机时空协同航迹预测方法设计

无人机在执行任务时面临的飞行环境复杂多变,为了减少事故的风险,并在飞行时对异常情况进行预测和响应,研究一种基于Transformer模型的四旋翼无人机时空协同航迹预测方法;采集四旋翼无人机原始航迹,实施异常点剔除和缺失点插值处理,以优化和清理原始航迹数据,便于后续的航迹预测;使用卷积神经网络实施特征进行数据提取,通过编码和解码过程获取学习数据低维,结合深度学习和表示学习方法完成数据降维;基于Transformer模型实现无人机时空协同航迹的精准预测,通过数据异常点剔除与插值补缺,对采集的四旋翼无人机原始航迹数据实施预处理,提高数据的质量和完整性;实验测试结果表明,设计方法的预测结果虽然相对于真实的坐标点稍有偏差,然而整体结果在可接受范围内,验证集所有数据的均方误差在数据条数为300时仅为0.32 m,拟合优度指标测试结果最接近1,具有良好的航迹预测能力;该方法可以更好地优化无人机的航迹规划,实现多无人机之间的时空协同航迹规划,避免碰撞和冲突,并优化飞行效率。

基于Transformer-Bi-LSTM模型的武器装备剩余寿命预测方法

武器装备担负保卫国土安全的重要使命,其保持稳定运行状态具有重大国防、政治意义;因其装备运行状态不便中断、故障定位过程复杂,使得传统维修方式效率较低;装备使用数据具有连续性、长期性、不平稳性,甚至一些深度学习模型无法处理其中的退化状态历史依赖与关联问题;通过构建元器件层级的剩余寿命预测架构,对特征工程、退化指标构建以及Transformer-Bi-LSTM模型开展研究,采用距离编码技术,实现针对深度学习模型的技术创新,优化模型预测效果;基于某型武器装备主要器件正常试样数据,进行本方法分析验证,在器件已运行时间达到90%设计试验寿命长度时能够进行有效且准确的剩余寿命预测,所提方法满足武器装备器件寿命预警及更换提醒、保障装备战备完好性的应用需求。

基于Transformer和Bi-LSTM模型的船舶轨迹预测

在航运业中,精确的船舶轨迹预测对于提高海上安全性、优化航线规划及降低运营成本至关重要。本研究提出了一种结合Transformer和Bi-LSTM的船舶轨迹预测模型,此模型优势在于能够精确捕捉船舶运动的时间序列i特性并有效处理长距离依赖关系,从而显著提高了轨迹预测的准确性。该模型首先利用B-LSTM处理输入的轨迹数据,准确提取出局部时序特征及动态变化信息;随后,通过Transformer的自注意力机制,进一步分析和增强这些特征中的全局依赖性,提升了长期轨迹走势的预测精度。通过在真实世界的船舶自动识别系统(AIS)数据上进行测试,实验结果证明了本模型在预测精度方面的优势,所预测轨迹具有参考价值。