结合分组相关性和注意力机制的立体匹配算法

目前立体匹配网络通常面临图像特征获取不充分、语义信息丢失和速度慢等问题。为了改善网络的特征获取能力和运行效率,提出一种结合多重注意力机制和分组相关性代价卷的立体匹配算法。首先,采用基于双重注意力机制的策略,通过融合可变形卷积构建多尺度特征提取网络。通道注意力和空间注意力机制能够在不同分辨率的图像特征提取过程中充分优化特征信息。同时,引入可变形卷积可以自适应采样物体的形状和尺寸,从而提高计算效率。接着,在代价卷的构造过程中,采用分组相关性的方法,同时结合连接特征和相似度特征生成代价卷。这不仅减少了参数和计算量,还保持了语义信息的完整性。最后,通过交叉融合不同尺度下的代价卷,得到最终的代价卷,并经过视差回归得到不同分辨率的最终视差图。实验结果表明,该算法在KITTI2015数据集上取得了显著的成果。全区域误差率仅为3.02%,计算时间为0.16 s,充分展示了该算法在保持低计算复杂度的同时获得了优越的匹配效果。

融合改进NBEATSx和时间注意力机制的空气污染预测

针对现有空气污染预测存在结构复杂、对多元变量与不同时间步间依赖关系提取不充分和多步预测精度低的问题,引入了β分布和非线性动态控制函数改进星鸦优化算法(INOA),优化NBEATSx模型参数,提高收敛精度;并融合时间模式注意力机制(TPA)为不同时间尺度的多外生变量自适应分配权重,再结合预测因子获取时间模式关系.利用所提模型对北京地区的PM2.5进行预测,与传统模型相比精度提高超过18.45%,为空气污染预测提供了一种新方法.

结合时间注意力机制和单模态标签自动生成策略的自监督多模态情感识别

大多数多模态情感识别方法旨在寻求一种有效的融合机制,构建异构模态的特征,从而学习到具有语义一致性的特征表示。然而,这些方法通常忽略了模态间情感语义的差异性信息。为解决这一问题,提出了一种多任务学习框架,联合训练1个多模态任务和3个单模态任务,分别学习多模态特征间的情感语义一致性信息和各个模态所含情感语义的差异性信息。首先,为了学习情感语义一致性信息,提出了一种基于多层循环神经网络的时间注意力机制(TAM),通过赋予时间序列特征向量不同的权重来描述情感特征的贡献度。然后,针对多模态融合,在语义空间进行了逐语义维度的细粒度特征融合。其次,为了有效学习各个模态所含情感语义的差异性信息,提出了一种基于模态间特征向量相似度的自监督单模态标签自动生成策略(ULAG)。通过在CMU-MOSI,CMU-MOSEI, CH-SIMS 3个数据集上的大量实验结果证实,提出的TAM-ULAG模型具有很强的竞争力:在分类指标(Acc_(2),F_(1))和回归指标(MAE, Corr)上与基准模型的指标相比均有所提升;对于二分类识别准确率,在CMUMOSI和CMU-MOSEI数据集上分别为87.2%和85.8%,而在CH-SIMS数据集上达到81.47%。这些研究结果表明,同时学习多模态间的情感语义一致性信息和各模态情感语义的差异性信息,有助于提高自监督多模态情感识别方法的性能。

基于改进注意力机制的时间卷积网络-长短期记忆网络短期电力负荷预测

为充分挖掘蕴含在电力负荷数据中的有效时序信息,提高短期电力负荷预测准确度,本文提出一种基于改进注意力机制的时间卷积网络(TCN)-长短期记忆(LSTM)网络负荷预测模型。首先,将时序数据输入TCN模型中进行时序特征提取;然后,将所提取的时序特征与非时序数据组合,并输入LSTM模型中进行训练;最后,采用贝叶斯优化方法进行超参数寻优以获得TCN-LSTM模型的最优参数,引入通过多层感知器(MLP)改进的注意力机制以减少历史信息丢失并加强重要信息的影响,完成短期负荷预测。通过对比多种深度学习模型的预测效果表明,本文所提模型的短期电力负荷预测准确度更高。

基于时间相关性注意力的行为识别

针对行为识别任务中,行为体和动作状态变化速度不同以及缺少对动作间的相关性研究而引起的行为判别能力低和误判等问题,提出一种基于SlowFast架构的时间相关性注意力机制模型。首先,放弃光流而直接将视频数据作为网络输入,使模型可以进行端到端训练;其次,定义了一种由相关性注意力和时间注意力构成的时间相关性注意力机制,其中相关性注意力机制用于提取动作间的相关性信息;然后,将信息输入时间注意力机制来抑制无用特征;最后,针对SlowFast在路径融合过程中由于卷积核步长过大而导致的特征间相关性丢失问题,提出更有效的连续卷积操作进行替代。在UCF101和HMDB51两个数据集上进行实验,结果证明,所提方法与现有方法相比,精度和鲁棒性具有优势。

基于多时间尺度建模自动特征提取和通道注意力机制的锂离子电池健康状态估计

准确估计锂离子电池(lithium-ion battery,LIB)的健康状态(state of health,SOH)对于确保储能电站的安全稳定运行至关重要。然而,现有的数据驱动方法通常依赖手工特征提取,并且特征的时间尺度比较单一,很难进行高效且精确的电池健康状态评估。为了解决这些问题,提出了一种基于多时间尺度建模自动特征提取和通道注意力机制的健康状态估计模型。该模型首先将充电过程信息输入多个并行的膨胀卷积模块(dilation convolution module,DCM),从不同时间尺度进行自动特征提取,获得丰富且全面的特征表示。随后,不同尺度的特征通过融合后结合门控循环单元(gated recurrent unit,GRU)提取时间序列的长期依赖关系。模型进一步融入通道注意力机制(efficient channel attention,ECA),对历史信息进行相关性动态权重分配,关注显著特征。最后,在两个公开数据集上验证了本方法的优越性,并与其他常用深度学习模型进行了比较。结果表明,本模型具有较高的SOH估计精度和良好的迁移性,两个数据集上的均方根误差分别仅为0.0110和0.0095,在跨数据集的迁移实验中均方误差仅为0.0092。

融合双注意力机制的GNN多维时间序列预测

针对现有多维时间序列数据(multivariate time series,MTS)预测中变量间依赖关系捕获能力不足和时间序列数据多通道信息利用不充分的问题,提出一种融合双注意力机制的多维时间序列预测模型(feature fusion and dual attention mechanism based GNN,FFDA-GNN)。该模型将图神经网络与空间注意力机制融合,用于增强多变量之间依赖关系捕获能力;利用并行的多层膨胀卷积和通道注意力机制,对时间序列数据进行多通道的特征提取,实现对时间序列数据多通道信息的充分利用,从而提升预测性能。在经济、电力、交通3个领域数据集上与基准模型进行对比实验,该模型预测精度优于其他基准方法,有良好的可行性。

基于多级注意力机制融合的电能质量扰动点分类及时间定位方法研究

随着新能源渗透率的不断提高,电网所受电能质量扰动(power quality disturbances,PQD)变得更加复杂,传统方法难以准确识别扰动类型并定位扰动时间。因此,该文提出一种基于多级注意力机制融合的PQD点分类及时间定位方法。该方法以卷积神经网络为基础建立分类模型,在预处理和模型内部分别嵌入局部特征注意力机制(local feature attention mechanism,LFAM)和双尺度注意力机制(dual-scale attention mechanism,DSAM)。其中,LFAM根据幅值包络线追踪信号的幅值变化,以加权方式增强信号波形的局部特征;DSAM则从通道和神经元两个尺度协助模型学习各维度特征的重要性。最后,模型以多类别-多输出的形式对每个采样点进行分类,并完成扰动时间定位。为了验证所提方法的有效性,该文建立含63种PQD类型的仿真数据库对模型进行测试。在30 dB白噪声环境下,该模型平均分类准确率为99.10%,时间定位误差均为毫秒级,具有更强的泛化性能和鲁棒性。同时,基于交流电源搭建硬件平台来测试模型,其平均准确率为99.03%,进一步验证了所提方法的可靠性。

基于时间模式注意力机制和改进TCN的PM_(2.5)浓度预测方法

针对现在PM_(2.5)浓度预测模的预测精度不高和泛化能力差的问题,提出一种结合时间模式注意力机制和改进时间卷积网络(Temporal Pattern Attention and Temporal Convolutional Network,TPA-TCN)的PM_(2.5)浓度预测模型。通过对气象数据和空气污染物监测站点数据进行时空分析,选择具有高相关性的邻近站点作为辅助变量。引入TPA机制,在PM_(2.5)数据时间序列的每个时间步上计算注意力权重,改进TCN的残差结构,提高模型的训练速度和鲁棒性。使用自回归(Autoregressive,AR)算法优化模型的线性提取能力。实验结果表明,该模型在PM_(2.5)预测对比实验任务中表现优异,具备更高的预测精度和更强的泛化能力。

基于混合注意力机制的时间旋转知识图谱补全

针对现有时序知识图谱补全中捕捉动态关系模式,处理非对称、临时和自反关系方面的局限性,提出了一种新颖的融合混合注意力机制与时间旋转的模型。一方面,通过引入时间旋转,利用复数空间中的向量来表示随时间演化的实体与关系,特别是处理时间区间内的关系变化,采用双复数嵌入方案显著增强了对时态特性的表达能力;另一方面,通过对知识图谱引入空间注意力和通道注意力两个维度分析,能够更好地聚焦于时序序列中对预测最为关键的实体和关系特征,从而在复杂的时间序列中挖掘时序关联信息。通过在ICEWS14、ICEWS18、YAGO11k和WIKI12k数据集上的实验评估,模型在MRR、Hits@1、Hits@3和Hits@10上普遍优于基线模型,体现出算法的优越性和强鲁棒性。

基于自注意力机制的时间序列预测及异常检测研究

随着物联网的进步,时间序列数据得以大量采集,对时间序列数据进行准确预测和可靠检测异常变得越来越重要。针对线性预测方法无法提取多维时间序列特征的缺点,基于自注意力机制能同时提取不同序列之间特征相关性的机制,提出了基于自注意力机制的时间序列线性预测方法。在线性预测模型中引入自注意力机制,可更准确地提取多维时间序列数据中的关键信息,提高预测的准确度,实现异常检测。从工程和算法的角度进行优化,对比了引入自注意力机制前后线性预测方法的性能。实验结果表明,该方法在SMD数据集和MSL/SMAP数据集上取得了更好的预测性能和异常检测准确度,明显提高了准确性和鲁棒性,有助于工控条件下的状态预测和异常检测。

基于自注意力机制的PM_(2.5)长时间尺度预测

近些年基于机器学习的PM_(2.5)预测逐渐成为主流,具有较强的非线性建模能力和提高预测精度的优势。然而,时间跨度较大的PM_(2.5)浓度变化预测仍然面临挑战。文章构建了多种自注意力机制的模型,将PM_(2.5)浓度的逐日预测提升到了14天的尺度,提升了以日为单位的PM_(2.5)预测精度。并对Informer、Autoformer、FEDformer和TCN模型在以日为单位的长时间尺度预测进行了对比分析,提高了PM_(2.5)预测模型的准确性和可靠性。文章共构建了3,7,14天三个时间尺度,在各个时间尺度上,Autoformer模型性能表现都是最好的。相较于TCN模型,Autoformer在预测未来3天的时间尺度上,RMSE优化了43.36%,MAE优化了42.70%。在7天的时间尺度上,RMSE优化了39.07%,MAE优化了8.98%、在14天的时间尺度上,RMSE优化了39.07%,MAE优化了8.98%。有效提升了PM_(2.5)在长时间序列预测上的精度。

基于融合注意力机制LSTM网络的地下水位自适应鲁棒预测

地下水水位是旱天污水管网地下水入渗量的重要影响因素,快速精准地预测地下水水位能有效提升旱天污水管网地下水入渗量估算准确度,辅助优化管网病害治理与维护策略。针对目前城市复杂水文预测存在的准确度低、灵敏度低、泛化能力弱等问题,本文提出了一种新的鲁棒自适应水位预测算法。首先,对水文数据进行预处理,解决了数据时间跨度大、噪声多、缺失及异常、非平稳等问题。其次,针对不同输入特征对预测指标的影响,在模型训练阶段提出一种新的空间变量注意机制,可快速识别与水位关联的关键变量,并对输入特征赋予不同的影响权重。然后,针对不同序列长度对预测效果的影响,还设计了自适应时间注意力机制,帮助网络自适应地找出与不同时间序列长度预测指标相关的编码器隐藏状态,以更好地捕捉时间上的依赖关系。在此基础上,以上下文向量作为输入,提出一种融合注意力机制的长短时记忆网络水文预测算法。最后,通过意大利Petrignano水文数据验证了所提算法的有效性,并与GRU、Elman、LSTM、VA–LSTM和S–LSTM等方法进行预测性能比较。结果表明,基于融合注意力机制的LSTM网络在面临大规模、噪点多的复杂数据时有优于其它几种算法的预测效果,表明该算法具有强自适应性和鲁棒性。本文研究结果可以为市政排水策略合理调整、及时控制提供参考。

基于注意力时间卷积网络的农产品期货分解集成预测

针对农产品期货时间序列数据受多方面因素影响,非线性、非平稳数据特征难以提取而导致预测准确性不高的问题,基于“分解-集成”的预测思想,本文提出一种基于自适应噪声完备经验模态分解(CEEMDAN)与Transformer-Encoder-TCN的农产品期货预测方法.首先,使用CEEMDAN将时间序列分解为多尺度多频率的本征模态分量(IMF)与残差,降低了序列建模复杂度;其次,使用融合多阶段自注意力单元Transformer-Encoder的时间卷积网络(TCN)对各个分量子序列进行特征提取与预测,优化了序列显著特征建模权重;最后,将各个子序列预测值线性相加集成得到最终预测结果.以南华期货公司农产品指数中的大豆期货指数为研究对象,采用时序交叉验证与参数迁移的方式进行模型重训练,消融和对比实验结果表明,提出的新模型在RMSE、MAE和DS三个评价指标上具有良好的效果,验证了该模型对农产品期货预测的有效性.

基于注意力机制和特征融合的股票预测方法

基于人工智能在金融数据中的应用,提出了一种新的股票预测方法,称为AFG。AFG使用位置编码和时间编码获取股票数据的位置信息和时间信息,然后通过门控循环单元和多头自注意力机制对股票数据分别进行特征提取。在将两类股票特征融合之后,由全连接层导出最终的股票预测曲线。

基于层级过滤器和时间卷积增强自注意力网络的序列推荐

针对实际推荐场景中用户意外交互产生的噪声问题,以及自注意力机制中注意力分布分散导致用户短期需求偏移难以捕获的问题,提出一种基于层级过滤器和时间卷积增强自注意力网络的序列推荐(FTARec)模型。首先,通过层级过滤器过滤原始数据中的噪声;其次,结合时间卷积增强自注意力网络和解耦混合位置编码获取用户嵌入,该过程通过时间卷积增强补充自注意力网络在项目短期依赖建模上的不足;最后,结合对比学习改善用户嵌入,并根据最终用户嵌入进行预测。相较于自注意力序列推荐(SASRec)、过滤增强的多层感知器序列推荐方法(FMLPRec)等现有序列推荐模型,FTARec在3个公开数据集Beauty、Clothing和Sports上取得了更高的命中率(HR)和归一化折损累计增益(NDCG),相较于次优的DuoRec,HR@10分别提高了7.91%、13.27%和12.84%,NDCG@10分别提高了5.52%、8.33%和9.88%,验证了所提模型的有效性。

时频域多尺度交叉注意力融合的时间序列分类方法

针对时间序列子序列间的潜在信息交互不足导致分类准确率低的问题,提出时频域多尺度交叉注意力融合的时间序列分类方法TFFormer(Time-Frequency Transformer)。首先,将原始时间序列的时频域谱分别划分为等长子序列,经线性投影后加入位置信息解决时间序列的点值耦合问题;其次,通过改进的多头自注意力(IMHA)模块使模型关注更重要的序列特征,解决长时间序列的前后依赖问题;最后,构造多尺度时频域交叉注意力(CMA)模块增强时间序列在时域和频域之间的信息交互,使模型进一步挖掘序列的频域信息。实验结果表明,在Trace、StarLightCurves和UWaveGestureLibraryAll数据集上,相较于全卷积网络(FCN),所提方法的分类准确率分别提高了0.3、0.9和1.4个百分点,验证了通过增强时间序列时域和频域间的信息交互,可以提高模型收敛速度和分类精度。

增强局部注意力的时间序列分类方法

现有时间序列分类方法普遍基于一种循环网络结构解决时间序列点值耦合问题,无法并行计算,导致计算资源浪费,因此提出一种增强局部注意力的时间序列分类方法。该方法拟合混合距离信息以增加时间序列位置感知能力,将混合距离信息融入自注意矩阵计算中,从而扩展自注意力机制;构造多尺度卷积注意力获取多尺度局部前向信息,以解决标准自注意力机制基于点值计算存在注意力混淆的问题;使用改进后的自注意力机制构造时序自注意分类模块,并行计算处理时间序列分类任务。实验结果表明,与现有时间序列分类方法相比,基于局部注意力增强的时间序列分类方法能够加速收敛,有效提高时序序列分类效果。

组合模型对管道腐蚀速率预测的效能研究--基于注意力机制增强的CNN与LSTM模型

为评估卷积神经网络(Convolutional Neural Network,CNN)、长短期记忆(Long Short-Term Memory,LSTM)网络及结合的CNN-LSTM模型在管道腐蚀速率预测中的性能表现,特别引入注意力机制,以期提高模型对关键特征的捕捉能力和预测的准确性。分析影响管道腐蚀速率的环境因素作为模型输入,并通过注意力机制优化特征表示。结果表明,结合注意力机制的CNN-LSTM模型在准确性和可靠性上超越了单独的CNN或LSTM模型。这一结果不仅展示了深度学习模型通过技术增强了处理复杂数据的能力,也为实际工业应用中的时间序列预测提供了新的视角,同时证实了利用深度学习技术对管道腐蚀速率进行精确预测的可行性和有效性。

基于注意力时间卷积网络的加密流量分类

针对目前大多数加密流量分类方法忽略了流量的时序特性和所用模型的效率等问题,提出了一种基于注意力时间卷积网络(attention temporal convolutional network,ATCN)的高效分类方法。该方法首先将流量的内容信息与时序信息共同嵌入模型,增强加密流量的表征;然后利用时间卷积网络并行捕获有效特征以增加训练速度;最后引入注意力机制建立动态特征汇聚,实现模型参数的优化。实验结果表明,该方法在设定的两项分类任务上的性能都优于基准模型,其准确率分别为99.4%和99.8%,且模型参数量最多可降低至基准模型的15%,充分证明了本文方法的先进性。最后,本文在ATCN上引入了一种基于迁移学习的微调方式,为流量分类中零日流量的处理提供了一种新颖的思路。