基于改进注意力机制的时间卷积网络-长短期记忆网络短期电力负荷预测

为充分挖掘蕴含在电力负荷数据中的有效时序信息,提高短期电力负荷预测准确度,本文提出一种基于改进注意力机制的时间卷积网络(TCN)-长短期记忆(LSTM)网络负荷预测模型。首先,将时序数据输入TCN模型中进行时序特征提取;然后,将所提取的时序特征与非时序数据组合,并输入LSTM模型中进行训练;最后,采用贝叶斯优化方法进行超参数寻优以获得TCN-LSTM模型的最优参数,引入通过多层感知器(MLP)改进的注意力机制以减少历史信息丢失并加强重要信息的影响,完成短期负荷预测。通过对比多种深度学习模型的预测效果表明,本文所提模型的短期电力负荷预测准确度更高。

时间感知的双塔型自注意力序列推荐模型

用户的偏好具有聚合性和漂移性。现有推荐算法在序列建模框架中融合了交互时间相关性的建模,取得了很大的性能改善,但它们在建模时仅考虑了交互的时间间隔,使得它们在捕捉用户偏好的时间动态方面存在局限性。首先,提出了一种新的时间感知的位置嵌入方法,将时间信息与位置嵌入相结合,帮助模型学习时间层面的项目相关性。随后,在时间感知位置嵌入基础上,提出了时间感知的双塔自注意力序列推荐模型(TiDSA)。TiDSA包含项目级和特征级的自注意力模块,分别从项目和特征两个角度对用户偏好随时间变化的过程进行分析,实现了对时间、项目和特征的统一建模,并且在特征级自注意力模块,设计了多维度的自注意力权重计算方式,从特征维度、项目维度和项目与特征交叉维度充分学习特征之间的相关性。最后,TiDSA将项目级与特征级的信息相融合得到最终的用户偏好表示,并根据该表示为用户提供可靠的推荐结果。四个真实推荐数据集的实验结果表明,TiDSA的性能优于许多先进的基线模型。

增强局部注意力的时间序列分类方法

现有时间序列分类方法普遍基于一种循环网络结构解决时间序列点值耦合问题,无法并行计算,导致计算资源浪费,因此提出一种增强局部注意力的时间序列分类方法。该方法拟合混合距离信息以增加时间序列位置感知能力,将混合距离信息融入自注意矩阵计算中,从而扩展自注意力机制;构造多尺度卷积注意力获取多尺度局部前向信息,以解决标准自注意力机制基于点值计算存在注意力混淆的问题;使用改进后的自注意力机制构造时序自注意分类模块,并行计算处理时间序列分类任务。实验结果表明,与现有时间序列分类方法相比,基于局部注意力增强的时间序列分类方法能够加速收敛,有效提高时序序列分类效果。

融合时间感知和多兴趣提取网络的序列推荐

针对序列推荐任务中的时间动态性和多重兴趣建模问题,提出一种时间感知的项目嵌入方法,用于学习项目之间的时间关联性。在此基础上,提出一种融合时间感知和多兴趣提取网络的序列推荐(time-aware multi-interest sequence recommendation,TMISA)方法。TMISA采用自注意力序列推荐模型作为局部特征学习模块,以捕捉用户行为序列中的动态偏好;通过多兴趣提取网络对用户的全局偏好进行建模;引入门控聚合模块将局部和全局特征表示动态融合,生成最终的用户偏好表示。实验证明,在5个真实推荐数据集上,TMISA模型表现出卓越性能,超越了多个先进的基线模型。

基于深度学习的动态主用户频谱感知算法

实际的频谱感知场景中主用户可能随机到达或者离开,当主用户状态在实时频谱感知期间动态变化时,现有的静态频谱感知算法性能急剧恶化。针对该现状,研究提出基于残差收缩注意力机制的动态主用户频谱感知算法。频谱感知间隔内,主用户随机到达或者随机离开的时间服从均匀分布。采用深度残差收缩网络(DRSN)提取动态主用户特征,并且滤除冗余的噪声特征;利用协调注意力模块(CAM)增强每个通道不同方向的特征信息,提高模型对动态主用户特征的表达能力。仿真结果表明,所提算法性能优于对比算法ResNet、CBAM_IQ和CBAM_Energy,所提算法对主用户随机到达或者离开服从不同分布的主用户都可以保持较高的检测概率。

考虑用户意图和时间间隔的会话型深度学习推荐系统

基于循环神经网络的会话型推荐系统在建模用户点击行为时,无法同时考虑用户行为之间的时间间隔和用户的主要意图。针对该问题,在现有的基于注意力机制的会话型推荐系统和仅考虑用户行为时间间隔的Time-LSTM的深度学习模型的基础上提出一个新的基于会话的推荐系统TASR。利用Time-LSTM建模时间间隔影响用户行为,并利用注意力机制捕获用户的主要意图。在两个公开数据集上的实验验证了该算法的有效性。

基于时间和关系感知的图协同过滤跨域序列推荐

跨域序列推荐旨在从给定的某用户在不同领域中的历史交互序列中挖掘其偏好,预测其在多个领域中最可能与之交互的下一个项目,以缓解数据稀疏对用户意图捕捉和预测的影响.受协同过滤思想启发,提出一种基于时间和关系感知的图协同过滤跨域序列推荐(timeandrelation-awaregraph collaborative filtering for cross-domain sequential recommendation,TRaGCF)算法,充分挖掘用户高阶行为模式同时利用跨域用户行为模式双向迁移,解决序列推荐中的数据稀疏问题.首先,为获得用户行为序列中项目间复杂的时序依赖关系,提出时间感知图注意力(time-aware graph attention,Ta-GAT)学习项目的域间序列级表示;其次,通过域内用户-项目交互二部图挖掘用户的行为偏好,提出关系感知图注意力(relation-aware graph attention,Ra-GAT)学习项目协同表示和用户协同偏好表示,为用户偏好特征的跨域迁移提供基础;最后为同步提高2个领域中的推荐效果,提出用户偏好特征双向迁移模块(user preference feature bi-directional transfer module,PBT),实现迁移用户域间共有偏好,保留用户域内特有偏好.在Amazon Movie-Book和Food-Kitchen数据集上验证了算法的正确性和有效性.实验结果表明,在跨域序列推荐场景下考虑项目间深层复杂的关联关系对挖掘用户意图十分必要;实验还验证了在跨域迁移用户偏好过程中保留域内用户特有偏好对全面用户画像的重要性.

基于时间感知Transformer的交通流预测方法

作为智能交通系统的关键一环,交通流预测面临着长时预测不准的难题,其主要挑战在于交通流数据本身具有复杂的时空关联。近年来,Transformer的提出使得时序数据预测的研究取得了巨大进展,但将Transformer应用于交通流预测仍然存在以下两个问题:1)静态的注意力机制难以捕获交通流随时间动态变化的时空依赖关系;2)采用自回归的预测方式会引发严重的误差累积现象。针对以上问题,提出了一种基于时间感知Transformer的交通流预测模型。首先,设计了一种新的时间感知注意力机制,可以根据时间特征定制注意力计算方案,从而更精准地反映时空依赖关系;其次,在Transformer的训练阶段舍弃了Teacher Forcing机制,并采用非自回归的预测方式来避免误差累积问题;最后,在两个真实交通数据集上进行实验,实验结果表明,所提方法可以有效捕获交通流的时空依赖,相比最优的基线方法,长时预测性能提升了2.09%~4.01%。

融合时间感知与兴趣偏好的推荐模型研究

针对传统的推荐模型无法挖掘用户细粒度兴趣偏好的问题,提出了一种融合时间感知与兴趣偏好的推荐模型(TAIP)。在TAIP模型中,将用户交互的时间间隔信息作为辅助信息引入到序列嵌入矩阵中,并设计多尺度时序卷积网络与通道和空间注意力机制精准地提取细粒度短期偏好,同时采用Transformer编码器挖掘目标项目与用户兴趣之间的长期偏好,最后利用全连接网络实现全局特征融合提供推荐。在公开数据集MovieLens-1M和YELP上进行实验,实验结果表明TAIP模型在HR、NDCG和MRR评价指标上相较于其他模型至少提升了4.84%和1.38%,具有更佳的推荐性能,验证了TAIP模型的有效性。

基于注意力机制的深度学习频谱感知方法

深度学习具有出色的自动特征学习能力,比传统的机器学习方法具有更好的性能。注意力机制可以给予局部焦点更多的关注,而且还可以通过过滤掉无用的信息来降低计算复杂度。因此,具有注意力机制的深度学习可以有效实现自动特征学习,以及降低计算复杂度。本文针对认知无线电系统中主用户信号随机到达与离开时的频谱感知问题,提出了一种结合注意力机制的深度学习的感知方法。仿真结果表明,相比其它感知方法,所提出的频谱感知方法能够在主用户信号随机到达与离开的情况下有效工作及表现出优越的性能。

时间感知LSTM和多通道注意力的多兴趣序列推荐

现有的多兴趣序列推荐方法未充分考虑用户在不同时间段的动态偏好变化,导致推荐结果无法准确反映用户多种兴趣偏好.为了解决这个问题,提出了一种基于时间感知长短期记忆(LSTM)和多通道注意力机制的多兴趣序列推荐模型(TAMARec).模型构建了一个时间矩阵,根据时间矩阵通过LSTM对时间序列进行建模,以捕捉用户在不同时间段的兴趣变化;提出了多通道注意力机制,通过将查询(Query)、键(Key)和值(Value)的表示按照维度以及通道数进行拆分,每个通道可以独立地关注不同的特征子空间并更新用户信息.在3个真实世界的数据集上对该模型进行了广泛实验,实验结果表明评估指标平均提高了16.5%,证明了利用时间感知LSTM和多通道注意力机制可以有效捕获用户在不同时间段的多个兴趣.

融合用户兴趣度的基于自注意力的序列推荐模型

序列推荐试图利用用户的连续行为、用户偏好、物品流行度以及用户和项目之间的交互动作进行建模,传统的马尔科夫链(MC)、递归神经网络(RNN)和基于自注意力的模型已被大量应用于序列推荐,但它们只是将交互历史假设成有序序列,忽略各个交互之间的时间间隔,也不考虑序列中项目之间交互的可能性存在大小关系以及用户对项目的兴趣度可能随着时间推移而发生变化。文中对基于时间间隔感知自注意力的序列推荐模型TiSASRec进行优化,提出了考虑到用户对项目的兴趣度会发生变化的改进模型TiSeqRec,该模型基于TiSASRec,进一步捕获用户整体偏好和局部偏好,并使用一致性感知门控网络将两种偏好智能结合,预测下一项的内容。通过大量的实验验证了TiSeqRec模型在稀疏、密集数据集和不同的评价指标上都优于已有的最新的序列推荐模型。

地理位置和时间感知的表示学习框架

现有时空感知的表示学习框架无法对强时空语义的实际场景存在的“When”、“Where”和“What”3个问题给出一个统一的解决方案。同时,现有的时间和空间建模上的研究方案也存在着一定的缺陷,无法在复杂的实际场景中取得最优的性能。为了解决这些问题,本文提出了一个统一的用户表示框架—GTRL(geography and time aware representation learning),可以同时在时间和空间的维度上对用户的历史行为轨迹进行联合建模。在时间建模上,GTRL采用函数式的时间编码以及连续时间和上下文感知的图注意力网络,在动态的用户行为图上灵活地捕获高阶的结构化时序信息。在空间建模上,GTRL采用了层级化的地理编码和深度历史轨迹建模模块高效地刻画了用户的地理位置偏好。GTRL设计了统一的联合优化方案,同时在交互预测、交互时间预测以及交互位置3个任务上进行模型学习。最后,本文在公开数据集和工业数据集上设计了大量的实验,分别验证了GTRL相较学术界基线模型的优势,以及在实际业务场景中的有效性。

基于胶囊图卷积的解缠绕会话感知推荐方法

针对会话推荐模型中存在的推荐准确率不高的问题,提出了一种基于胶囊图卷积的解缠绕会话感知推荐方法(CGCD)。具体来说,采用解缠绕学习技术将项目嵌入转换为基于多个子通道的因子嵌入,利用图卷积网络对因子嵌入进行细粒度的学习。然后,利用胶囊动态融合策略聚合不同的因子获得新的项目嵌入。此外,采用多头注意力机制为会话中每个项目分配权重。最后,根据分配的权重将项目嵌入与当前会话中的其他项目进行聚合,进而生成准确的会话表示,实现项目推荐。在两个公开真实数据集上的实验表明,所提模型在推荐的Pre@10,Pre@20,MRR@10和MRR@20上平均提高了5.17%、2.99%、6.56%和2.94%,验证了其有效性与高效性。

基于IndRNN-Attention的用户意图分类

针对人机对话中的用户意图分类问题,提出了一种基于独立循环神经网络(independently recurrent neural network, IndRNN)和词级别注意力(word-level attention)融合的用户意图分类方法.通过构造一个多层独立循环神经网络模型实现对用户输入文本编码,有效解决了循环神经网络中容易出现的梯度消失和梯度爆炸问题;结合词级别注意力提高了领域相关词汇对用户输入文本编码的贡献度,有效提高了分类精度.实验结果表明:提出的方法在用户意图分类任务上的效果取得了显著的提升.

基于意图识别的空中群目标动态威胁评估

为解决传统威胁评估算法对态势要素随时间变化的忽略所导致的评估准确率下降的问题,本文提出基于意图识别的空中群目标动态威胁评估方法。本方法首先利用长短期记忆网络(Long Short-Term Memory,LSTM)进行意图预测,接着采用注意力机制(Attention)提升意图预测模型的特征学习能力,通过对输入的多维特征进行一定的加权处理,使得不同特征对结果的影响程度不一样,运用Softmax进行意图结果分类,再以级联的方式将意图预测的结果作为威胁评估的重要输入,并结合静态态势要素和当前时刻的动态态势要素利用多层感知机(MLP)进行威胁评估。通过仿真实验表明,对比传统威胁评估方法,基于意图识别的空中群目标动态威胁评估方法结果更准确。

基于时间感知注意力机制的混合编码网络方法

传统的混合编码网络在小样本数据训练情况下,捕捉用户意图与语义分析方面存在局限性,很难应用到新领域进行迁移训练。时间感知注意混合编码网络(time-aware attention hybrid code networks, TAA-HCN)通过构建时间感知的注意力机制和用户意图集成(user intent integration, UII)的门控机制建模用户意图与动作措施的关系,捕捉用户意图随时间动态变化,结合元学习的思想进行模型梯度自适应,以便模型快速收敛。TAA-HCN模型在WOZ数据集与BABI数据集上进行试验与分析,当目标域数据为总数据的5%时,F1与BLEU指标几乎全收敛,且准确率为69.3%,这表明了本研究的模型具有仅需很少的目标数据即可实现良好性能的能力。

基于时频感知神经网络的语音频带扩展

为了进一步提高基于深度学习的语音频带扩展性能,提出了一种基于编解码器的神经网络结构,编码器对数据进行深度特征提取,解码器进行宽带语音重构,并在编解码器中间设计了局部敏感哈希自注意力层,用于增强模型对深度特征的有效选择。编解码器内部使用了时间卷积网络,有效提升了模型对语音时序数据上下文依赖关系的学习能力。为了促进模型朝更加准确的方向训练,还提出了一种时频感知损失函数,有利于模型在时域、频域以及感知域获取窄带语音到宽带语音的最优映射解。通过主观和客观实验结果表明,该方法优于传统方法和近几年基于深度神经网络的语音频带扩展方法。