一种用于多域对话状态追踪的知识增强与自注意力引导的图神经网络

对话状态追踪是对话系统的重要组成部分,旨在从用户与系统的对话中跟踪用户意图,其通常表示为槽位-槽值对序列.近年来,深度神经网络模型在对话状态追踪问题上取得了较大进展.然而,现有模型在槽位相关性建模方面还存在可拓展性差与易引入噪声等问题.针对上述问题,本文提出了一种知识增强与自注意力引导的图神经网络KESA-GNN(Knowledge-Enhanced&Self-Attention Guided Graph Neural Network).首先,KESA-GNN通过外部知识嵌入增强槽的语义表征提升多头自注意力机制对槽位间相关性的辨别能力.其次,为了精确建模槽位间的诸如共指、共现等相关性,提出了一种自注意力引导的图神经网络建模槽位相关性.该网络采用多头注意力机制获得槽位间的注意力矩阵以及槽位表征,通过Max-N Relation算法获得注意力矩阵中强相关关系集,将稠密的注意力矩阵稀疏化,从而引导图神经网络中强相关槽位间的信息传播,降低无关槽位的噪声影响.最后,KESA-GNN采用门控融合机制过滤槽位多头注意力和图神经网络输出的槽位表征,从而获取更准确的槽位表征向量,进一步提升了KESA-GNN的鲁棒性.在多域对话数据集上的实验结果表明,KESA-GNN模型的性能优于最新的基线模型.

混合图神经网络和门控循环网络的短期光伏功率预测

为了能从大量历史光伏发电数据中提取出有效的时序特征以及在非欧几里得域中的关联,建立了基于混合图神经网络以及门控循环网络的短期光伏功率预测模型。该模型首先通过最邻近分类算法生成气象及出力数据的最邻近图,再将其结合图神经网络作为编码器对气象及出力数据进行编码形成时间序列,最后通过门控循环网络以及全连接层解码输出光伏功率预测结果。通过仿真分析验证,该模型具有更优的特征挖掘能力和分析性能,能更好地突出某时间节点的气象及出力数据特征,适应天气突变带来特征变化,从而提升光伏预测整体模型的表达能力。

基于事件演化图的多标记事件预测模型

多标记事件预测是指预测多个相关联的事件是否会在未来发生,相比传统单标记事件预测,需要同时预测多个目标事件。现有的事件预测研究忽略各领域存在的多标记事件情境,且对多标记事件预测研究较少。提出一种基于事件演化图的多标记事件预测模型(MLEP),以实现基于事件演化图(EEG)的多标记事件预测研究模式。首先基于事件链构建事件演化图;然后对多标记事件预测问题进行问题转换,将多标记问题转化为单标记问题,利用事件表示学习方法获取所有事件的向量表示,对多标记事件进行编码;最后采用门控图神经网络(GGNN)框架构建多标记事件预测模型,根据相似度匹配出最优的后续事件,实现多标记事件的预测。在真实数据集上的实验结果表明,MLEP模型可以有效地预测出多标记事件,预测准确率达到了65.58%,性能优于大多现有的基准模型,提升幅度达到了4.94%以上。通过消融实验也证明了更好的事件表示学习方法对事件具有较好的表示效果,提升多标记事件预测的性能。

融合时序门控图神经网络的兴趣点推荐方法

现有的大多数兴趣点(point of interest,POI)推荐系统由于忽略了用户签到序列中的顺序行为模式,以及用户的个性化偏好对于POI推荐的影响,导致POI推荐系统性能较低,推荐结果不可靠,进而影响用户体验。为了解决上述问题,提出一种融合时序门控图神经网络的兴趣点推荐方法。运用时序门控图神经网络(temporal gated graph neural network,TGGNN)学习POI embedding;采用注意力机制捕获用户的长期偏好;通过注意力机制融合用户的最新偏好和实时偏好,进而捕获用户的短期偏好。通过自适应的方式结合用户的长期和短期偏好,计算候选POI的推荐得分,并根据得分为用户进行POI推荐。实验结果表明,与现有方法相比,该方法在召回率和平均倒数排名这两项指标上均有较为明显的提升,因此可以取得很好的推荐效果,具有良好的应用前景。

基于GRU的密集连接时空图注意力网络的城市交通预测

城市道路拓扑结构的复杂性、交通流量的实时变化以及多元的外部环境等因素给交通预测带来了极大的困难。现有方法对交通路网的时空特征挖掘性不足,缺乏对外部因素的考虑,为此本文提出了一种基于门控循环单元(GRU)的时空图注意力密集连接网络,通过门控循环单元来捕获路网数据的动态规律,并以图注意力密集连接网络来提取路网复杂的空间结构特征,建立城市交通网络对时空的依赖关系。针对外部客观因素,采用独热编码的方式对城市各路段发生的交通事件进行数据建模,增强交通网络的信息属性。以杭州申花路及周围共309个路段为例,对所提出模型的预测能力和可行性进行验证。实验结果表明,模型预测精度最高达到了81.64%,与传统数学模型和主流的神经网络模型对比,预测精度较ARIMA提高了35.42%,较图注意力网络(GAT)和GRU神经网络分别提高了17.45%和3.02%。实验证明该方法可以适应复杂的交通流进行长期的交通预测任务,同时也能增强交通管理能力,减少交通拥堵成本。

时空图卷积网络的骨架识别硬件加速器设计

随着人工智能技术的不断发展,神经网络的数据规模逐渐扩大,神经网络的计算量也迅速攀升。为了减少时空图卷积神经网络的计算量,降低硬件实现的资源消耗,提升人体骨架识别时空图卷积神经网络(ST-GCN)实际应用系统的处理速度,利用现场可编程门阵列(FPGA),设计开发了一个基于时空图卷积神经网络的骨架识别硬件加速器。通过对原网络模型进行结构优化与数据量化,减少了FPGA实现约75%的计算量;利用邻接矩阵稀疏性的特点,提出了一种稀疏性矩阵乘加运算的优化方法,减少了约60%的乘法器资源消耗。经过对人体骨架识别实验验证,结果表明,在时钟频率100 MHz下,相较于CPU,FPGA加速ST-GCN单元,加速比达到30.53;FPGA加速人体骨架识别,加速比达到6.86。

融合社交关系和时序特征的图神经网络推荐模型

为解决推荐模型中的用户信息缺失和用户动态偏好问题,满足用户个性化需求,提出一种融合社交关系和时序特征的图神经网络推荐模型。该模型先构建社交关系图,并通过注意力机制得到基于社交关系的用户潜在特征;再构建用户-项目交互图,利用门控循环单元和注意力机制捕获交互信息,分别获得用户的时序特征和项目特征;最后将用户潜在特征与时序特征融合得到新的用户特征,并将其与项目特征进行融合,经过多层感知机得到最终推荐结果。在不同数据集上进行实验,结果表明,该模型能更好地处理用户信息缺失和用户动态偏好问题,进而提升推荐性能。相较于经典的图神经网络推荐模型,该模型的精确率和归一化折损累计增益比分别提高了4.0%和4.1%。

基于多模态融合的图神经网络推荐算法

已有的图神经网络(GNN)推荐算法大多利用用户-项目交互图的节点编号信息进行训练,学习用户-项目节点的高阶联系去丰富节点表示,但忽略了用户对不同模态信息的偏好,没有利用项目的图片、文本等模态信息,或对于不同模态特征的融合简单相加,不能区分用户对不同模态信息的偏好。针对上述问题,提出多模态融合的GNN推荐模型。首先针对单个模态,结合用户-项目交互二部图构建单模态图网络,在单模态图中学习用户对此模态信息的偏好;然后利用GAT聚合邻居信息,丰富本节点表示,同时根据门控循环单元决定是否聚合邻居信息,达到去噪效果;最后将各个模态图学习到的用户、项目表示通过注意力机制融合得到最终表示并送入预测模块。在MovieLens-20M、H&M两个数据集上的实验结果表明:多模态信息、注意力融合机制能有效提升推荐的准确度,算法模型在Precision@K、Recall@K和NDCG@K 3个指标上相较于基线最优算法均有显著提升;当评估指标K值选取10时,Precision@10、Recall@10和NDCG@10在两个数据集上分别提升了4.67%、2.42%、2.03%和2.49%、5.24%、2.05%。

基于动态图注意力的风电场组合预测模型

为了实现风电场用能管理的高效调度,充分提取多站点间时空特征的潜在联系,提出一种基于动态图卷积和图注意力的多站点短期风电功率时空组合预测模型。使用图卷积实现多站点间时序特征的邻居聚合,并使用图注意力机制加强其对空间特征的提取能力。同时,针对传统模型无法处理图节点关联性实时变化的问题,先在图卷积过程中依据站点间的相关系数和距离动态构建邻接矩阵,再使用门控循环单元处理动态图卷积输出的上下文信息,最后完成风电功率预测。实验结果表明,所提出的组合模型在预测精度、稳定性和多步预测性能方面均最优。

针对电力系统数据缺失的暂态电压稳定评估方法

针对数据缺失时暂态电压稳定评估模型精度下降的问题,提出一种基于多视图缺失数据填充和门控图神经网络的电力系统暂态电压稳定评估方法。首先,基于多视图互补的时空视图来填充缺失数据,得到完整的数据集;然后,采用修复完整的数据集训练门控图神经网络模型进行暂态电压稳定评估,评估模型要进行快速更新,以提高在线应用的性能;最后,在IEEE39节点系统算例上进行验证所提方法的有效性。仿真结果表明,本文方法可以在任何同步向量测量单元放置信息丢失和网络拓扑变化的情况下及时有效地填补缺失数据,且所用评估模型的评估性能具有显著优势。

基于门控图游走网络的推荐多样性研究

近年来,纯粹追求准确性的推荐算法已不再符合用户日益增长的多元化需求.因为该类算法将所有用户同等对待,导致推荐结果趋于单一化.从推荐系统的多样性角度出发,提出由两路图游走网络和门控网络组成的门控图游走网络.图游走网络在原有邻域上扩展一类新邻域,聚合两类邻域的信息,从而生成偏向准确性或多样性的推荐结果.门控网络对两个不同偏好推荐结果进行选择,得到最终推荐结果.不同于其他推荐多样性算法,门控图游走网络的推荐结果准确性-多样性比例可由超参数λ调整,而不是完全由算法决定.3个真实数据集的实验结果验证了门控图游走网络在多样化整体协作推荐方面的有效性.

基于两阶段动态兴趣识别的购买行为预测模型

在线购买预测旨在预测用户的购买行为,为购物网站带来可观的商业价值。针对传统模型学习用户历史行为中隐含的兴趣偏好不准确的问题,提出基于两阶段动态兴趣识别的购买行为预测模型,以预测用户购买商品的概率。首先,模型的第一阶段构建用户-商品的点击频率图,并利用轻量图卷积网络(LightGCN)学习图的上下文特征作为用户的静态兴趣表征;其次,第二阶段采用带有注意力机制的双向门控递归单元(Bi-GRU)探索用户偏好的转化过程;最后,针对潜在的高维特征,建立一个融合动态兴趣和隐含特征的购买预测模型。在2个真实电子商务数据集上的实验结果表明,所提模型与图卷积网络(GCN)模型相比,准确率至少提升0.3个百分点,F1分数至少提升了2.05个百分点。

一种用于答案选择的知识增强图卷积网络

答案选择是问答领域的一个重要子任务,目标是根据问题从候选答案集合中选择最合适的答案.该任务的核心是问答语义匹配.近年来,随着深度神经网络和预训练语言模型的应用,许多端对端的问答匹配模型展现出优异的性能.但是,现有模型仍然存在语义信息提取不充分以及未有效利用外部知识信息等问题.针对上述问题,本文提出一种知识增强图卷积网络(A Knowledge-enhanced Graph Convolutional Network,KEGCN).首先,KEGCN提出一种基于图卷积神经网络的问题-答案结构信息提取机制,在利用BERT获得文本语义信息的基础上,KEGCN通过图卷积神经网络学习问答对之间的结构信息,增强语义信息.其次,KEGCN设计了一种基于自注意力门控网络的扩展知识语义构建机制,利用自注意力门控网络获取扩展知识实体之间的上下文语义关联并过滤知识噪声,增强模型的鲁棒性.最后,KEGCN利用多尺寸卷积神经网络提取多粒度的全局语义信息,以进一步提高答案选择推理的准确性.WikiQA和TrecQA数据集上的实验结果表明,与对比模型相比较,KEGCN的综合性能更加优异.

融合全局信息的多图神经网络会话推荐

基于会话的推荐旨在根据当前会话预测下一个最可能交互的物品.由于单个会话点击序列较短,仅使用会话本身的信息很难提供准确的推荐.因此,综合考虑其它会话之间的交互信息已成为一种趋势,为了提高推荐性能,本文提出一种融合全局信息的多图神经网络会话推荐模型(GIMGNN)来增强会话推荐的效果.该模型首先通过超图卷积神经网络和门控图神经网络从全局会话超图和局部会话图中学习两个级别的物品表示,然后通过注意力机制将反向位置信息融合到两种表示中,最后利用融合后的表示完成预测.在两个真实数据集Yoochoose和Diginetica上进行了一系列实验,实验结果表明,对比性能最优的基准模型,GIMGNN模型在Yoochoose上P@20和MRR@20至少提升了2.42%和4.01%,在Diginetica上P@20和MRR@20至少提升了6.56%和9.11%,验证了模型的有效性.

基于图卷积神经网络的大规模软件定义网络流量预测模型

为了提高大规模软件定义网络流量预测的准确率,研究基于图卷积神经网络的大规模软件定义网络流量预测模型。构建包含图卷积神经网络(Graph Convolution Neural Network,GCN)层、门控递归单元(Gating Recursive Unit,GRU)层及自注意力机制层的流量预测模型。通过GCN层与GRU层分别重构与更新网络流量的空间与时间特征;将两种特征共同输入自注意力机制层,经整合与加权平均运算后,获得网络流量预测值输出,实现大规模软件定义网络流量预测。实验结果显示,该模型可精准预测大规模软件定义网络流量,降低所应用网络的通信丢包率与通信延时,实现高质量高时效的网络数据传输,保障大规模软件定义网络的智能流量通信。

基于船舶运动行为与时序图神经网络的轨迹预测研究

随着我国“海洋强国”战略的提出,航运业飞速发展;海上交通量迅猛增长,碰撞事故频发,同时积累了丰富的船舶航行数据,亟需在此数据基础上,对船舶的航行位置进行长时序的预测,加强对海域的整体交通状况的认知,降低船舶碰撞事故率;为此在实验中首先对AIS数据进行预处理,剔除其中的易于去除的异常点,提出基于船舶航行特征的动态轨迹去纠缠方法去除纠缠点;其次,依据船舶航行特征提出顾及行为语义约束的时空轨迹密度自适应聚类方法对船舶运动模式进行挖掘,得到船舶典型运动行为模式;最后,针对船舶轨迹以及船舶运动模式,提出一种基于运动模式的时序图神经网络轨迹预测模型,对轨迹进行长时序预测,选取粤港澳大湾区作为实验海域,经对比实验验证,该模型在长时序预测上效果优于传统模型。

基于图神经网络的多层信息交互融合算法用于会话推荐

针对当前会话推荐中存在对于当前会话的项目转换信息挖掘不充分且极少利用其他会话信息的问题,提出一种基于图神经网络的多层信息交互融合算法用于会话推荐。基于当前会话,首先,对节点之间的连接关系设计不同的权重聚合邻域节点的信息,并挖掘当前会话中项目转换的显性信息;其次,通过基于堆叠的残差图注意力网络聚合邻域节点信息,挖掘当前会话中项目转换的隐性信息;最后,通过单门控图神经网络挖掘基于时间戳的会话中存在的序列依赖信息。基于其他会话,通过节点的一阶邻居将整个会话集联系起来,学习全局信息编码,进而融合4个层次的嵌入表示以获得更全面的项目转换信息,同时使用软注意力机制和反向位置嵌入信息对获得的项目转换信息进行更有效的融合。实验结果表明,在Diginetica数据集上,所提模型的精度P@20和平均倒数排名MRR@20较次优模型GCE-GNN(Global Context Enhanced Graph Neural Network)分别提升了0.79%和0.84%;在Tmall数据集上,所提模型的P@20和MRR@20较次优模型HyperS2Rec分别提升了8.23%和7.86%;在Nowplaying数据集上,所提模型的P@20和MRR@20较次优模型HyperS2Rec分别提升了1.33%和7.16%。

融合主题模型的图神经网络对话情感识别

对话情感识别(ERC)旨在预测对话中语句的情感类别。目前,基于图神经网络的ERC方法主要采用固定的超参数来确定图中边的连接,缺乏针对不同数据进行自适应构边的策略,且忽略了语句间的主题关系。此外,在图神经网络的训练过程中,这些方法通常采用求和叠加的方式来聚合节点信息,限制了模型的非线性能力。为此,本文将主题模型与图神经网络相融合,提出了一种新的构边方法。首先利用主题模型获取对话中语句的主题分布,然后将具有相同主题的语句相互连接。同时,引入了SwiGLU门控单元,用于调控图神经网络中层与层之间的信息流动。在边的类型方面,考虑了人物信息的差异,以更好地捕捉情感变化的内因和外因。通过在4个公开数据集(IEMOCAP、MELD、EmoryNLP、DailyDialogue)上进行的广泛实验,与当前先进的ERC方法相比,本文的方法在前3个数据集上的F1分数分别提升了1.69%,0.27%和0.38%。此外,本文的自适应方法在长对话上的效果提升了2.11%,优于短对话的0.8%,同时,通过引入SwiGLU有效减缓了图神经网络中的过度平滑现象。综合结果表明,本文提出的融合主题模型进行自适应构边以及引入SwiGLU门控单元的图神经网络方法,能够有效提高对话情感识别的效果,增强模型的鲁棒性。

基于门控双层异构图注意力网络的半监督短文本分类

针对现有的基于异构图神经网络的短文本分类方法未充分利用节点之间的有效信息,以及存在的过拟合问题,文中提出基于门控双层异构图注意力网络的半监督短文本分类方法(Semi-Supervised Short Text Classification with Gated Double-Layer Heterogeneous Graph Attention Network,GDHG).GDHG包含节点注意力机制和门控异构图注意力网络两层.首先,使用节点注意力机制,训练不同类型的节点注意力系数,再将系数输入门控异构图注意力网络,训练得到门控双层注意力.然后,将门控双层注意力与节点的不同状态相乘,得到聚合的节点特征.最后,使用softmax函数对文本进行分类.GDHG利用节点注意力机制和门控异构图注意力网络的信息遗忘机制对节点信息进行聚集,得到有效的相邻节点信息,进而挖掘不同邻居节点的隐藏信息,提高聚合远程节点信息的能力.在Twitter、MR、Snippets、AGNews四个短文本数据集上的实验验证GDHG性能较优.

图神经网络会话推荐系统综述

会话推荐立足于目标用户的当前会话,根据项目类别、跨会话的上下文信息、多种用户行为等辅助信息学习项目间的依赖关系,从而捕捉用户的长短期偏好进行个性化推荐。近年来,流行的深度学习系列方法已经成为会话型推荐系统这个研究热点的前沿方法,尤其是图神经网络的引入,使会话推荐系统的性能得到了进一步提升。鉴于此,该综述从问题定义与会话推荐因素出发,从构图方面进行分析;将相关工作分为基于图卷积网络、门控图神经网络、图注意力网络和其他图神经网络架构的会话推荐系统,并进行归纳与对比;对各工作实验部分中的损失函数类别、所选用的数据集和模型性能评估指标三方面进行深入分析。重点从算法原理和性能分析两方面对各模型框架进行评估和梳理,旨在对近五年基于图神经网络的会话推荐系统相关工作进行评述、总结与展望。