双路注意力引导图卷积网络的关系抽取

为了更好地学习节点依赖并利用结构信息,本文提出一种以完全依赖树作为直接输入的新方法,利用图卷积网络并结合两个并行的注意力模块,自主学习如何有选择地关注对关系抽取任务有用的信息.该方法将样本表示成图上的各节点,一个模块用于计算节点特征位置之间的影响,使特征向量可以包含更广范围的语义信息,另一个用于计算节点依赖的关系特征,以增强节点间的全局依赖.两个模块并行相互提升,可以得到完整的特征表示.在TACRED和SemEval数据集上的实验结果表明,该方法能够更有效地获取对关系抽取任务有益的信息,在各评价指标上取得了更好的性能.

基于注意力引导图卷积网络的中英机器翻译模型

现如今,神经网络在基于句序列的机器翻译模型已占据主流地位。但在中英文互译中,仅对单语句进行翻译不仅仅丢失语义信息,还破坏繁杂的逻辑构造,并不符合当代机器翻译需求。鉴于此,提出一种新型基于注意力引导图卷积网络的机器翻译优化模型,可通过多头注意力机制和图卷积神经网络结构的结合保留词元素特征及段落层次结构信息。为了验证基于注意力引导图卷积网络模型是否优于其他传统算法,在WMT21数据集上进行实验,结果表明各指标均达到理想效果。

基于交替注意力机制和图卷积网络的方面级情感分析模型

方面级情感分析旨在预测给定文本中特定目标的情感极性。针对忽略方面词和上下文之间的句法关系和平均池化带来的注意力差异性变小的问题,提出一种基于交替注意力(AA)机制和图卷积网络(GCN)的方面级情感分析模型(AA-GCN)。首先,利用双向长短期记忆(Bi-LSTM)网络对上下文和方面词进行语义建模;其次,通过基于句法依存树的GCN学习位置信息和依赖关系,再利用AA机制进行多层次交互学习,自适应地调整对目标词的关注度;最后,拼接修正后的方面特征和上下文特征,得到最终的分类依据。相较于基于目标依赖的图注意力网络(TDGAT),所提模型在4个公开数据集上准确率提升了1.13%~2.67%,在5个公开数据集上F1值提升了0.98%~4.89%,验证了利用句法关系和提升关键词关注度的有效性。

联合异质图卷积网络和注意力机制的假新闻检测

社交媒体平台的开放性和包容性为人们提供了自由的表达方式,但也引发了新的社会问题,假新闻在社交平台层出不穷,会引起公众恐慌,侵害人们的精神健康,这使得假新闻检测尤为必要.现有的假新闻检测方法大多侧重于从文本内容、用户和传播模式中挖掘有效信息,但是这些方法没有充分利用文本内容的全局语义关系.为了有效融合新闻内容的全局语义信息和新闻传播的全局结构关系,本文提出一种基于元路径的推文-词-用户异质图卷积注意力框架HGCAN,根据元路径将构建的推文-词-用户异质图分解为两个子图,通过图卷积网络提取传播结构特征,利用注意力机制聚合邻居节点的信息并学习子图重要性,从而有效学习节点的特征表示.在两个公开数据集上的实验结果表明,相比于其他方法,本文方法在准确率和F1指标上都取得了较为先进的结果.

基于图卷积网络和有效自注意力的3D腹部器官图像分割方法

3D医学图像分割是实现医学影像诊断、手术规划和治疗跟踪的前提与基础。腹部器官在影像上轮廓复杂、界限相对模糊,针对以上问题,提出了一种基于图卷积和有效自注意力的3D腹部器官分割网络。首先,在编码器端加入有效自注意力模块,有效地学习空间通道特征表示。其次,采用动态图卷积捕获腹部器官间的动态拓扑信息,同时有效突出腹部器官的特征。最后,在编码器端加入跳跃连接,融合不同分辨率的特征信息。实验结果表明,该方法在Amos22数据集上取得了较好的分割结果。

基于注意力机制和用户属性的图卷积网络推荐模型

为进一步提高图卷积网络(GCN)的推荐精度和模型的收敛速度,提出了基于注意力机制和用户属性的GCN推荐模型。该模型通过轻量级GCN学习用户和项目的高阶关联信息;然后,利用注意力机制对不同邻域特征嵌入加权求和得到用户、项目潜在特征向量,利用多层感知机提取的用户属性特征向量融合到用户潜在特征向量中;最后,用户、项目潜在特征向量的内积作为预测结果进行推荐。通过在Movielens-1M数据集上实验验证,结果表明:该模型的推荐效果均优于基线模型。

基于深层图卷积网络与注意力的漏洞检测方法

针对现有基于图神经网络的漏洞挖掘方法中缺乏上下文环境信息而导致图结构特征不全面,以及过平滑问题使模型无法学习图结构高阶特征导致预测性能不佳的问题,提出一种基于深层图卷积网络与图注意力的漏洞检测方法 PSG-GCNIIAT。在程序依赖关系图基础上,PSG融合顺序关系图,令代码行语句具备感知其上下文信息能力,通过抽象语法树来生成代码行的嵌入向量,实现图节点深层结构特征提取;GCNIIAT采用深层图卷积网络GCNII,结合图注意力机制,更有效地识别程序切片的图结构特征与漏洞关联。实验结果表明,PSG-GCNIIAT漏洞检测方法比VulDeePecker、GCN、GGNN在准确率和F值指标上具有明显优势,能够显著提升程序漏洞检测的性能。

分段时间注意力时空图卷积网络的动作识别

得益于图卷积网络(GCN)对于处理非欧几里得数据有着非常好的效果,同时人体的骨骼点数据相对于RGB视频数据具有更好的环境适应性和动作表达能力.因此,基于骨骼点的人体动作识别方法得到了越来越多的关注和研究.将人体骨骼建模为时空图形的数据进行基于GCN模型的动作识别取得了显著的性能提升,但是现有的基于GCN的动作识别模型往往无法捕获动作视频流中的细节特征.针对此问题,本文提出了一种基于分段时间注意力时空图卷积骨骼点动作识别方法.通过将数据的时间帧进行分段处理,提取注意力,来提高模型对细节特征的提取能力.同时引入协调注意力模块,将位置信息嵌入注意力图中,这种方法增强了模型的泛化能力.在NTU-RGBD数据集和Kinetics-Skeleton数据集上的大量实验表明,本文所提模型可以获得比目前多数文献更高的动作识别精度,有更好的识别效果.

结合LSTM和自注意力机制的图卷积网络短期电力负荷预测

针对现有电力负荷预测模型建模工作量大、时空联合表征不足、预测精度低等问题,提出了一种结合长短期记忆(LSTM)网络和自注意力机制的图卷积网络(GCN)的短期电力负荷预测模型GCNLS-STLF。首先,利用LSTM和自注意力机制将原始多维时间序列数据转化为包含序列间关联关系的电力负荷图;然后,通过GCN、LSTM和图傅里叶变换(GFT)对电力负荷图进行特征提取;最后,使用全连接层对特征进行重构,并利用残差进行多次预测,以增强原始电力负荷数据的表达能力。在摩洛哥与巴拿马某电站的真实历史电力负荷数据上进行的短期电力负荷预测实验结果显示,与支持向量机(SVM)、LSTM、混合模型CNN-LSTM和基于注意力的CNN-LSTM(CNN-LSTM-attention)等预测模型相比,GCNLS-STLF在摩洛哥全部电力负荷测试集上的平均绝对百分比误差(MAPE)分别降低1.94、0.90、0.49和0.37个百分点;在巴拿马电力负荷测试集上的3月份MAPE分别降低1.39、0.94、0.38和0.29个百分点,6月份MAPE分别降低1.40、0.99、0.35和0.28个百分点。实验结果表明,GCNLS-STLF能有效提取电力负荷的关键特征,预测效果较好。

融合文本图卷积神经网络与注意力机制的唐诗情感分析

针对目前唐诗情感分析任务的语义提取不充分、数据集不完善的问题,构建了一个全新的唐诗情感分类数据集且进一步细化了情感极性,提出了一种融合文本图卷积神经网络与注意力机制(text-graph convolutional neural networks with attention mechanism,AM-Text-GCN)的情感分类模型。模型首先结合双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)和注意力机制捕捉唐诗中的上下文信息和诗句间的语义特征,然后利用融入依存句法分析的2层文本图卷积神经网络在图卷积操作中聚合唐诗全局特征,最终输出唐诗的情感极性。结果表明,所提出模型的S F1值达了79.83%,相较于文本图神经网络的S F1值提高了5.46%,有效地提高了唐诗情感分析的准确性。该研究对于探索诗词情感在历史变迁中的作用具有重要意义和广泛的应用前景。

基于归纳学习图卷积和自注意力池化的图分类网络

针对图神经网络在大规模图上的分类表现不佳,无法快速形成未知节点和边的嵌入,并且容易丢失图重要特征等问题。提出一种基于归纳学习和自注意力池化相结合的图分类网络模型,一方面采用改进聚合函数后的归纳式学习方法对图的节点特征形成快速地嵌入,另一方面采用自注意力池化方法保留图的重要特征,最终采用适于提取大规模图信息的层次化结构框架进行下游图分类任务。实验结果表明,该网络模型在相同的公共数据集下,对比其他图分类模型有2%~10%左右精度的提高。

基于图卷积和注意力神经网络的旅行商问题新解法

旅行商问题是一个经典的组合优化问题。为快速求解旅行商问题,设计了由图嵌入网络、图卷积神经网络、注意力神经网络和多层感知机组合而成的深度学习模型的学习分支规则,通过改进传统的分支定界算法提高算法性能。对15个城市的旅行商问题实例进行监督训练,并在SCIP求解器上分别测试10,15,20,25和30个城市的旅行商问题实例。发现:基于学习分支规则的分支定界算法的求解时间比基于传统分支规则的分支定界算法的求解时间分别快-0.0022 s,0.0178 s,1.7643 s,2.3074 s和2.0538 s。因此,基于图神经网络的分支变量选择对传统分支规则的改进是有效的,可以较好地泛化到训练规模更大的旅行商问题实例中。

基于图卷积和双线性注意力网络的药物靶标亲和力预测

药物靶标亲和力预测在药物研发中扮演着重要的角色。针对现有预测方法大多忽略药物分子的二维结构信息、缺乏深层表征融合学习的问题,提出了基于图卷积和双线性注意力网络的药物靶标亲和力预测模型(GBN_DTA)。该模型首先基于多层图卷积神经网络编码药物分子图,同时结合1D-CNN和双向长短期记忆网络(BiLSTM)编码靶标序列;然后使用双线性注意力网络融合编码后的药物和靶标特征,最终获得亲和力预测分数。实验结果表明,该模型在DAVIS和KIBA数据集上的性能均优于其他6种主流方法,有效提升了预测准确率。

融合图注意力和知识图卷积网络的双端邻居推荐算法

针对现有的基于知识图谱的推荐算法往往侧重于物品端邻居信息,而忽视用户端兴趣特征问题,提出一种融合图注意力和知识图卷积网络的双端邻居推荐算法。首先,在用户端,以用户的历史兴趣作为种子,在知识图中迭代传播偏好,融合图注意力形成用户潜在兴趣向量;其次,在物品端,结合图卷积网络在知识图遍历路径中聚合重要邻域信息,获得物品偏好聚合向量;同时在损失函数中融入标签平滑正则化项;最后使用内积运算得到用户对物品的喜好预测。通过在公开数据集下的实验结果表明,文章算法与其他基准算法相比,在CTR(Click Through Rate)和Top-K(对模型给出的前K个预测结果进行性能评估)推荐场景下的评估指标AUC(Area Under Curve)、F_(1)(F_(1)-score)、recall(召回率)均有所提高。文章该算法具有较好的推荐性能和可解释性。

MGSGCN:基于多图结构和注意力机制的图卷积网络预测lncRNA-疾病关联

研究表明长非编码RNA (long non-coding RNA, lncRNA)在许多生物的生命活动中发挥着重要作用。识别潜在的lncRNA-疾病关联(lncRNA-disease associations, LDAs)有助于研究疾病的发病机制,及时地诊断、预防和治疗疾病。本文提出了一种基于多图结构和注意力机制的图卷积网络模型预测LDAs,简称MGSGCN。该模型综合了疾病语义相似性、lncRNA功能相似性、疾病与lncRNA高斯相互作用谱核相似性和余弦相似性,构建了疾病和lncRNA的特征向量。基于图卷积网络(graph conventional network, GCN)和图注意力网络(graph attention network, GAT),使用了提取封闭子图和交互信息传播的多图结构策略来训练和预测LDAs。MGSGCN在Dataset1和Dataset2上的五折交叉验证(five-fold cross validation, 5-CV)的准确率分别为94.55%和87.44%。将MGSGCN与其它四个前人研究的计算模型进行比较,评价指标结果凸显了MGSGCN具有良好的分类性能。此外,对与子宫颈癌相关的lncRNA进行了案例分析。发现MGSGCN预测出了未被实验证实的LDAs,这说明该模型具有预测新的LDAs的能力。

基于双重注意力时空图卷积网络的行人轨迹预测

当前行人轨迹预测研究面临两大挑战:1)如何有效提取行人前后帧之间的时空相关性;2)如何避免在轨迹采样过程中受到采样偏差的影响而导致性能下降.针对以上问题,提出基于双重注意力时空图卷积网络与目的抽样网络的行人轨迹预测模型.利用时间注意力捕获行人前后帧的关联性,利用空间注意力获取周围行人之间的相关性,通过时空图卷积进一步提取行人之间的时空相关性.引入可学习的抽样网络解决随机抽样导致的分布不均匀的问题.大量实验表明,在ETH和UCY数据集上,新方法的精度与当前最先进的方法相当,且模型参数量减少1.65×10^(4),推理时间缩短0.147 s;在SDD数据集上精度虽略有下降,但模型参数量减少了3.46×10^(4),展现出良好的性能平衡,能为行人轨迹预测提供新的有效途径.

一种适用于轴承故障诊断半监督学习分类的多层图卷积注意力融合网络

图卷积网络的平滑运行会导致其无法通过深度网络堆叠捕获深层信息,为了解决这个问题,提出了一种适用于滚动轴承故障诊断半监督学习分类的多层图卷积注意力融合网络(MGCAN)。首先,采用频域构图法将数据转换为图模型,捕获了数据的内在结构信息,将构建好的图数据输入网络,逐层提取特征信息,从浅层到深层逐步加深对数据特征的理解;然后,对每一层图卷积信息进行了有序拼接,同时引入了图注意力机制,使网络能够自动关注对分类任务比较重要的信息,从而提高了网络的性能和鲁棒性;最终,通过迭代学习,网络能够不断优化模型参数,对故障信息进行了准确识别;对不同工作条件下的滚动轴承进行了多次实验,并将该方法与传统的基于深度学习的方法进行了分析比较。研究结果表明:即使在标记数据只有10%的前提下,采用该网络依旧能够达到88%以上的识别准确度,并且适用于匀速和变速等不同的工况。上述结果证明,在选择适当方法保留多层图卷积中的有用信息后,深度图卷积网络可以成为诊断滚动轴承故障的一大利器。

基于自注意力机制和平均池化下图卷积网络的商品新闻事件抽取

商品新闻事件抽取是对新闻非结构化语句进行归纳和表达,以提取出该语句所包含的事件以及相关信息,能够为供货需求预测、价格预测、问答系统等提供基础。现有研究工作普遍存在候选触发词与实体向量关联性利用不强以及参数角色提取准确率不够的问题,因此本文在已有研究工作的基础上,提出了一种基于自注意力机制和平均池化图卷积网络及依赖解析树的提取模型(SAT-GCN-DPT)。该模型主要分为3个模块,ComBERT预训练模块、self-attention机制下的触发分类模块、利用平均池化图卷积和依赖解析树的参数角色分类模块。模型利用self-attention机制对输入数据进行操作增强候选触发词与实体向量之间关联性,同时对图卷积结果使用平均池化函数进行信息聚合来更大程度地还原事件之间关联性和提高分类准确率。实验结果表明,在CON数据集上,本文提出的模型在触发分类以及参数角色分类的准确度以及F 1值均有了提高。

时空注意力图卷积神经网络水下节点时钟同步算法

时钟同步是水下无线传感器网络工作的核心机制.实时、准确的节点移动速度是构建高精度时钟同步算法的重要保障,针对同步过程由于节点移动速度难以估算导致同步精度低和能耗高等问题,提出一种基于注意力机制和图卷积神经网络相结合的时钟同步算法.首先,利用深海拉格朗日洋流模型模拟节点的运动轨迹,由洋流模型粗略估计出节点的速度;对节点速度、水下环境信息集和时间占比进行融合处理,来作为图神经网络输入特征;其次使用注意力机制结合输入特征构建时空注意力权重矩阵,并根据特征数据自适应地调整权重矩阵;再联合图卷积神经网络捕捉节点速度之间、位移之间的空间性特征;在此基础上再堆叠标准卷积层进一步合并相邻时间的节点信息以获取时间相关性,然后构造节点移动模型进而实时有效地预测出节点移动速度,最后快速计算出节点动态的传播时延完成时钟同步.实验结果表明,本文算法在精度上分别比TSHL算法、D-sync算法、K-sync算法提升了26%、20%和11%,在能耗上也优于现有的时钟同步算法.

用于谣言检测的图卷积时空注意力融合与图重构方法

互联网的快速发展给人们带来了便利的社交,同时也为谣言的产生和传播创造了条件。谣言的传播速度之快、影响之恶劣引起了广泛的关注。为了及时识别出谣言以采取截断措施,谣言检测变得尤为重要。然而,在复杂的社交网络中,谣言传播状态动态变化、传播过程中干扰信息的存在,以及传播的不确定性等均为谣言检测带来了困难。为了解决上述问题,提出了一种用于谣言检测的图卷积时空注意力融合与图重构方法(STAFRGCN)。该方法对所有待检测言论进行两次检测以降低误判概率,首先使用一种时间渐进卷积模块(TPC)在时间维度上整合待测言论传播状态信息;然后分别在时间和空间两个方面使用注意力提取其主要传播特征信息并融合,对融合结果进行第一次谣言检测;随后基于LSTM预测和图重构方法调整待测言论传播总图结构,将其与第一次检测结果结合进行第二次检测。实验结果表明,STAFRGCN在Twitter15,Twitter16和Weibo数据集上的检测准确率分别为92.2%,91.8%和96.5%,与SOTA模型(KAGN)相比,准确率在3个数据集上分别提升了3.0%,1.5%和1.4%。