一种适用于轴承故障诊断半监督学习分类的多层图卷积注意力融合网络

图卷积网络的平滑运行会导致其无法通过深度网络堆叠捕获深层信息,为了解决这个问题,提出了一种适用于滚动轴承故障诊断半监督学习分类的多层图卷积注意力融合网络(MGCAN)。首先,采用频域构图法将数据转换为图模型,捕获了数据的内在结构信息,将构建好的图数据输入网络,逐层提取特征信息,从浅层到深层逐步加深对数据特征的理解;然后,对每一层图卷积信息进行了有序拼接,同时引入了图注意力机制,使网络能够自动关注对分类任务比较重要的信息,从而提高了网络的性能和鲁棒性;最终,通过迭代学习,网络能够不断优化模型参数,对故障信息进行了准确识别;对不同工作条件下的滚动轴承进行了多次实验,并将该方法与传统的基于深度学习的方法进行了分析比较。研究结果表明:即使在标记数据只有10%的前提下,采用该网络依旧能够达到88%以上的识别准确度,并且适用于匀速和变速等不同的工况。上述结果证明,在选择适当方法保留多层图卷积中的有用信息后,深度图卷积网络可以成为诊断滚动轴承故障的一大利器。

基于深层图卷积网络与注意力的漏洞检测方法

针对现有基于图神经网络的漏洞挖掘方法中缺乏上下文环境信息而导致图结构特征不全面,以及过平滑问题使模型无法学习图结构高阶特征导致预测性能不佳的问题,提出一种基于深层图卷积网络与图注意力的漏洞检测方法 PSG-GCNIIAT。在程序依赖关系图基础上,PSG融合顺序关系图,令代码行语句具备感知其上下文信息能力,通过抽象语法树来生成代码行的嵌入向量,实现图节点深层结构特征提取;GCNIIAT采用深层图卷积网络GCNII,结合图注意力机制,更有效地识别程序切片的图结构特征与漏洞关联。实验结果表明,PSG-GCNIIAT漏洞检测方法比VulDeePecker、GCN、GGNN在准确率和F值指标上具有明显优势,能够显著提升程序漏洞检测的性能。

融合文本图卷积神经网络与注意力机制的唐诗情感分析

针对目前唐诗情感分析任务的语义提取不充分、数据集不完善的问题,构建了一个全新的唐诗情感分类数据集且进一步细化了情感极性,提出了一种融合文本图卷积神经网络与注意力机制(text-graph convolutional neural networks with attention mechanism,AM-Text-GCN)的情感分类模型。模型首先结合双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)和注意力机制捕捉唐诗中的上下文信息和诗句间的语义特征,然后利用融入依存句法分析的2层文本图卷积神经网络在图卷积操作中聚合唐诗全局特征,最终输出唐诗的情感极性。结果表明,所提出模型的S F1值达了79.83%,相较于文本图神经网络的S F1值提高了5.46%,有效地提高了唐诗情感分析的准确性。该研究对于探索诗词情感在历史变迁中的作用具有重要意义和广泛的应用前景。

融合图注意力和知识图卷积网络的双端邻居推荐算法

针对现有的基于知识图谱的推荐算法往往侧重于物品端邻居信息,而忽视用户端兴趣特征问题,提出一种融合图注意力和知识图卷积网络的双端邻居推荐算法。首先,在用户端,以用户的历史兴趣作为种子,在知识图中迭代传播偏好,融合图注意力形成用户潜在兴趣向量;其次,在物品端,结合图卷积网络在知识图遍历路径中聚合重要邻域信息,获得物品偏好聚合向量;同时在损失函数中融入标签平滑正则化项;最后使用内积运算得到用户对物品的喜好预测。通过在公开数据集下的实验结果表明,文章算法与其他基准算法相比,在CTR(Click Through Rate)和Top-K(对模型给出的前K个预测结果进行性能评估)推荐场景下的评估指标AUC(Area Under Curve)、F_(1)(F_(1)-score)、recall(召回率)均有所提高。文章该算法具有较好的推荐性能和可解释性。

基于交替注意力机制和图卷积网络的方面级情感分析模型

方面级情感分析旨在预测给定文本中特定目标的情感极性。针对忽略方面词和上下文之间的句法关系和平均池化带来的注意力差异性变小的问题,提出一种基于交替注意力(AA)机制和图卷积网络(GCN)的方面级情感分析模型(AA-GCN)。首先,利用双向长短期记忆(Bi-LSTM)网络对上下文和方面词进行语义建模;其次,通过基于句法依存树的GCN学习位置信息和依赖关系,再利用AA机制进行多层次交互学习,自适应地调整对目标词的关注度;最后,拼接修正后的方面特征和上下文特征,得到最终的分类依据。相较于基于目标依赖的图注意力网络(TDGAT),所提模型在4个公开数据集上准确率提升了1.13%~2.67%,在5个公开数据集上F1值提升了0.98%~4.89%,验证了利用句法关系和提升关键词关注度的有效性。

联合异质图卷积网络和注意力机制的假新闻检测

社交媒体平台的开放性和包容性为人们提供了自由的表达方式,但也引发了新的社会问题,假新闻在社交平台层出不穷,会引起公众恐慌,侵害人们的精神健康,这使得假新闻检测尤为必要.现有的假新闻检测方法大多侧重于从文本内容、用户和传播模式中挖掘有效信息,但是这些方法没有充分利用文本内容的全局语义关系.为了有效融合新闻内容的全局语义信息和新闻传播的全局结构关系,本文提出一种基于元路径的推文-词-用户异质图卷积注意力框架HGCAN,根据元路径将构建的推文-词-用户异质图分解为两个子图,通过图卷积网络提取传播结构特征,利用注意力机制聚合邻居节点的信息并学习子图重要性,从而有效学习节点的特征表示.在两个公开数据集上的实验结果表明,相比于其他方法,本文方法在准确率和F1指标上都取得了较为先进的结果.

基于图卷积网络和有效自注意力的3D腹部器官图像分割方法

3D医学图像分割是实现医学影像诊断、手术规划和治疗跟踪的前提与基础。腹部器官在影像上轮廓复杂、界限相对模糊,针对以上问题,提出了一种基于图卷积和有效自注意力的3D腹部器官分割网络。首先,在编码器端加入有效自注意力模块,有效地学习空间通道特征表示。其次,采用动态图卷积捕获腹部器官间的动态拓扑信息,同时有效突出腹部器官的特征。最后,在编码器端加入跳跃连接,融合不同分辨率的特征信息。实验结果表明,该方法在Amos22数据集上取得了较好的分割结果。

融合自注意力和图卷积的多视图群组推荐

为了解决大多数现有的群组推荐仅仅从群组和用户的单一交互中学习群组表示,以及固定融合策略难以动态调整权重的问题。提出了一种融合自注意力和图卷积的多视图群组推荐模型(MVGR),设计了成员级、项目级和组级三个不同的视图,来捕捉群组、用户和项目三者之间的高阶交互信息,缓解数据稀疏问题,增强群组表示建模过程;对于项目级视图,利用基于二分图的图卷积神经网络来学习群组偏好向量以及项目嵌入;进一步提出了自适应融合组件来动态调整不同视图权重,得到最终的群组偏好向量。在两个真实数据集上的实验结果表明,与基线模型相比,MVGR模型的命中率(HR)和归一化折损累计增益(NDCG)在Mafengwo数据集上平均提高了8.89个百分点和1.56个百分点,在CAMRa2011数据集上平均提高了2.79个百分点和2.7个百分点。

基于注意力机制和用户属性的图卷积网络推荐模型

为进一步提高图卷积网络(GCN)的推荐精度和模型的收敛速度,提出了基于注意力机制和用户属性的GCN推荐模型。该模型通过轻量级GCN学习用户和项目的高阶关联信息;然后,利用注意力机制对不同邻域特征嵌入加权求和得到用户、项目潜在特征向量,利用多层感知机提取的用户属性特征向量融合到用户潜在特征向量中;最后,用户、项目潜在特征向量的内积作为预测结果进行推荐。通过在Movielens-1M数据集上实验验证,结果表明:该模型的推荐效果均优于基线模型。

结合LSTM和自注意力机制的图卷积网络短期电力负荷预测

针对现有电力负荷预测模型建模工作量大、时空联合表征不足、预测精度低等问题,提出了一种结合长短期记忆(LSTM)网络和自注意力机制的图卷积网络(GCN)的短期电力负荷预测模型GCNLS-STLF。首先,利用LSTM和自注意力机制将原始多维时间序列数据转化为包含序列间关联关系的电力负荷图;然后,通过GCN、LSTM和图傅里叶变换(GFT)对电力负荷图进行特征提取;最后,使用全连接层对特征进行重构,并利用残差进行多次预测,以增强原始电力负荷数据的表达能力。在摩洛哥与巴拿马某电站的真实历史电力负荷数据上进行的短期电力负荷预测实验结果显示,与支持向量机(SVM)、LSTM、混合模型CNN-LSTM和基于注意力的CNN-LSTM(CNN-LSTM-attention)等预测模型相比,GCNLS-STLF在摩洛哥全部电力负荷测试集上的平均绝对百分比误差(MAPE)分别降低1.94、0.90、0.49和0.37个百分点;在巴拿马电力负荷测试集上的3月份MAPE分别降低1.39、0.94、0.38和0.29个百分点,6月份MAPE分别降低1.40、0.99、0.35和0.28个百分点。实验结果表明,GCNLS-STLF能有效提取电力负荷的关键特征,预测效果较好。

融合注意力的滤波器组双视图图卷积运动想象脑电分类

在运动想象任务中,传统卷积神经网络难以准确表达大脑多区域协同神经活动;图卷积网络(GCN)能够在图数据中考虑节点(脑区)间的连接和关系,适于表示不同脑区的协同任务,为此提出融合注意力的滤波器组双视图GCN(AFB-DVGCN).由滤波器组构建双分支网络,提取不同频段的时域和空域信息;采用双视图图卷积空间特征提取方法实现信息互补;利用有效通道注意力机制增强特征和捕捉不同特征图的交互信息,以提高分类准确率.在公开数据集BCI Competition Ⅳ-2a和OpenBMI上的验证结果表明,AFB-DVGCN的分类性能良好,其分类准确率显著高于对比网络的分类准确率.

分段时间注意力时空图卷积网络的动作识别

得益于图卷积网络(GCN)对于处理非欧几里得数据有着非常好的效果,同时人体的骨骼点数据相对于RGB视频数据具有更好的环境适应性和动作表达能力.因此,基于骨骼点的人体动作识别方法得到了越来越多的关注和研究.将人体骨骼建模为时空图形的数据进行基于GCN模型的动作识别取得了显著的性能提升,但是现有的基于GCN的动作识别模型往往无法捕获动作视频流中的细节特征.针对此问题,本文提出了一种基于分段时间注意力时空图卷积骨骼点动作识别方法.通过将数据的时间帧进行分段处理,提取注意力,来提高模型对细节特征的提取能力.同时引入协调注意力模块,将位置信息嵌入注意力图中,这种方法增强了模型的泛化能力.在NTU-RGBD数据集和Kinetics-Skeleton数据集上的大量实验表明,本文所提模型可以获得比目前多数文献更高的动作识别精度,有更好的识别效果.

基于图卷积和双线性注意力网络的药物靶标亲和力预测

药物靶标亲和力预测在药物研发中扮演着重要的角色。针对现有预测方法大多忽略药物分子的二维结构信息、缺乏深层表征融合学习的问题,提出了基于图卷积和双线性注意力网络的药物靶标亲和力预测模型(GBN_DTA)。该模型首先基于多层图卷积神经网络编码药物分子图,同时结合1D-CNN和双向长短期记忆网络(BiLSTM)编码靶标序列;然后使用双线性注意力网络融合编码后的药物和靶标特征,最终获得亲和力预测分数。实验结果表明,该模型在DAVIS和KIBA数据集上的性能均优于其他6种主流方法,有效提升了预测准确率。

基于图卷积和注意力神经网络的旅行商问题新解法

旅行商问题是一个经典的组合优化问题。为快速求解旅行商问题,设计了由图嵌入网络、图卷积神经网络、注意力神经网络和多层感知机组合而成的深度学习模型的学习分支规则,通过改进传统的分支定界算法提高算法性能。对15个城市的旅行商问题实例进行监督训练,并在SCIP求解器上分别测试10,15,20,25和30个城市的旅行商问题实例。发现:基于学习分支规则的分支定界算法的求解时间比基于传统分支规则的分支定界算法的求解时间分别快-0.0022 s,0.0178 s,1.7643 s,2.3074 s和2.0538 s。因此,基于图神经网络的分支变量选择对传统分支规则的改进是有效的,可以较好地泛化到训练规模更大的旅行商问题实例中。

MGSGCN:基于多图结构和注意力机制的图卷积网络预测lncRNA-疾病关联

研究表明长非编码RNA (long non-coding RNA, lncRNA)在许多生物的生命活动中发挥着重要作用。识别潜在的lncRNA-疾病关联(lncRNA-disease associations, LDAs)有助于研究疾病的发病机制,及时地诊断、预防和治疗疾病。本文提出了一种基于多图结构和注意力机制的图卷积网络模型预测LDAs,简称MGSGCN。该模型综合了疾病语义相似性、lncRNA功能相似性、疾病与lncRNA高斯相互作用谱核相似性和余弦相似性,构建了疾病和lncRNA的特征向量。基于图卷积网络(graph conventional network, GCN)和图注意力网络(graph attention network, GAT),使用了提取封闭子图和交互信息传播的多图结构策略来训练和预测LDAs。MGSGCN在Dataset1和Dataset2上的五折交叉验证(five-fold cross validation, 5-CV)的准确率分别为94.55%和87.44%。将MGSGCN与其它四个前人研究的计算模型进行比较,评价指标结果凸显了MGSGCN具有良好的分类性能。此外,对与子宫颈癌相关的lncRNA进行了案例分析。发现MGSGCN预测出了未被实验证实的LDAs,这说明该模型具有预测新的LDAs的能力。

基于自注意力机制与图卷积的3D目标检测网络

针对三维(3D)目标检测过程中对骑行者、行人等小目标检测的准确性较低,难以适应城市复杂路况的问题,提出一种基于自注意力机制与图卷积的3D目标检测网络。首先,为获取更具有判别性的小目标特征,在主干网络中引入自注意力机制,使网络对小目标特征更敏感,增强网络特征的提取能力;其次,在自注意力机制的基础上构建特征融合模块,进一步丰富浅层网络特征,增强深层网络的特征表达能力;最后,引用动态图卷积预测目标的边界框,提高目标预测的准确性。在KITTI数据集上进行实验,将所提网络与TANet(Triple Attention Network)、IA-SSD(Instance-Aware Single-Stage Detector)等8种主流网络对比。实验结果表明,所提网络对行人的检测精度在简单、中等和困难这3个难度下比行人检测精度次优的TANet提高了12.12、13.82和11.03个百分点,对骑行者的检测精度在中等和困难上比IA-SSD提高了3.06和5.34个百分点。综上所述,所提网络可以更好地应用于小目标检测任务。

基于自注意力机制和平均池化下图卷积网络的商品新闻事件抽取

商品新闻事件抽取是对新闻非结构化语句进行归纳和表达,以提取出该语句所包含的事件以及相关信息,能够为供货需求预测、价格预测、问答系统等提供基础。现有研究工作普遍存在候选触发词与实体向量关联性利用不强以及参数角色提取准确率不够的问题,因此本文在已有研究工作的基础上,提出了一种基于自注意力机制和平均池化图卷积网络及依赖解析树的提取模型(SAT-GCN-DPT)。该模型主要分为3个模块,ComBERT预训练模块、self-attention机制下的触发分类模块、利用平均池化图卷积和依赖解析树的参数角色分类模块。模型利用self-attention机制对输入数据进行操作增强候选触发词与实体向量之间关联性,同时对图卷积结果使用平均池化函数进行信息聚合来更大程度地还原事件之间关联性和提高分类准确率。实验结果表明,在CON数据集上,本文提出的模型在触发分类以及参数角色分类的准确度以及F 1值均有了提高。

融合注意力机制的通道拓扑细化改进的图卷积网络

针对目前骨架动作识别网络数据处理的处理方式、不同动作肢体的动态表述以及时间特征提取的不足,本文提出AA-SGN网络模型,将原始的关键点特征转换成骨骼特征,将动态的非拓扑网络,改进为动态拓扑细化的图卷积网络,在充分利用语义信息的基础上,在时间尺度上融合注意力机制,关联空间和时间信息,使网络充分利用骨骼位置信息和时间流的运动信息,在NTU60 RGB+D的CS和CV设定上提高了1%和0.4%,在NTU120 RGB+D的CSub和CSet分别提高了5.7%和4.6%,证明本文提出的AA-GCN能有效识别骨架动作。

时空注意力图卷积神经网络水下节点时钟同步算法

时钟同步是水下无线传感器网络工作的核心机制.实时、准确的节点移动速度是构建高精度时钟同步算法的重要保障,针对同步过程由于节点移动速度难以估算导致同步精度低和能耗高等问题,提出一种基于注意力机制和图卷积神经网络相结合的时钟同步算法.首先,利用深海拉格朗日洋流模型模拟节点的运动轨迹,由洋流模型粗略估计出节点的速度;对节点速度、水下环境信息集和时间占比进行融合处理,来作为图神经网络输入特征;其次使用注意力机制结合输入特征构建时空注意力权重矩阵,并根据特征数据自适应地调整权重矩阵;再联合图卷积神经网络捕捉节点速度之间、位移之间的空间性特征;在此基础上再堆叠标准卷积层进一步合并相邻时间的节点信息以获取时间相关性,然后构造节点移动模型进而实时有效地预测出节点移动速度,最后快速计算出节点动态的传播时延完成时钟同步.实验结果表明,本文算法在精度上分别比TSHL算法、D-sync算法、K-sync算法提升了26%、20%和11%,在能耗上也优于现有的时钟同步算法.

融合超图注意力机制与图卷积网络的信息扩散预测

针对传统的信息预测缺乏对用户全局性依赖挖掘进行研究,提出了一种融合超图注意力机制与图卷积网络的信息扩散预测模型(HGACN)。首先构建用户社交关系子图,采样获得子级联序列,输入图卷积神经网络学习用户社交关系结构特征;其次,综合考虑用户间和级联间的全局依赖,采用超图注意机制(HGAT)学习用户不同时间间隔的交互特征;最后,将学习到的用户表示捕获到嵌入模块,利用门控机制将其融合获得更具表现力的用户表示,利用带掩码的多头注意力机制进行信息预测。在Twitter等五个数据集上的实验结果表明,提出的HGACN模型在hits@N提高了4.4%,map@N提高了2.2%,都显著优于已有的MS-HGAT等扩散预测模型,证明HGACN模型是合理、有效的。这对谣言监测以及恶意账户的检测有非常重大的意义。