结合句法增强与图注意力网络的方面级情感分类

方面级情感分类旨在识别给定特定方面文本的情感极性,在本领域中,将图神经网络与句法依赖解析相结合是当下热门的研究方向之一,此类方法通过句法解析捕捉句子中词与词之间的关系,依此构建图结构,输入图神经网络中得到情感极性。若句法解析器出现解析错误,将会对以图为基础的图神经网络模型产生巨大影响。为了增强解析器生成的句法依赖树的解析结果,文中提出了一种句法增强图注意力网络,该网络通过融合多个解析器的解析结果,提高句法依赖解析精度,得到更精准的依赖关系句法图;在图注意力网络中使用密集连接机制捕获更丰富的特征,更适配于增强后的句法图,同时引入方面注意力机制捕获方面语义特征。实验结果验证了句法增强方法的有效性,在3个基准数据集上的分类准确度都有所提高,在方面级情感分析领域具有较好的表现。

融合知识图谱和图注意力网络的旅游推荐算法

为缓解旅游推荐模型面临的数据稀疏和冷启动的问题,提出一种融合知识图谱和图注意力网络的旅游推荐算法KRGAT(knowledge ripple graph attention network)。借助水波网络从用户的历史旅游行为和知识图谱中挖掘用户偏好增强用户特征表示,针对当前旅游项目特征学习的方法难以提取节点深层特征的问题,利用图注意力网络聚合相关度更高的邻居节点信息,增强旅游项目特征表示。实验在自建立的旅游数据集上与5个基线方法进行对比,其结果表明,KRGAT的精确率(P)、召回率(R)和AUC值分别提升了5.73%、4.42%和1.42%。

k阶采样和图注意力网络的知识图谱表示模型

知识图谱表示(KGE)旨在将知识图谱中的实体和关系映射到低维度向量空间而获得其向量表示。现有的KGE模型只考虑一阶近邻,这影响了知识图谱中推理和预测任务的准确性。为了解决这一问题,提出了一种基于k阶采样算法和图注意力网络的KGE模型。k阶采样算法通过聚集剪枝子图中的k阶邻域来获取中心实体的邻居特征。引入图注意力网络来学习中心实体邻居的注意力值,通过邻居特征加权和得到新的实体向量表示。利用ConvKB作为解码器来分析三元组的全局表示特征。在WN18RR、FB15k-237、NELL-995、Kinship数据集上的评价实验表明,该模型在链接预测任务上的性能明显优于最新的模型。此外,还讨论了阶数k和采样系数b的改变对模型命中率的影响。

融合图注意力网络和注意力因子分解机的服务推荐方法

为了解决服务推荐过程中的特征稀疏问题、提高服务的语义表示能力,进而提升推荐的准确性和有效性,提出基于图注意力网络(graph attention networks,GAT)研究服务推荐方法,引入服务的组合权重和组合的结构信息,综合利用多种服务特征,提高服务推荐质量。将GAT和注意力因子分解机(attention factorization machine,AFM)结合在一起,利用多头自注意力机制,学习每个节点在图邻域中的重要性;进行信息聚合,处理网络中的不同图结构,以适应服务动态变化的场景。实验结果显示,在数据平衡的情况下,提出的方法性能表现均好于对比方法;在数据不平衡的情况下,提出的方法大部分性能指标也表现良好,达到了提升服务推荐准确性和有效性的目标。

基于依存关系图注意力网络的SQL生成方法

研究基于自然语言问题的结构化查询语言(SQL)生成问题(Text-to-SQL).提出两阶段框架,旨在解耦模式链接和SQL生成过程,降低SQL生成的难度.第1阶段通过基于关系图注意力网络的模式链接器识别问题中提及的数据库表、列和值,利用问题的语法结构和数据库模式项之间的内部关系,指导模型学习问题与数据库的对齐关系.构建问题图时,针对Text-to-SQL任务的特点,在原始句法依存树的基础上,合并与模式链接无关的关系,添加并列结构中的从属词与句中其他成分间的依存关系,帮助模型捕获长距离依赖关系.第2阶段进行SQL生成,将对齐信息注入T5的编码器,对T5进行微调.在Spider、Spider-DK和Spider-Syn数据集上进行实验,实验结果显示,该方法具有良好的性能,尤其是对中等难度以上的Text-to-SQL问题具有良好的表现.

面向方面级情感分析的交互式关系图注意力网络

方面级情感分析领域主要采用基于注意力机制的神经网络模型,这类模型忽略了方面词与观点词之间的依存关系和方面词与上下文词之间的距离,导致该类模型情感分类结果不够精确。为了解决上述问题,建立一种交互式关系图注意力网络(RI-GAT)模型。首先,通过长短期记忆(LSTM)网络学习句子的语义特征;然后,将学习的语义特征结合句子的位置信息生成新的特征;最后,在新的特征中提取各方面词和观点词之间的依存关系,实现对句法依存信息和位置信息的高效利用。在Laptop、Restaurant和Twitter数据集上的实验结果表明,相较于次优的动态多通道图卷积网络(DM-GCN),RI-GAT模型分类准确率(Acc)提高了0.67、1.65和1.36个百分点,说明了RI-GAT模型可以更好地建立方面词和意见词之间的联系,使得情感分类更加精确。

基于图注意力网络的小样本知识图谱补全

提出了一种基于图注意力网络(graph attention network,GAT)的小样本知识图谱补全方法.该方法通过图注意力网络的注意力机制赋予邻居不同的权重,生成更强大的特征表示,通过匹配网络匹配查询集与参考集,选择相似性度量分数最高的候选实体作为补全后的尾实体.实验结果表明,图注意力网络模型对小样本知识图谱中缺失的链接能够进行有效的预测.

基于图注意力网络的城市内涝积水预测与研究

极端暴雨天气多发频发造成的城市内涝,严重威胁居民的人身财产安全,准确高效的内涝点积水面积预测在提高城市灾害应急处置能力中发挥着至关重要的作用。为了提高城市内涝点积水预测的准确性和直观性,提出一种基于GAT和LSTM网络的GATLSTM组合预测模型,通过GAT提取积水信息局部空间特征,并通过节点分配权重的方式加强对关键信息序列的记忆,随后采用LSTM提取积水面积序列的时间特征,对内涝点积水面积进行预测。以开封市区某内涝点的积水数据建立模型并评估验证,将GATLSTM模型和LSTM、GAT以及GCNLSTM模型进行对比,结果表明:GATLSTM模型的预测精度优于另外3种模型,能够准确地对内涝点积水面积进行预测,可以为防汛工作和应急响应措施的制定提供科学依据。

TRGATLog:基于日志时间图注意力网络的日志异常检测方法

为解决现有日志异常检测方法往往只关注定量关系模式或顺序模式的单一特征,忽略了日志时间结构关系和不同特征之间的相互联系,导致较高的异常漏检率和误报率问题,提出基于日志时间图注意力网络的日志异常检测方法。首先,通过设计日志语义和时间结构联合特征提取模块构建日志时间图,有效整合日志的时间结构关系和语义信息。然后,构造时间关系图注意力网络,利用图结构描述日志间的时间结构关系,自适应学习不同日志之间的重要性,进行异常检测。最后,使用三个公共数据集验证模型的有效性。大量实验结果表明,所提方法能够有效捕获日志时间结构关系,提高异常检测精度。

基于图注意力网络的风力发电机齿轮箱故障诊断

针对风力发电机齿轮箱故障振动信号的非平稳性、特征混叠和诊断正确率低等问题,提出一种基于图注意力网络(GAT)的风力发电机齿轮箱故障诊断方法。首先利用原始振动信号的频谱定义节点和边,将故障信号构造为可视图;然后将可视图数据作为输入,在GAT中嵌入邻居自注意力机制使其自适应提取可视图信号的节点特征和结构特征;最后使用分类器对提取的节点特征进行分类识别。通过行星齿轮箱数据集和风力发电机齿轮箱数据集的实验,结果表明与机器学习、深度学习以及其他图神经网络相比,所提方法准确率更高,鲁棒性和抗噪性更好,可有效实现端到端的智能故障诊断。

一种基于变分多跳图注意力编码器的深层协同真值发现

大数据时代,数据价值的释放经常需要融合多源数据,数据冲突成为这一过程中无法避免的关键问题。为了从冲突数据中筛选出真实声明以及可靠数据源,研究人员提出了真值发现方法。然而,现有的真值发现大多注重数据源与声明之间的直接协同信息,忽略了更深层的间接协同与对抗信息,导致不足以表达出数据源与声明的特征。针对此问题,提出了基于变分多跳图注意力编码器的真值发现方法(TD-VMGAE),基于数据源与声明之间的包含关系构建二分图网络,采用多跳图注意力层为每个节点表征汇聚间接协同信息以及对抗信息,并设计真值发现变分自编码器,抽取节点表征中所需的分类分布,对数据源和声明进行协同分类。实验结果表明,所提方法在3个不同尺度的数据集中均有不错的表现,消融实验和可视化也验证了所提方法的有效性和泛化能力。

考虑数据缺失的图注意力网络暂态稳定评估

基于人工智能的暂态稳定评估模型的性能高度依赖于系统的可观测性,而通信延迟和相量测量单元(phasor measurement units,PMU)故障等因素易导致数据缺失,使模型的评估性能下降。针对该问题,提出了一种基于图注意力网络(graph attention network,GAT)的暂态稳定评估模型。首先,根据原始网络拓扑及PMU配置方案获得表征系统可观测性的掩码矩阵,在任意PMU缺失的条件下,利用掩码矩阵训练模型;其次,通过GAT网络的多头注意力机制提取输入节点的时空信息,利用不同的权重聚合目标节点的邻域特征,实现对可观测数据的充分利用;最后,利用焦点损失函数加强模型对失稳样本的学习能力。仿真结果表明,所提方法可以最大限度地利用可观测数据,具有高精度和强鲁棒性,并且不受网络拓扑的限制,易于迁移。

集中式电力市场下基于谱聚类与图注意力网络的电力枢纽节点设计方法研究

电力枢纽节点是现货市场上可以进行统一交易的聚合节点,也是电力金融市场发展与稳定运行的基石,对构建统一电力市场体系、完善市场功能具有十分重要的意义。从一般属性、节点选择、权重设计、时间性的角度分析了枢纽节点的设计方式,并针对性地提出了基于谱聚类的枢纽区域划分方法与基于图注意力网络的权重计算方法。基于双尺度度量的谱聚类分区策略,其核心是建立以关键线路功率传输分布因子、多时段节点电价和节点邻接性为度量的双尺度耦合矩阵,优先保证枢纽区域的地理特性、区内的无阻塞特性和节点连通性。基于图注意力网络建立了定价节点聚合权重的分配模型,通过自注意力机制来对邻域节点进行聚合,实现不同时段节点电价下节点权重的自适应匹配。最后通过IEEE118节点算例对所提出的设计方法进行验证,通过横向对比,证明了所提方法的合理性与有效性,可为实际市场中枢纽节点设定提供理论支撑。

TMGAT:类型匹配约束的图注意力网络

近年来利用图结构来解决知识图补全(KGC)问题取得了不错的进展,其中图神经网络(GNNs)通过聚合实体的局部邻域信息来不断更新中心实体的表示,图注意力网络(GATs)使用注意力机制有侧重地聚合邻居,以获得更准确的中心实体表示。这些模型虽然在KGC中取得了不错的性能,但它们都忽略了中心实体的类型信息,仅仅使用邻域信息来计算注意力,将导致计算出来的注意力不够精准。针对这些问题,文中提出了一种类型匹配约束的图注意力网络(TMGAT),该方法通过计算中心实体类型对每个邻域关系的注意力,来得到实体类型-关系级别的注意力,以进一步计算出中心实体与各邻域关系的类型匹配度,再通过邻域关系及对应的邻居实体,结合类型匹配度计算实体-关系级别的注意力,得到邻域节点对中心实体的最终注意力。使用类型匹配度来约束传统的注意力机制,提升注意力机制的准确性,得到更加精准的中心实体嵌入,进而提升知识图补全的准确性。截至目前,文中提出的TMGAT是第一个在GATs中结合显式类型进行知识图补全任务的模型。文中加工了两个现有的数据集,使数据集中每个实体都拥有若干个类型,以验证TMGAT模型的性能。最后,实验部分展现了TMGAT在知识补全任务中优秀的竞争力,并研究了类型个数对模型性能的影响。

基于超像素分割的图注意力网络的高光谱图像分类

针对卷积神经网络(CNN)仅能应用于欧氏数据,无法有效获取像素间的全局关系特征以及长距离上下文信息的问题,构建一个基于超像素分割的图注意力网络SSGAT.该网络将超像素分割后的超像素块视为图结构中的图节点,有效减少了图结构的复杂度,并降低了分类图的噪声.在3个数据集上对SSGAT及对比算法的分类精度进行测试,分别获得了94.11%,95.22%,96.37%的总体分类精度.结果表明该方法性能优异,在处理大尺度区域的分类问题时优势明显.

基于轻量化图注意力机制的露天矿卡车调度优化算法

有效地管理和调度露天矿卡车,有助于大幅提升运输效率、降低矿山运营成本。现有研究聚焦于利用深度强化学习(Deep Reinforcement Learning,DRL)构建学习模型求解路径优化问题,然而,该模型针对Transformer架构的参数训练时,会产生大量参数冗余。为此,提出了一种轻量化图注意力机制的露天矿卡车调度优化算法。将微分方程数值解法——阿当姆斯(Adams)法用于Transformer模型的权重学习中,通过Adams的残差训练方法,可提高网络后期的优化精度,进一步压缩模型的规模,高效求解露天矿卡车调度优化问题。研究表明:该方法在降低最优间隙的同时将源模型的参数量压缩1/2,减少了对GPU设备的训练依赖。采用随机生成的露天矿卡数据集算例对该算法性能进行了验证,反映出采用Adams-Transformer模型有助于提升露天矿卡车调度效率。

基于边缘图注意力网络的轴承智能故障诊断

基于欧几里德空间的数据包含着节点和边的关系信息,比传统的欧几里得空间的数据具有更多信息。然而,传统的图卷积以及图注意力网路注重于节点信息的提取,对于边的信息利用不够充分。对此,通过结合可视图算法和边缘图注意力网络(EGAT),将基于非欧几里德空间的不规则数据应用到轴承故障诊断领域。诊断过程分为两步:利用可视图算法将原始信号转化为图数据;利用EGAT对故障特征进行学习,然后即可进行故障诊断。实验结果表明:图卷积网络在单一轴承故障分类任务上能够达到100%的准确率,表明所提出的方法对于轴承故障诊断具有明显的作用。

基于图注意力网络预测人类微生物与药物关联

目的采用图注意力网络(graph attention network,GAT)预测人类微生物与药物之间的潜在关联。方法选取三个常用的微生物-药物关联(microbe-drug associations,MDA)数据集(MDAD、aBiofilm和Drug Virus),基于数据集中丰富的生物信息构建一个异构网络,并提出一种基于GAT框架预测MDA的模型——GATMDA模型,用于预测微生物与药物间的关联。结果与现有的8种预测方法相比,GATMDA通过三种交叉验证方法在三个数据集上具有较好的预测效果。在5折交叉验证的性能评估中,在三个数据集上的受试者工作特征曲线下的面积(area under the curve,AUC)分别为0.9886、0.9941和0.9836,精确率-召回率曲线下的面积(area under the precision-recall curve,AUPR)分别为0.9667、0.9869和0.8795。通过病例研究进一步验证了GATMDA在预测MDA方面的有效性。结论基于GAT,GATMDA模型可以通过构建的异构网络对微生物-药物进行有效的关联预测。

基于BERT和图注意力网络的篇章级事件论元识别

事件论元识别是事件抽取的子任务之一,其目的在于识别文本中与事件相关的论元及论元对应的论元角色。研究表明,句子的依存句法关系有助于事件论元任务识别,然而,在构造篇章的依存句法关系时容易引入不相关的论元产生噪声问题,现有方法对噪声问题处理不佳。针对该问题,提出了一个基于BERT和图注意力网络的篇章级事件论元识别模型。该模型从两个角度去解决噪声问题,一方面,通过获取充分的篇章语义特征作为辅助,去构建更有效的篇章依存句法特征;另一方面,采用图注意力网络对不同的论元节点分配不同的权重,从而去除掉无效的论元。在RAMS语料库上的实验结果表明,该方法有效解决了篇章依存句法关系中存在的噪声问题,取得了较好的篇章级事件论元识别结果。

基于图注意力LSTM深度学习的季度GDP预测应用

GDP预测一直以来都是宏观经济领域的重要研究议题。同时,融合深度学习算法并实时监测GDP的动态变化已是宏观经济指标预测的必然趋势。基于此,本文考虑到宏观经济变量的多源非线性时空特征,提出了一种新的GAT LSTM融合深度学习模型并对季度GDP进行预测。该模型采用图注意力网络(GAT)捕捉空间拓扑结构信息,并运用长短期记忆神经网络(LSTM)提取时间序列信息,以提高模型预测效果。结果表明:与其他基准模型相比,本文所提出的GAT LSTM模型在回归拟合度(R^(2))上平均提升了0.5929、均方误差(MSE)上平均下降了0.6617,具有良好的泛化能力和鲁棒性。该模型在GDP预测领域具有较好的应用前景,以帮助投资者、企业和国家作出科学决策,提高经济效益。