使用方面引导图注意网络的方面级情感分类模型

方面级情感分类的任务是判断给定方面的情感极性,图注意网络是处理句法信息的有效手段,然而传统图注意神经网络在通过中间节点聚合与方面间接相邻的信息时,并不直接考虑该节点与方面的相关性,这将导致不相关信息过多传递到最终表示,影响分类效果.本文提出了使用方面引导图注意网络的方面级情感分类模型,首先使用多头自注意编码学习文本句内表示,然后使用方面引导图注意网络对情感信息进行聚合,同时使用了语义注意力模块突出浅层网络中可能被遮蔽注意力遗漏的情感信息,结合生成最终表示进行分类预测.本文通过公开数据集上的实验证明本文模型具有更好的效果,进而通过实验验证了方面引导图注意网络相比传统图注意网络在方面级情感分类中具有更优的性能以及其它组件的有效性.

基于图注意网络与深度确定性策略梯度的三相主动配电网供电恢复方法

配电服务恢复作为一种基本韧性范式,提供了一种优化协调的韧性解决方案,通过极端事件后配电网的供电恢复实现韧性提升。该文根据三相不平衡配电系统的网络特点,利用图注意网络对Actor-Critic架构的深度强化学习进行改造,通过增加网络拓扑特征提高其对不平衡配电系统的学习能力,提出一种基于图深度强化学习的三相不平衡主动配电网供电恢复新方法。该方法将配电网的动态供电恢复问题设计为一种新颖的马尔科夫决策过程,在此过程中不断产生样本数据并根据所提出的图深度强化学习算法对智能体进行训练,通过优化协调多个微电网以实现配电网动态供电恢复,其性能在IEEE37节点和IEEE123节点配电系统中得到了验证。

基于特征融合图注意网络的高速公路交通流预测

基于交通网络的实际时空拓扑,提出一种特征融合图注意网络(FF-GAT)模型融合节点获取的多种交通状态信息,预测高速公路交通流。首先,分析节点的车速、交通流和占有率之间的关联特征,并基于多变量时间注意力机制,将车速、交通流和占有率之间的关系融入注意力机制,从而捕捉交通流的不同时间之间的动态时间相关性;其次,将节点划分为不同的邻域集,并通过特征融合图注意网络(GAT)捕获交通流的不同邻域之间的空间相关性;同时,通过特征交叉网络充分挖掘多个异构数据之间的耦合相关性,为预测目标序列提供有效的信息补充。在两个公开交通流数据集上的实验结果表明:在PeMSD8数据集上,与ASTGCN(Attention based Spatial-Temporal Graph Convolutional Network)模型相比,FF-GAT模型的均方根误差(RMSE)降低了3.4%;与GCN-GAN(Graph Convolutional Network and Generative Adversarial Network)模型相比,FF-GAT模型的RMSE降低了3.1%。可见,FF-GAT模型能够通过特征融合有效提高预测精度。

融合依存分析和图注意网络的三元组抽取

传统的三元组抽取采用流水线方式分阶段进行命名实体识别和关系抽取,导致实体识别的精度直接影响关系抽取的效果,造成句子上下文信息缺失,以及实体关系重叠问题等。为此,提出了结合依存分析、图注意力网络和对抗训练的三元组联合抽取模型,该模型将句子输入到BiLSTM层提取单词特征,利用可学习的线性单元进行特征强化,同时将句子输入到句法分析层生成的约束矩阵;将强化后的单词特征与依存约束矩阵输入到图注意力网络提取句子序列特征和单词的局部依赖特征,共同计算图注意力系数;再使用Sigmoid层预测出句子中的实体和实体关系;在词嵌入层加入对抗训练改善模型鲁棒性。实验采用公共数据集NYT验证了模型抽取三元组的准确率,同时召回率也显著提升,与现有的流水线和联合方法相比,改善了误差累积、关系重叠问题。

基于知识图注意网络的个性化推荐算法

现有的大多数利用知识图谱的推荐算法在探索用户的潜在偏好时没有有效解决知识图谱中存在的不相关实体的问题,导致推荐结果准确率不高。针对这一问题,提出了基于知识图谱和图注意网络的推荐算法KG-GAT(knowledge graph and graph attention network)。该算法将知识图谱作为辅助信息,在图注意网络中使用分层注意力机制嵌入与实体相关的近邻实体的信息来重新定义实体的嵌入,得到更有效的用户和项目的潜在表示,生成更精确的top-N推荐列表,并带来了可解释性。最后利用两个公开数据集将所提算法和其他算法进行实验对比,得出所提算法KG-GAT能够有效解决沿着知识图谱中的关系探索用户的潜在偏好时存在的不相关实体的问题。

结合句法增强与图注意力网络的方面级情感分类

方面级情感分类旨在识别给定特定方面文本的情感极性,在本领域中,将图神经网络与句法依赖解析相结合是当下热门的研究方向之一,此类方法通过句法解析捕捉句子中词与词之间的关系,依此构建图结构,输入图神经网络中得到情感极性。若句法解析器出现解析错误,将会对以图为基础的图神经网络模型产生巨大影响。为了增强解析器生成的句法依赖树的解析结果,文中提出了一种句法增强图注意力网络,该网络通过融合多个解析器的解析结果,提高句法依赖解析精度,得到更精准的依赖关系句法图;在图注意力网络中使用密集连接机制捕获更丰富的特征,更适配于增强后的句法图,同时引入方面注意力机制捕获方面语义特征。实验结果验证了句法增强方法的有效性,在3个基准数据集上的分类准确度都有所提高,在方面级情感分析领域具有较好的表现。

融合知识图谱和图注意力网络的旅游推荐算法

为缓解旅游推荐模型面临的数据稀疏和冷启动的问题,提出一种融合知识图谱和图注意力网络的旅游推荐算法KRGAT(knowledge ripple graph attention network)。借助水波网络从用户的历史旅游行为和知识图谱中挖掘用户偏好增强用户特征表示,针对当前旅游项目特征学习的方法难以提取节点深层特征的问题,利用图注意力网络聚合相关度更高的邻居节点信息,增强旅游项目特征表示。实验在自建立的旅游数据集上与5个基线方法进行对比,其结果表明,KRGAT的精确率(P)、召回率(R)和AUC值分别提升了5.73%、4.42%和1.42%。

基于语篇解析和图注意力网络的对话情绪识别

对话情绪识别研究主要聚焦于融合对话上下文和说话者建模的相互关系。当前研究通常忽略对话内部存在的依存关系,导致对话的上下文联系不够紧密,说话者之间的关系也缺乏逻辑。因此,提出了一种基于语篇解析和图注意力网络(discourse parsing and graph attention network,DPGAT)的对话情绪识别模型,将对话内部的依存关系融入语境建模过程中,使语境信息更具有依赖性和全局性。首先,通过语篇解析获取对话内部的话语依存关系,构建语篇依存关系图和说话者关系图。随后,通过多头注意力机制将不同类型的说话者关系图进行内部融合。此外,在图注意力网络的基础上,结合依存关系进行循环学习,以达到上下文信息和说话人信息的有效融合,实现对话语境信息的外部融合。最终,通过分析内、外部融合的结果还原完整对话语境,并对说话者的情绪进行分析。通过在英文数据集MELD、EmoryNLP、DailyDialog和中文数据集M3ED上进行评估验证,F1分数分别为66.23%、40.03%、59.28%、52.77%,与主流的模型相比,所提模型具有较好的适用性,可在不同的语言场景中使用。

k阶采样和图注意力网络的知识图谱表示模型

知识图谱表示(KGE)旨在将知识图谱中的实体和关系映射到低维度向量空间而获得其向量表示。现有的KGE模型只考虑一阶近邻,这影响了知识图谱中推理和预测任务的准确性。为了解决这一问题,提出了一种基于k阶采样算法和图注意力网络的KGE模型。k阶采样算法通过聚集剪枝子图中的k阶邻域来获取中心实体的邻居特征。引入图注意力网络来学习中心实体邻居的注意力值,通过邻居特征加权和得到新的实体向量表示。利用ConvKB作为解码器来分析三元组的全局表示特征。在WN18RR、FB15k-237、NELL-995、Kinship数据集上的评价实验表明,该模型在链接预测任务上的性能明显优于最新的模型。此外,还讨论了阶数k和采样系数b的改变对模型命中率的影响。

融合图注意力网络和注意力因子分解机的服务推荐方法

为了解决服务推荐过程中的特征稀疏问题、提高服务的语义表示能力,进而提升推荐的准确性和有效性,提出基于图注意力网络(graph attention networks,GAT)研究服务推荐方法,引入服务的组合权重和组合的结构信息,综合利用多种服务特征,提高服务推荐质量。将GAT和注意力因子分解机(attention factorization machine,AFM)结合在一起,利用多头自注意力机制,学习每个节点在图邻域中的重要性;进行信息聚合,处理网络中的不同图结构,以适应服务动态变化的场景。实验结果显示,在数据平衡的情况下,提出的方法性能表现均好于对比方法;在数据不平衡的情况下,提出的方法大部分性能指标也表现良好,达到了提升服务推荐准确性和有效性的目标。

基于GRU的密集连接时空图注意力网络的城市交通预测

城市道路拓扑结构的复杂性、交通流量的实时变化以及多元的外部环境等因素给交通预测带来了极大的困难。现有方法对交通路网的时空特征挖掘性不足,缺乏对外部因素的考虑,为此本文提出了一种基于门控循环单元(GRU)的时空图注意力密集连接网络,通过门控循环单元来捕获路网数据的动态规律,并以图注意力密集连接网络来提取路网复杂的空间结构特征,建立城市交通网络对时空的依赖关系。针对外部客观因素,采用独热编码的方式对城市各路段发生的交通事件进行数据建模,增强交通网络的信息属性。以杭州申花路及周围共309个路段为例,对所提出模型的预测能力和可行性进行验证。实验结果表明,模型预测精度最高达到了81.64%,与传统数学模型和主流的神经网络模型对比,预测精度较ARIMA提高了35.42%,较图注意力网络(GAT)和GRU神经网络分别提高了17.45%和3.02%。实验证明该方法可以适应复杂的交通流进行长期的交通预测任务,同时也能增强交通管理能力,减少交通拥堵成本。

基于依存关系图注意力网络的SQL生成方法

研究基于自然语言问题的结构化查询语言(SQL)生成问题(Text-to-SQL).提出两阶段框架,旨在解耦模式链接和SQL生成过程,降低SQL生成的难度.第1阶段通过基于关系图注意力网络的模式链接器识别问题中提及的数据库表、列和值,利用问题的语法结构和数据库模式项之间的内部关系,指导模型学习问题与数据库的对齐关系.构建问题图时,针对Text-to-SQL任务的特点,在原始句法依存树的基础上,合并与模式链接无关的关系,添加并列结构中的从属词与句中其他成分间的依存关系,帮助模型捕获长距离依赖关系.第2阶段进行SQL生成,将对齐信息注入T5的编码器,对T5进行微调.在Spider、Spider-DK和Spider-Syn数据集上进行实验,实验结果显示,该方法具有良好的性能,尤其是对中等难度以上的Text-to-SQL问题具有良好的表现.

面向方面级情感分析的交互式关系图注意力网络

方面级情感分析领域主要采用基于注意力机制的神经网络模型,这类模型忽略了方面词与观点词之间的依存关系和方面词与上下文词之间的距离,导致该类模型情感分类结果不够精确。为了解决上述问题,建立一种交互式关系图注意力网络(RI-GAT)模型。首先,通过长短期记忆(LSTM)网络学习句子的语义特征;然后,将学习的语义特征结合句子的位置信息生成新的特征;最后,在新的特征中提取各方面词和观点词之间的依存关系,实现对句法依存信息和位置信息的高效利用。在Laptop、Restaurant和Twitter数据集上的实验结果表明,相较于次优的动态多通道图卷积网络(DM-GCN),RI-GAT模型分类准确率(Acc)提高了0.67、1.65和1.36个百分点,说明了RI-GAT模型可以更好地建立方面词和意见词之间的联系,使得情感分类更加精确。

基于图注意力网络的小样本知识图谱补全

提出了一种基于图注意力网络(graph attention network,GAT)的小样本知识图谱补全方法.该方法通过图注意力网络的注意力机制赋予邻居不同的权重,生成更强大的特征表示,通过匹配网络匹配查询集与参考集,选择相似性度量分数最高的候选实体作为补全后的尾实体.实验结果表明,图注意力网络模型对小样本知识图谱中缺失的链接能够进行有效的预测.

基于图注意力网络的城市内涝积水预测与研究

极端暴雨天气多发频发造成的城市内涝,严重威胁居民的人身财产安全,准确高效的内涝点积水面积预测在提高城市灾害应急处置能力中发挥着至关重要的作用。为了提高城市内涝点积水预测的准确性和直观性,提出一种基于GAT和LSTM网络的GATLSTM组合预测模型,通过GAT提取积水信息局部空间特征,并通过节点分配权重的方式加强对关键信息序列的记忆,随后采用LSTM提取积水面积序列的时间特征,对内涝点积水面积进行预测。以开封市区某内涝点的积水数据建立模型并评估验证,将GATLSTM模型和LSTM、GAT以及GCNLSTM模型进行对比,结果表明:GATLSTM模型的预测精度优于另外3种模型,能够准确地对内涝点积水面积进行预测,可以为防汛工作和应急响应措施的制定提供科学依据。

TRGATLog:基于日志时间图注意力网络的日志异常检测方法

为解决现有日志异常检测方法往往只关注定量关系模式或顺序模式的单一特征,忽略了日志时间结构关系和不同特征之间的相互联系,导致较高的异常漏检率和误报率问题,提出基于日志时间图注意力网络的日志异常检测方法。首先,通过设计日志语义和时间结构联合特征提取模块构建日志时间图,有效整合日志的时间结构关系和语义信息。然后,构造时间关系图注意力网络,利用图结构描述日志间的时间结构关系,自适应学习不同日志之间的重要性,进行异常检测。最后,使用三个公共数据集验证模型的有效性。大量实验结果表明,所提方法能够有效捕获日志时间结构关系,提高异常检测精度。

基于图注意力网络的风力发电机齿轮箱故障诊断

针对风力发电机齿轮箱故障振动信号的非平稳性、特征混叠和诊断正确率低等问题,提出一种基于图注意力网络(GAT)的风力发电机齿轮箱故障诊断方法。首先利用原始振动信号的频谱定义节点和边,将故障信号构造为可视图;然后将可视图数据作为输入,在GAT中嵌入邻居自注意力机制使其自适应提取可视图信号的节点特征和结构特征;最后使用分类器对提取的节点特征进行分类识别。通过行星齿轮箱数据集和风力发电机齿轮箱数据集的实验,结果表明与机器学习、深度学习以及其他图神经网络相比,所提方法准确率更高,鲁棒性和抗噪性更好,可有效实现端到端的智能故障诊断。

考虑数据缺失的图注意力网络暂态稳定评估

基于人工智能的暂态稳定评估模型的性能高度依赖于系统的可观测性,而通信延迟和相量测量单元(phasor measurement units,PMU)故障等因素易导致数据缺失,使模型的评估性能下降。针对该问题,提出了一种基于图注意力网络(graph attention network,GAT)的暂态稳定评估模型。首先,根据原始网络拓扑及PMU配置方案获得表征系统可观测性的掩码矩阵,在任意PMU缺失的条件下,利用掩码矩阵训练模型;其次,通过GAT网络的多头注意力机制提取输入节点的时空信息,利用不同的权重聚合目标节点的邻域特征,实现对可观测数据的充分利用;最后,利用焦点损失函数加强模型对失稳样本的学习能力。仿真结果表明,所提方法可以最大限度地利用可观测数据,具有高精度和强鲁棒性,并且不受网络拓扑的限制,易于迁移。

基于超像素分割的图注意力网络的高光谱图像分类

针对卷积神经网络(CNN)仅能应用于欧氏数据,无法有效获取像素间的全局关系特征以及长距离上下文信息的问题,构建一个基于超像素分割的图注意力网络SSGAT.该网络将超像素分割后的超像素块视为图结构中的图节点,有效减少了图结构的复杂度,并降低了分类图的噪声.在3个数据集上对SSGAT及对比算法的分类精度进行测试,分别获得了94.11%,95.22%,96.37%的总体分类精度.结果表明该方法性能优异,在处理大尺度区域的分类问题时优势明显.

集中式电力市场下基于谱聚类与图注意力网络的电力枢纽节点设计方法研究

电力枢纽节点是现货市场上可以进行统一交易的聚合节点,也是电力金融市场发展与稳定运行的基石,对构建统一电力市场体系、完善市场功能具有十分重要的意义。从一般属性、节点选择、权重设计、时间性的角度分析了枢纽节点的设计方式,并针对性地提出了基于谱聚类的枢纽区域划分方法与基于图注意力网络的权重计算方法。基于双尺度度量的谱聚类分区策略,其核心是建立以关键线路功率传输分布因子、多时段节点电价和节点邻接性为度量的双尺度耦合矩阵,优先保证枢纽区域的地理特性、区内的无阻塞特性和节点连通性。基于图注意力网络建立了定价节点聚合权重的分配模型,通过自注意力机制来对邻域节点进行聚合,实现不同时段节点电价下节点权重的自适应匹配。最后通过IEEE118节点算例对所提出的设计方法进行验证,通过横向对比,证明了所提方法的合理性与有效性,可为实际市场中枢纽节点设定提供理论支撑。