基于改进图注意力网络的油井产量预测模型

针对图注意力网络处理噪声和时序数据较弱,并且在堆叠多层后出现梯度爆炸、过平滑等问题,提出一种改进图注意力网络模型.首先,使用Squeeze-and-Excitation模块对样本输入数据的特征信息进行不同程度关注,增强模型处理噪声的能力;其次,使用多头注意力机制,将序列数据中每个序列相对其他序列进行加权求和,提取数据的时序性;再次,将图注意力网络提取的节点特征与节点的度中心性拼接,获取节点的局部特征,并用全局平均池化的方式提取节点的全局特征;最后,将两者进行融合得到节点的最终特征表示,增强模型的表征能力.为验证改进图注意力网络的有效性,将改进图注意力网络模型与LSTM,GRU和GGNN模型进行对比,实验结果表明,该模型预测效果得到有效提升,具有更高的预测精度.

融合图注意力网络和注意力因子分解机的服务推荐方法

为了解决服务推荐过程中的特征稀疏问题、提高服务的语义表示能力,进而提升推荐的准确性和有效性,提出基于图注意力网络(graph attention networks,GAT)研究服务推荐方法,引入服务的组合权重和组合的结构信息,综合利用多种服务特征,提高服务推荐质量。将GAT和注意力因子分解机(attention factorization machine,AFM)结合在一起,利用多头自注意力机制,学习每个节点在图邻域中的重要性;进行信息聚合,处理网络中的不同图结构,以适应服务动态变化的场景。实验结果显示,在数据平衡的情况下,提出的方法性能表现均好于对比方法;在数据不平衡的情况下,提出的方法大部分性能指标也表现良好,达到了提升服务推荐准确性和有效性的目标。

结合句法增强与图注意力网络的方面级情感分类

方面级情感分类旨在识别给定特定方面文本的情感极性,在本领域中,将图神经网络与句法依赖解析相结合是当下热门的研究方向之一,此类方法通过句法解析捕捉句子中词与词之间的关系,依此构建图结构,输入图神经网络中得到情感极性。若句法解析器出现解析错误,将会对以图为基础的图神经网络模型产生巨大影响。为了增强解析器生成的句法依赖树的解析结果,文中提出了一种句法增强图注意力网络,该网络通过融合多个解析器的解析结果,提高句法依赖解析精度,得到更精准的依赖关系句法图;在图注意力网络中使用密集连接机制捕获更丰富的特征,更适配于增强后的句法图,同时引入方面注意力机制捕获方面语义特征。实验结果验证了句法增强方法的有效性,在3个基准数据集上的分类准确度都有所提高,在方面级情感分析领域具有较好的表现。

图注意力网络与句法融合的医疗实体识别

电子病历数据中包含大量的医疗实体词,对这些实体词的自动识别有益于提升计算机对电子病历数据的理解。待识别的医疗实体词通常由医疗专业术语和非规范医疗词汇构成,大量生僻词汇、长难词汇和病历行文中的省略现象给医疗实体识别任务带来了挑战。针对以上问题,该文提出一种图注意力网络与句法融合的医疗实体识别方法,该方法结合字词共现关系和句法依存关系,基于电子病历数据构建了交互式字词关系图和依存关系图,并利用图注意力网络完成多种图信息的融合。实验结果表明,在电子病历的命名实体识别中,该文方法得到88.91%的F_(1)值,较基线模型提高1.04%,验证了该方法的有效性。

融合知识图谱和图注意力网络的旅游推荐算法

为缓解旅游推荐模型面临的数据稀疏和冷启动的问题,提出一种融合知识图谱和图注意力网络的旅游推荐算法KRGAT(knowledge ripple graph attention network)。借助水波网络从用户的历史旅游行为和知识图谱中挖掘用户偏好增强用户特征表示,针对当前旅游项目特征学习的方法难以提取节点深层特征的问题,利用图注意力网络聚合相关度更高的邻居节点信息,增强旅游项目特征表示。实验在自建立的旅游数据集上与5个基线方法进行对比,其结果表明,KRGAT的精确率(P)、召回率(R)和AUC值分别提升了5.73%、4.42%和1.42%。

基于全局图注意力元路径异构网络的药物-疾病关联预测

提出了一个基于全局图注意力元路径异构网络模型(MHNGA)来进行药物-疾病关联预测。首先,收集整理药物和疾病数据,将已知的药物-疾病关联、药物相似性、疾病相似性构建为一个异构网络;其次,引入多个基于元路径的子图,使用图注意力神经网络提取这些子图的邻居节点的特征,并且通过通道注意力和空间注意力机制来增强特征;最后,通过十折交叉验证的评估,MHNGA取得了93.5%的精确召回曲线下的面积和99.4%的准确率。

基于多粒度阅读器和图注意力网络的文档级事件抽取

文档级事件抽取面临论元分散和多事件两大挑战,已有工作大多采用逐句抽取候选论元的方式,难以建模跨句的上下文信息。为此,提出了一种基于多粒度阅读器和图注意网络的文档级事件抽取模型,采用多粒度阅读器实现多层次语义编码,通过图注意力网络捕获实体对之间的局部和全局关系,构建基于实体对相似度的剪枝完全图作为伪触发器,全面捕捉文档中的事件和论元。在公共数据集ChFinAnn和DuEE-Fin上进行了实验,结果表明提出的方法改善了论元分散问题,提升了模型事件抽取性能。

基于语篇解析和图注意力网络的对话情绪识别

对话情绪识别研究主要聚焦于融合对话上下文和说话者建模的相互关系。当前研究通常忽略对话内部存在的依存关系,导致对话的上下文联系不够紧密,说话者之间的关系也缺乏逻辑。因此,提出了一种基于语篇解析和图注意力网络(discourse parsing and graph attention network,DPGAT)的对话情绪识别模型,将对话内部的依存关系融入语境建模过程中,使语境信息更具有依赖性和全局性。首先,通过语篇解析获取对话内部的话语依存关系,构建语篇依存关系图和说话者关系图。随后,通过多头注意力机制将不同类型的说话者关系图进行内部融合。此外,在图注意力网络的基础上,结合依存关系进行循环学习,以达到上下文信息和说话人信息的有效融合,实现对话语境信息的外部融合。最终,通过分析内、外部融合的结果还原完整对话语境,并对说话者的情绪进行分析。通过在英文数据集MELD、EmoryNLP、DailyDialog和中文数据集M3ED上进行评估验证,F1分数分别为66.23%、40.03%、59.28%、52.77%,与主流的模型相比,所提模型具有较好的适用性,可在不同的语言场景中使用。

k阶采样和图注意力网络的知识图谱表示模型

知识图谱表示(KGE)旨在将知识图谱中的实体和关系映射到低维度向量空间而获得其向量表示。现有的KGE模型只考虑一阶近邻,这影响了知识图谱中推理和预测任务的准确性。为了解决这一问题,提出了一种基于k阶采样算法和图注意力网络的KGE模型。k阶采样算法通过聚集剪枝子图中的k阶邻域来获取中心实体的邻居特征。引入图注意力网络来学习中心实体邻居的注意力值,通过邻居特征加权和得到新的实体向量表示。利用ConvKB作为解码器来分析三元组的全局表示特征。在WN18RR、FB15k-237、NELL-995、Kinship数据集上的评价实验表明,该模型在链接预测任务上的性能明显优于最新的模型。此外,还讨论了阶数k和采样系数b的改变对模型命中率的影响。

融合体素图注意力的三维目标检测算法

目前基于点云的三维目标检测方法未能充分利用点云局部几何特征,导致对点云稀疏的目标检测效果不佳。为此,本文提出基于原始点云体素图注意力的两阶段三维目标检测算法(voxel graph attention region-CNN,VGT-RCNN)。通过多尺度体素特征插值计算网格中心点特征;在多尺度非空体素特征上构造局部图;通过图注意力机制对体素特征进行加权平均,充分提取并利用目标的局部几何特征完成检测。该算法主要针对当前二阶段算法在进行特征聚合时对不同体素特征的重要性考虑不足进行改进,引入可学习的权重矩阵,动态学习体素特性的权重,提高局部特征表达能力。本文在流行的KITTI自动驾驶数据集上进行了充分测试,取得了具有竞争力的检测效果,尤其是在对点云稀疏的汽车目标检测上,准确率有较大提高。本文还对检测效果进行了可视化分析。

基于双句法交互图注意力网络的方面级情感分析

为减少利用未处理的短语树引入的关于方面词错误的句法信息,提出一种双句法交互图注意力网络模型。在现有短语树的基础上通过特定的句法拆分获得面向方面的短语子树,在此基础上,在短语树与依赖树之间利用各自的句法特点建立句法信息的交互通道,有效结合短语树与依赖树两棵句法树产生的句法信息。在3个公共数据集上的充分实验结果表明,双句法交互图注意力网络模型均优于当前的主流方法,验证了模型的有效性。

基于GRU的密集连接时空图注意力网络的城市交通预测

城市道路拓扑结构的复杂性、交通流量的实时变化以及多元的外部环境等因素给交通预测带来了极大的困难。现有方法对交通路网的时空特征挖掘性不足,缺乏对外部因素的考虑,为此本文提出了一种基于门控循环单元(GRU)的时空图注意力密集连接网络,通过门控循环单元来捕获路网数据的动态规律,并以图注意力密集连接网络来提取路网复杂的空间结构特征,建立城市交通网络对时空的依赖关系。针对外部客观因素,采用独热编码的方式对城市各路段发生的交通事件进行数据建模,增强交通网络的信息属性。以杭州申花路及周围共309个路段为例,对所提出模型的预测能力和可行性进行验证。实验结果表明,模型预测精度最高达到了81.64%,与传统数学模型和主流的神经网络模型对比,预测精度较ARIMA提高了35.42%,较图注意力网络(GAT)和GRU神经网络分别提高了17.45%和3.02%。实验证明该方法可以适应复杂的交通流进行长期的交通预测任务,同时也能增强交通管理能力,减少交通拥堵成本。

省际地方政府债券信用风险及其溢出效应——基于图注意力网络模型的分析

本文基于复杂网络视角考察省际地方政府债券信用风险及其溢出效应。根据2016—2022年我国地方政府债务在二级市场的月度信用利差及其特征变量,识别了信用利差的变化情况,揭示了信用利差与债券相关指标之间的内在关联。采用图注意力网络模型对地方政府债券信用风险及其影响因素进行评估,考察各类因素在影响信用风险时的交互效应,以及这些因素如何通过复杂网络对地方政府债券信用风险产生直接和间接的影响。在此基础上,本文通过分析省际地方政府债券风险的溢出效应,识别出地方政府债务风险的省际传导机制和部分省份之间债务风险相互增强的特点。基于上述结论,本文从完善二级市场风险预警体系、增强风险溢入效应较强省份财政稳定性、提高风险溢出效应较强省份债务管理水平、建立风险传导网络监控以及协调省际债务发行机制等方面提出政策建议。

基于BERT和图注意力网络的篇章级事件论元识别

事件论元识别是事件抽取的子任务之一,其目的在于识别文本中与事件相关的论元及论元对应的论元角色。研究表明,句子的依存句法关系有助于事件论元任务识别,然而,在构造篇章的依存句法关系时容易引入不相关的论元产生噪声问题,现有方法对噪声问题处理不佳。针对该问题,提出了一个基于BERT和图注意力网络的篇章级事件论元识别模型。该模型从两个角度去解决噪声问题,一方面,通过获取充分的篇章语义特征作为辅助,去构建更有效的篇章依存句法特征;另一方面,采用图注意力网络对不同的论元节点分配不同的权重,从而去除掉无效的论元。在RAMS语料库上的实验结果表明,该方法有效解决了篇章依存句法关系中存在的噪声问题,取得了较好的篇章级事件论元识别结果。

基于图注意力网络的短期负荷预测模型

现有方法在处理负荷数据的非线性、动态性以及空间和时间依赖性方面存在局限,导致预测精度较低。为解决上述问题,本文提出了一种基于改进变分模态分解(SVMD)、图注意力网络(GAT)和长短期记忆网络(LSTM)的混合模型,并通过白鲸优化算法(BWO)进行参数优化。该模型旨在通过综合各组件的优势,提高短期负荷预测的准确性和鲁棒性。模型首先应用SVMD对负荷数据进行有效分解,提取关键模态分量;接着,GAT网络捕捉负荷波动性和加权空间的相关性,增强模型对负荷数据空间特征的感知;LSTM网络提取和预测时间序列特征;最后,用BWO算法优化模型参数,提高模型的收敛速度和预测性能。试验结果表明,SVMD-GAT-BWO-LSTM模型在平均绝对百分比误差(E_(MAPE))、均方根误差(E_(RMSE))和拟合度(R^(2))等评价指标上均表现最佳,显示出较高的稳定性和鲁棒性。消融试验进一步证实了模型中每个组件的重要性和对提高预测性能的贡献。

融合词信息和图注意力的医学命名实体识别

中文临床自然语言中富含大量的病历信息,对电子病历进行命名实体识别有助于建立医学辅助诊断系统,对医学领域的发展具有重要的意义,同时有利于下游任务如关系提取、建立知识图谱的实现。但中文电子病历存在中文分词困难、医学专业术语多、含有特殊表达方式的问题,易造成文本特征表达错误,于是提出基于增强词信息和图注意力的医学命名实体识别研究模型,通过增强局部特征和全局特征提高网络模型的性能。由于嵌入单一的字向量进行中文实体识别易忽略文本中词信息及语义,为此在字向量中嵌入与其高度关联的词向量,既增强文本表示,又避免分词错误的问题,并且在嵌入层中嵌入了学习医疗知识的MedBert模型,该模型能根据不同语境动态生成特征向量,有助于解决电子病历中一词多义及专业词汇的问题。同时,在编码层中添加图注意力模块增强模型学习文本上下文关系的能力和对医疗特殊语法的学习。在cEHRNER和cMedQANER数据集的实验上分别获得了86.38%和84.76%的F1值,与其他模型相比有较好的鲁棒性。

集中式电力市场下基于谱聚类与图注意力网络的电力枢纽节点设计方法研究

电力枢纽节点是现货市场上可以进行统一交易的聚合节点,也是电力金融市场发展与稳定运行的基石,对构建统一电力市场体系、完善市场功能具有十分重要的意义。从一般属性、节点选择、权重设计、时间性的角度分析了枢纽节点的设计方式,并针对性地提出了基于谱聚类的枢纽区域划分方法与基于图注意力网络的权重计算方法。基于双尺度度量的谱聚类分区策略,其核心是建立以关键线路功率传输分布因子、多时段节点电价和节点邻接性为度量的双尺度耦合矩阵,优先保证枢纽区域的地理特性、区内的无阻塞特性和节点连通性。基于图注意力网络建立了定价节点聚合权重的分配模型,通过自注意力机制来对邻域节点进行聚合,实现不同时段节点电价下节点权重的自适应匹配。最后通过IEEE118节点算例对所提出的设计方法进行验证,通过横向对比,证明了所提方法的合理性与有效性,可为实际市场中枢纽节点设定提供理论支撑。

考虑数据缺失的图注意力网络暂态稳定评估

基于人工智能的暂态稳定评估模型的性能高度依赖于系统的可观测性,而通信延迟和相量测量单元(phasor measurement units,PMU)故障等因素易导致数据缺失,使模型的评估性能下降。针对该问题,提出了一种基于图注意力网络(graph attention network,GAT)的暂态稳定评估模型。首先,根据原始网络拓扑及PMU配置方案获得表征系统可观测性的掩码矩阵,在任意PMU缺失的条件下,利用掩码矩阵训练模型;其次,通过GAT网络的多头注意力机制提取输入节点的时空信息,利用不同的权重聚合目标节点的邻域特征,实现对可观测数据的充分利用;最后,利用焦点损失函数加强模型对失稳样本的学习能力。仿真结果表明,所提方法可以最大限度地利用可观测数据,具有高精度和强鲁棒性,并且不受网络拓扑的限制,易于迁移。

基于依存关系图注意力网络的SQL生成方法

研究基于自然语言问题的结构化查询语言(SQL)生成问题(Text-to-SQL).提出两阶段框架,旨在解耦模式链接和SQL生成过程,降低SQL生成的难度.第1阶段通过基于关系图注意力网络的模式链接器识别问题中提及的数据库表、列和值,利用问题的语法结构和数据库模式项之间的内部关系,指导模型学习问题与数据库的对齐关系.构建问题图时,针对Text-to-SQL任务的特点,在原始句法依存树的基础上,合并与模式链接无关的关系,添加并列结构中的从属词与句中其他成分间的依存关系,帮助模型捕获长距离依赖关系.第2阶段进行SQL生成,将对齐信息注入T5的编码器,对T5进行微调.在Spider、Spider-DK和Spider-Syn数据集上进行实验,实验结果显示,该方法具有良好的性能,尤其是对中等难度以上的Text-to-SQL问题具有良好的表现.

面向方面级情感分析的交互式关系图注意力网络

方面级情感分析领域主要采用基于注意力机制的神经网络模型,这类模型忽略了方面词与观点词之间的依存关系和方面词与上下文词之间的距离,导致该类模型情感分类结果不够精确。为了解决上述问题,建立一种交互式关系图注意力网络(RI-GAT)模型。首先,通过长短期记忆(LSTM)网络学习句子的语义特征;然后,将学习的语义特征结合句子的位置信息生成新的特征;最后,在新的特征中提取各方面词和观点词之间的依存关系,实现对句法依存信息和位置信息的高效利用。在Laptop、Restaurant和Twitter数据集上的实验结果表明,相较于次优的动态多通道图卷积网络(DM-GCN),RI-GAT模型分类准确率(Acc)提高了0.67、1.65和1.36个百分点,说明了RI-GAT模型可以更好地建立方面词和意见词之间的联系,使得情感分类更加精确。