基于改进图注意力网络的油井产量预测模型

针对图注意力网络处理噪声和时序数据较弱,并且在堆叠多层后出现梯度爆炸、过平滑等问题,提出一种改进图注意力网络模型.首先,使用Squeeze-and-Excitation模块对样本输入数据的特征信息进行不同程度关注,增强模型处理噪声的能力;其次,使用多头注意力机制,将序列数据中每个序列相对其他序列进行加权求和,提取数据的时序性;再次,将图注意力网络提取的节点特征与节点的度中心性拼接,获取节点的局部特征,并用全局平均池化的方式提取节点的全局特征;最后,将两者进行融合得到节点的最终特征表示,增强模型的表征能力.为验证改进图注意力网络的有效性,将改进图注意力网络模型与LSTM,GRU和GGNN模型进行对比,实验结果表明,该模型预测效果得到有效提升,具有更高的预测精度.

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

融合图注意力网络和注意力因子分解机的服务推荐方法

为了解决服务推荐过程中的特征稀疏问题、提高服务的语义表示能力,进而提升推荐的准确性和有效性,提出基于图注意力网络(graph attention networks,GAT)研究服务推荐方法,引入服务的组合权重和组合的结构信息,综合利用多种服务特征,提高服务推荐质量。将GAT和注意力因子分解机(attention factorization machine,AFM)结合在一起,利用多头自注意力机制,学习每个节点在图邻域中的重要性;进行信息聚合,处理网络中的不同图结构,以适应服务动态变化的场景。实验结果显示,在数据平衡的情况下,提出的方法性能表现均好于对比方法;在数据不平衡的情况下,提出的方法大部分性能指标也表现良好,达到了提升服务推荐准确性和有效性的目标。

结合句法增强与图注意力网络的方面级情感分类

方面级情感分类旨在识别给定特定方面文本的情感极性,在本领域中,将图神经网络与句法依赖解析相结合是当下热门的研究方向之一,此类方法通过句法解析捕捉句子中词与词之间的关系,依此构建图结构,输入图神经网络中得到情感极性。若句法解析器出现解析错误,将会对以图为基础的图神经网络模型产生巨大影响。为了增强解析器生成的句法依赖树的解析结果,文中提出了一种句法增强图注意力网络,该网络通过融合多个解析器的解析结果,提高句法依赖解析精度,得到更精准的依赖关系句法图;在图注意力网络中使用密集连接机制捕获更丰富的特征,更适配于增强后的句法图,同时引入方面注意力机制捕获方面语义特征。实验结果验证了句法增强方法的有效性,在3个基准数据集上的分类准确度都有所提高,在方面级情感分析领域具有较好的表现。

基于胶囊异构图注意力网络的中文表格型数据事实验证

事实验证旨在检查一个文本陈述是否被给定的证据所支持.由于表格结构上具有依赖性、内容上具有隐含性,以表格作为证据的事实验证任务仍面临很多挑战.现有工作或者利用逻辑表达式来解析基于表格证据的陈述,或者设计表格感知神经网络来编码陈述-表格对,以此实现基于表格的事实验证任务.但是,这些方法没有充分利用陈述背后隐含的表格信息,从而导致模型的推理性能下降,并且基于表格证据的中文陈述具有更加复杂的语法和语义,也给模型推理带来更大的困难.为此,提出基于胶囊异构图注意力网络(CapsHAN)的中文表格型数据事实验证方法,所提方法能充分理解陈述的结构和语义,进而挖掘和利用陈述所隐含的表格信息,有效提升基于表格的事实验证任务准确性.具体而言,首先通过对陈述进行依存句法分析和命名实体识别来构建异构图,接着对该图采用异构图注意力网络和胶囊图神经网络进行学习和理解,然后将得到的陈述文本表示与经过编码的表格文本表示进行拼接,最后完成结果的预测.更进一步,针对现有中文表格型事实验证数据集匮乏而难以支持基于表格的事实验证方法性能评价的难题,首先对主流TABFACT和INFOTABS表格事实验证英文数据集进行中文转化,并且专门针对中文表格型数据的特点构建了基于UCL国家标准的数据集UCLDS,该数据集将维基百科信息框作为人工注释的自然语言陈述的证据,并被标记为蕴含、反驳或中立3类.UCLDS在同时支持单表和多表推理方面比传统TABFACT和INFOTABS数据集更胜一筹.在上述3个中文基准数据集上的实验结果表明,所提模型的表现均优于基线模型,证明该模型在基于中文表格的事实验证任务上的优越性.

融合知识图谱和图注意力网络的旅游推荐算法

为缓解旅游推荐模型面临的数据稀疏和冷启动的问题,提出一种融合知识图谱和图注意力网络的旅游推荐算法KRGAT(knowledge ripple graph attention network)。借助水波网络从用户的历史旅游行为和知识图谱中挖掘用户偏好增强用户特征表示,针对当前旅游项目特征学习的方法难以提取节点深层特征的问题,利用图注意力网络聚合相关度更高的邻居节点信息,增强旅游项目特征表示。实验在自建立的旅游数据集上与5个基线方法进行对比,其结果表明,KRGAT的精确率(P)、召回率(R)和AUC值分别提升了5.73%、4.42%和1.42%。

基于拆分注意力网络的单图像超分辨率重建

针对现有生成对抗网络的单图像超分辨率重建在大尺度因子下存在训练不稳定、特征提取不足和重建结果纹理细节严重缺失的问题,提出一种拆分注意力网络的单图超分辨率重建方法。首先,以拆分注意力残差模块作为基本残差块构造生成器,提高生成器特征提取的能力。其次,在损失函数中引入鲁棒性更好的Charbonnier损失函数和Focal Frequency Loss损失函数代替均方差损失函数,同时加入正则化损失平滑训练结果,防止图像过于像素化。最后,在生成器和判别器中采用谱归一化处理,提高网络的稳定性。在4倍放大因子下,与其他方法在Set5、Set14、BSDS100、Urban100测试集上进行测试比较,本文方法的峰值信噪比比其他对比方法的平均值提升1.419 dB,结构相似性比其他对比方法的平均值提升0.051。实验数据和效果图表明,该方法主观上具有丰富的细节和更好的视觉效果,客观上具有较高的峰值信噪比值和结构相似度值。

基于多粒度阅读器和图注意力网络的文档级事件抽取

文档级事件抽取面临论元分散和多事件两大挑战,已有工作大多采用逐句抽取候选论元的方式,难以建模跨句的上下文信息。为此,提出了一种基于多粒度阅读器和图注意网络的文档级事件抽取模型,采用多粒度阅读器实现多层次语义编码,通过图注意力网络捕获实体对之间的局部和全局关系,构建基于实体对相似度的剪枝完全图作为伪触发器,全面捕捉文档中的事件和论元。在公共数据集ChFinAnn和DuEE-Fin上进行了实验,结果表明提出的方法改善了论元分散问题,提升了模型事件抽取性能。

图注意力网络与句法融合的医疗实体识别

电子病历数据中包含大量的医疗实体词,对这些实体词的自动识别有益于提升计算机对电子病历数据的理解。待识别的医疗实体词通常由医疗专业术语和非规范医疗词汇构成,大量生僻词汇、长难词汇和病历行文中的省略现象给医疗实体识别任务带来了挑战。针对以上问题,该文提出一种图注意力网络与句法融合的医疗实体识别方法,该方法结合字词共现关系和句法依存关系,基于电子病历数据构建了交互式字词关系图和依存关系图,并利用图注意力网络完成多种图信息的融合。实验结果表明,在电子病历的命名实体识别中,该文方法得到88.91%的F_(1)值,较基线模型提高1.04%,验证了该方法的有效性。

基于语篇解析和图注意力网络的对话情绪识别

对话情绪识别研究主要聚焦于融合对话上下文和说话者建模的相互关系。当前研究通常忽略对话内部存在的依存关系,导致对话的上下文联系不够紧密,说话者之间的关系也缺乏逻辑。因此,提出了一种基于语篇解析和图注意力网络(discourse parsing and graph attention network,DPGAT)的对话情绪识别模型,将对话内部的依存关系融入语境建模过程中,使语境信息更具有依赖性和全局性。首先,通过语篇解析获取对话内部的话语依存关系,构建语篇依存关系图和说话者关系图。随后,通过多头注意力机制将不同类型的说话者关系图进行内部融合。此外,在图注意力网络的基础上,结合依存关系进行循环学习,以达到上下文信息和说话人信息的有效融合,实现对话语境信息的外部融合。最终,通过分析内、外部融合的结果还原完整对话语境,并对说话者的情绪进行分析。通过在英文数据集MELD、EmoryNLP、DailyDialog和中文数据集M3ED上进行评估验证,F1分数分别为66.23%、40.03%、59.28%、52.77%,与主流的模型相比,所提模型具有较好的适用性,可在不同的语言场景中使用。

基于注意力网络集成的联机空中手写识别研究

针对联机空中手写识别的数据样本少、模型泛化能力不足、识别率低等问题,提出一种基于注意力网络集成的联机空中手写识别方法。该方法首先通过在形状特征中融入“联机”的时序特征,构建原始的多维数据;然后对多维融合数据降维投影到三个正交平面上,得到三组投影特征;其次,构建卷积神经网络用于提取视觉特征,同时引入字符嵌入作为图像的类标签,将类标签字符级语义特征通过注意力检测机制与三组视觉特征融合形成三组语义信息丰富的特征图,并基于特征图构建SoftMax分类器;最后,通过基于主学习器集成投票方法进行分类与识别。在两组空中手写数据集与哈工大(HIT-OR3C)联机数据上进行多组实验,在小样本的情况下,该方法识别率优于其他方法,分别达到95.68%,93.02%,94.96%。实验结果表明,该方法在小样本数据的情况下,充分发掘联机空中手写数据中有效特征,提高了空中手写识别效率。

融合Transformer和交互注意力网络的方面级情感分类模型

现有的大多数研究者使用循环神经网络与注意力机制相结合的方法进行方面级情感分类任务。然而,循环神经网络不能并行计算,并且模型在训练过程中会出现截断的反向传播、梯度消失和梯度爆炸等问题,传统的注意力机制可能会给句子中重要情感词分配较低的注意力权重。针对上述问题,该文提出了一种融合Transformer和交互注意力网络的方面级情感分类模型。首先利用BERT(bidirectional encoder representation from Transformers)预训练模型来构造词嵌入向量,然后使用Transformer编码器对输入的句子进行并行编码,接着使用上下文动态掩码和上下文动态权重机制来关注与特定方面词有重要语义关系的局部上下文信息。最后在5个英文数据集和4个中文评论数据集上的实验结果表明,该文所提模型在准确率和F1上均表现最优。

k阶采样和图注意力网络的知识图谱表示模型

知识图谱表示(KGE)旨在将知识图谱中的实体和关系映射到低维度向量空间而获得其向量表示。现有的KGE模型只考虑一阶近邻,这影响了知识图谱中推理和预测任务的准确性。为了解决这一问题,提出了一种基于k阶采样算法和图注意力网络的KGE模型。k阶采样算法通过聚集剪枝子图中的k阶邻域来获取中心实体的邻居特征。引入图注意力网络来学习中心实体邻居的注意力值,通过邻居特征加权和得到新的实体向量表示。利用ConvKB作为解码器来分析三元组的全局表示特征。在WN18RR、FB15k-237、NELL-995、Kinship数据集上的评价实验表明,该模型在链接预测任务上的性能明显优于最新的模型。此外,还讨论了阶数k和采样系数b的改变对模型命中率的影响。

基于双句法交互图注意力网络的方面级情感分析

为减少利用未处理的短语树引入的关于方面词错误的句法信息,提出一种双句法交互图注意力网络模型。在现有短语树的基础上通过特定的句法拆分获得面向方面的短语子树,在此基础上,在短语树与依赖树之间利用各自的句法特点建立句法信息的交互通道,有效结合短语树与依赖树两棵句法树产生的句法信息。在3个公共数据集上的充分实验结果表明,双句法交互图注意力网络模型均优于当前的主流方法,验证了模型的有效性。

基于GRU的密集连接时空图注意力网络的城市交通预测

城市道路拓扑结构的复杂性、交通流量的实时变化以及多元的外部环境等因素给交通预测带来了极大的困难。现有方法对交通路网的时空特征挖掘性不足,缺乏对外部因素的考虑,为此本文提出了一种基于门控循环单元(GRU)的时空图注意力密集连接网络,通过门控循环单元来捕获路网数据的动态规律,并以图注意力密集连接网络来提取路网复杂的空间结构特征,建立城市交通网络对时空的依赖关系。针对外部客观因素,采用独热编码的方式对城市各路段发生的交通事件进行数据建模,增强交通网络的信息属性。以杭州申花路及周围共309个路段为例,对所提出模型的预测能力和可行性进行验证。实验结果表明,模型预测精度最高达到了81.64%,与传统数学模型和主流的神经网络模型对比,预测精度较ARIMA提高了35.42%,较图注意力网络(GAT)和GRU神经网络分别提高了17.45%和3.02%。实验证明该方法可以适应复杂的交通流进行长期的交通预测任务,同时也能增强交通管理能力,减少交通拥堵成本。

基于长短期偏好注意力网络的兴趣点推荐

兴趣点(Point-Of-Interest,POI)推荐是基于位置的社交网络(Location-based Social Networks,LBSNs)研究中最重要的任务之一。为了解决POI推荐中的空间稀疏性问题,提出一种用于位置推荐的长短期偏好时空注意力网络(LSAN)。首先,构建了签到序列的时空关系矩阵,使用多头注意力机制从中提取非连续签到和非相邻位置中的时空相关性,缓解签到数据稀疏所带来的困难。其次,在模型中设置用户短期偏好和长期偏好提取模块,自适应的将二者结合在一起,考虑了用户偏好对用户决策影响。最后,在Foursquare数据集上进行测试,并与其它模型结果进行对比,证实了提出的LSAN模型结果最优。研究表明LSAN模型能够获得最佳的推荐效果,为POI推荐提供新思路。

省际地方政府债券信用风险及其溢出效应——基于图注意力网络模型的分析

本文基于复杂网络视角考察省际地方政府债券信用风险及其溢出效应。根据2016—2022年我国地方政府债务在二级市场的月度信用利差及其特征变量,识别了信用利差的变化情况,揭示了信用利差与债券相关指标之间的内在关联。采用图注意力网络模型对地方政府债券信用风险及其影响因素进行评估,考察各类因素在影响信用风险时的交互效应,以及这些因素如何通过复杂网络对地方政府债券信用风险产生直接和间接的影响。在此基础上,本文通过分析省际地方政府债券风险的溢出效应,识别出地方政府债务风险的省际传导机制和部分省份之间债务风险相互增强的特点。基于上述结论,本文从完善二级市场风险预警体系、增强风险溢入效应较强省份财政稳定性、提高风险溢出效应较强省份债务管理水平、建立风险传导网络监控以及协调省际债务发行机制等方面提出政策建议。

基于BERT和图注意力网络的篇章级事件论元识别

事件论元识别是事件抽取的子任务之一,其目的在于识别文本中与事件相关的论元及论元对应的论元角色。研究表明,句子的依存句法关系有助于事件论元任务识别,然而,在构造篇章的依存句法关系时容易引入不相关的论元产生噪声问题,现有方法对噪声问题处理不佳。针对该问题,提出了一个基于BERT和图注意力网络的篇章级事件论元识别模型。该模型从两个角度去解决噪声问题,一方面,通过获取充分的篇章语义特征作为辅助,去构建更有效的篇章依存句法特征;另一方面,采用图注意力网络对不同的论元节点分配不同的权重,从而去除掉无效的论元。在RAMS语料库上的实验结果表明,该方法有效解决了篇章依存句法关系中存在的噪声问题,取得了较好的篇章级事件论元识别结果。

集中式电力市场下基于谱聚类与图注意力网络的电力枢纽节点设计方法研究

电力枢纽节点是现货市场上可以进行统一交易的聚合节点,也是电力金融市场发展与稳定运行的基石,对构建统一电力市场体系、完善市场功能具有十分重要的意义。从一般属性、节点选择、权重设计、时间性的角度分析了枢纽节点的设计方式,并针对性地提出了基于谱聚类的枢纽区域划分方法与基于图注意力网络的权重计算方法。基于双尺度度量的谱聚类分区策略,其核心是建立以关键线路功率传输分布因子、多时段节点电价和节点邻接性为度量的双尺度耦合矩阵,优先保证枢纽区域的地理特性、区内的无阻塞特性和节点连通性。基于图注意力网络建立了定价节点聚合权重的分配模型,通过自注意力机制来对邻域节点进行聚合,实现不同时段节点电价下节点权重的自适应匹配。最后通过IEEE118节点算例对所提出的设计方法进行验证,通过横向对比,证明了所提方法的合理性与有效性,可为实际市场中枢纽节点设定提供理论支撑。

基于提示增强与双图注意力网络的复杂因果关系抽取

针对复杂因果句实体密度高、句式冗长等特点导致的外部信息不足和信息传递遗忘问题,提出一种基于提示增强与双图注意力网络(BiGAT)的复杂因果关系抽取模型PE-BiGAT(PromptEnhancementandBi-Graph Attention Network)。首先,抽取句子中的结果实体并与提示学习模板组成提示信息,再通过外部知识库增强提示信息;其次,将提示信息输入BiGAT,同时结合关注层与句法和语义依存图,并利用双仿射注意力机制缓解特征重叠的情况,增强模型对关系特征的感知能力;最后,用分类器迭代预测句子中的所有因果实体,并通过评分函数分析句子中所有的因果对。在SemEval-2010 task 8和AltLex数据集上的实验结果表明,与RPA-GCN(Relationship Position and Attention-Graph Convolutional Network)相比,所提模型的F1值提高了1.65个百分点,其中在链式因果和多因果句中分别提高了2.16和4.77个百分点,验证了所提模型在处理复杂因果句时更具优势。