一种融合知识图谱的图注意力神经网络谣言实时检测方法

【目的】提高社交媒体中谣言实时检测的准确率,降低谣言传播危害。【方法】提出一种融合知识图谱的图注意力神经网络谣言实时检测方法。首先,通过知识蒸馏从外部知识图谱中获取文本内容的背景知识;其次,通过点互信息把文本和背景知识转化为加权图结构表示,利用一种考虑边权重的图注意力神经网络从加权图中学习文本的非连续语义特征;然后,通过预训练语言模型BERT学习文本的连续语义特征,利用嵌入方法把用户和内容统计特征转化为连续向量表示;最后,融合所有特征,输入全连接神经网络中进行谣言检测。【结果】在两个公开的社交媒体谣言数据集PHEME和WEIBO上的实验结果表明,所提方法的准确率分别达到了92.1%和84.0%,优于对比基线方法。【局限】所提方法没有融合帖子中可能附加的图片或视频信息,不能进行多模态融合的谣言检测。【结论】融合背景知识可以补充短文本的语义表示,融合用户和内容统计特征可以辅助文本语义特征作决策,提高检测的准确率。

基于图注意力神经网络的实体消歧方法

针对链接对象为存在半结构化数据的知识库,提出了一种基于图注意力神经网络的短文本实体指称消歧方法。通过信息抽取与融入关键词,将含有半结构化数据的知识库构建为全局知识图谱;同时基于Bert预训练模型对短文本中的实体指称项进行嵌入融合;使用图注意力神经网络对全局知识图谱中候选实体节点进行加权聚合表征,并计算实体指称项与各候选实体之间的相似度得分,实现实体消歧。在CCKS2019数据集上的实验结果表明,基于图注意力神网络的实体消歧模型有效提高了实体消歧效果。

图注意力神经网络支持下的建筑物形状识别

针对传统建筑物形状识别方法无法顾及空间认知、不适用于复杂建筑物形状的问题,引入图注意力神经网络识别建筑物形状,采用开源的建筑物形状数据集,使用坐标法、序列法、图方法和特征法等四种方法编码建筑物矢量数据,并对比不同深度学习模型分类建筑物形状的效果。实验表明,在编码方式上,坐标法和序列法精度较差,且分类效果与深度学习模型有一定关系;图方法能很好地分类建筑物形状,特征法能取得比图方法更好的分类效果。在模型上,卷积神经网络和循环神经网络模型分类效果较为均衡,对建筑物特征依赖性不强,而图卷积神经网络模型和图注意力神经网络模型只有和建筑物特征相结合才能取得较好结果,注意力机制的使用能够提高形状分类精度。

基于全局图注意力元路径异构网络的药物-疾病关联预测

提出了一个基于全局图注意力元路径异构网络模型(MHNGA)来进行药物-疾病关联预测。首先,收集整理药物和疾病数据,将已知的药物-疾病关联、药物相似性、疾病相似性构建为一个异构网络;其次,引入多个基于元路径的子图,使用图注意力神经网络提取这些子图的邻居节点的特征,并且通过通道注意力和空间注意力机制来增强特征;最后,通过十折交叉验证的评估,MHNGA取得了93.5%的精确召回曲线下的面积和99.4%的准确率。

用于关系抽取的注意力图长短时记忆神经网络

关系抽取是信息获取中一项关键技术。句子结构树能够捕获单词之间的长距离依赖关系,已被广泛用于关系抽取任务中。但是,现有方法存在过度依赖句子结构树本身信息而忽略外部信息的不足。本文提出一种新型的图神经网络模型,即注意力图长短时记忆神经网络(attention graph long short term memory neural network,AGLSTM)。该模型采用一种软修剪策略自动学习对关系抽取有用的句子结构信息;通过引入注意力机制,结合句法图信息学习句子的结构特征;并设计一种新型的图长短时记忆神经网络,使得模型能够更好地融合句法图信息和句子的时序信息。与10种典型的关系抽取方法进行对比,实验验证了该模型的优异性能。

基于改进图注意力网络的电力系统脆弱性关键环节辨识

随着电网的扩大与新能源比例的增加,电网的不确定性和随机性因素增加,危及系统安全运行,寻找出电网中的脆弱性关键环节来保障电网运行时的可靠性就显得尤为重要。针对当前传统电网脆弱性关键环节辨别方法识别速度慢、难以满足电网实际运行要求的问题,提出了基于改进图注意力网络算法(improved graph attention network,IGAT)的电网脆弱性关键环节辨识方法。首先,结合复杂网络理论和电网实际运行数据建立评价指标集。其次,利用IGAT挖掘出电网运行时的各项指标与脆弱性关键环节之间的映射关系,建立脆弱性关键环节辨识模型,并且考虑到训练准确性和效率等需求,对原始的图注意力网络进行优化。再次,通过仿真得到原始数据集,对辨识模型进行训练、验证和测试。最后,利用所述模型应用于改进的IEEE 30节点系统和实际电网中,结果表明所提方法具有可行性,且准确性和速度优于传统方法,有一定的工程利用价值。

基于混合图神经网络的个性化POI推荐方法研究

随着基于位置的社交网络的快速发展,POI(Point of Interest)推荐已成为推荐领域的研究热点,然而已有的工作未能充分挖掘用户的POI交互偏好以及POI转移偏好,影响了POI推荐效果.提出一种基于混合图神经网络的个性化POI推荐方法.首先构建用户社交网络图,利用图注意力网络(Graph Attention Networks,GAT)学习含有社交关系的用户特征;其次,构建用户与POI的标号交互二部图,基于标号二部图神经网络(Signed Bipartite Graph Neural Networks,SBGNN)学习含有用户POI交互偏好的用户特征与POI特征;构建POI有向转移图,基于会话图神经网络(SessionBased Recommendation with Graph Neural Networks,SRGNN)学习含有用户POI转移偏好的POI特征;之后,融合含有社交关系的用户特征与含有POI交互偏好信息的用户特征得到最终的用户特征表示,融合含有用户POI交互偏好的POI特征与含有用户POI转移偏好的POI特征,得到最终的POI特征表示;最后,将用户特征表示与POI特征表示做乘积操作,通过Sigmoid函数得到用户对每个POI的预测评分,并以此向用户推荐Top-K POI序列.基于三个公共数据集(Gowalla,Foursquare和Yelp)开展了大量的实验,结果表明,与七种基线模型的推荐效果相比,提出的方法的准确率和召回率分别平均提升19.95%和1.35%.

基于图注意力的异构图社交推荐网络

针对现有社交推荐算法忽视了用户潜在关联和项目之间的协作关系,提出了一个新的算法模型GATHGN(GAT based heterogeneous graph neural network),在该模型框架中对用户关联和项目关系统一建模。首先,挖掘用户显式社交关系、潜在关联关系和用户—项目关联关系,从而提取用户社交高阶特征和潜在兴趣高阶特征;而后,基于图注意力机制聚合上述两种高阶特征,逐层更新用户融合特征;最后,依据更新的用户融合特征与项目特征计算最终的推荐结果。在Yelp数据集和Flickr数据集上的实验结果表明,GATHGN的命中率与归一化折损累计增益较基线算法有显著提升。

基于双层注意力机制的篇章级事件真实性检测

自然语言文本中的事件真实性指作者对给定事件存在于客观世界中的确定性程度的描述,正确识别文本中事件的真实性,有助于对自然语言进行深层语义理解。同时,事件真实性检测对诸多自然语言处理应用,如观点检测、事件图谱构建、情感分析等具有重要意义。目前,大多数事件真实性检测研究集中在句子级任务上,而在同一篇章中,经常出现针对同一事件真实性表述不同的情况,此时仅在句子层面识别事件真实性可能会导致矛盾。针对该问题,该文提出了一个基于双层注意力机制的篇章级事件真实性检测方法。首先,利用预训练语言模型BERT对句子进行编码;其次,采用图注意力网络学习句子中的上下文信息与事件之间的依赖关系;最后,利用文档级注意力机制抽取不同句子序列之间的潜在关联,从事件序列集合中获取篇章级事件真实性的最终特征表示。实验结果验证了该方法的有效性,在英文和中文数据集上的实验结果显示,该文所提出方法F1值分别达到87.91%和87.92%,与目前最好系统相比,分别提升了1.40%和1.28%。

基于话题注意力和依存句法信息的文本立场分析

文本立场分析旨在从用户发表的文本中推测其对特定话题的看法,如支持、反对、中立等态度。传统的立场分析研究往往采用卷积神经网络或者长短时记忆网络等深度学习模型学习文本的基本语义信息,忽略了文本蕴含的句法结构信息。针对这一问题,文中设计实现了基于话题注意力和依存句法的文本立场检测模型——AT-BiLSTM-GAT,在BiLSTM提取的文本上下文信息基础上,采用GAT进一步学习文本语言学层次的依存句法信息。同时设计实现一种融合上下文语义信息的话题注意力机制,采用缩放点积注意力学习立场文本中与话题相关的重要内容,在公开数据集上的对比实验证明了AT-BiLSTM-GAT模型的高效性。最后,针对立场分析研究数据集存在规模较小的问题,设计实现了一种基于WordNet同义词库与WebVectors词嵌入模型的同义词替换数据增强方案WWDA,保证了同义词替换过程的词性正确性和语义相似性,通过实验证明其可以生成更多高质量样本,提升模型的检测性能。

基于图分类的中文长文本匹配算法

判断一对文章之间的关系是一项很重要的自然语言处理任务,在新闻系统和搜索引擎等实际服务中有着广泛的应用。然而,相比在信息检索场景中去匹配一对句子或者匹配一个查询-文档对而言,长文章通常具有丰富的语义信息和复杂的逻辑结构,这也使得长文章之间的匹配成为一个相对独立且很有挑战的任务。本文围绕长文章匹配的难点,提出了基于图分类框架的长文本匹配算法,通过将长文本匹配任务等价的转化为图分类任务,使用图表示学习的范式来求解,从而获得长文本匹配的结果。算法模型主要包括基于图表示学习来实现对长文本的建模,基于图注意力神经网络的图节点特征提取,以及图池化等步骤。在两个大型公开数据集上的训练和测试实验结果表明:本文提出的算法可以实现高质量的文本匹配,同时各项评价指标均达到了目前最先进的结果。

基于GAT与SVM的区块链异常交易检测

公有链因为透明公开而面临着众多恶意交易和非法加密活动的问题,这造成了区块链出现异常交易,对用户的资产和信息安全造成严重损害。针对区块链异常交易问题,提出一种关注区块链事务图局部结构邻节点特征与联系,基于图注意神经网络(graph attention network, GAT)与支持向量机(support vector machine, SVM)相融合的区块链异常交易检测方法——GAS(graph attention network and support vector machine)。采用随机森林对节点交易数据特征进行重要性评估,并选取降序排列后前140个重要特征,再结合邻节点特征,利用GAT对当前节点进行特征更新,更新后的特征作为SVM的输入,从而实现异常检测。实验结果表明,相比非融合方法,GAS检测结果性能更优,准确率可达98.11%,精度可达94.01%以及召回率可达85.48%。

基于脑电多域特征融合的跨任务认知负荷研究

为探究不同认知负荷下的人脑活动,设计了三种实验范式(N-Back、心算和Sternberg),采集被试者在三类认知负荷下的脑电图(electroencephalogram,EEG)信号,并对EEG信号进行预处理、特征提取和特征分类。模型通过相位锁相值(phase locking value,PLV)计算了EEG的功能连接特征,将PLV功能连接矩阵作为脑功能网络的边;以微分熵特征作为网络的节点信息,实现EEG频域与空间域特征的融合,利用图注意力神经网络完成了跨任务的认知负荷分类。模型在跨任务三分类认知负荷识别中取得了57.12%的平均分类准确率。基于复杂网络理论,从全局和局部两个层次分析了不同负荷状态下大脑网络结构的变化,随着认知负荷程度增加,theta与alpha频段的全局聚类系数逐渐减小,delta与theta频段的全局效率则有所提高;theta频段下的额叶、顶叶与颞叶脑区电极的局部效率呈上升趋势。网络全局与局部的度量变化表明随着人脑认知负荷程度的提高,功能脑网络的拓扑结构在发生改变。