基于异构图表示的中医电子病历分类方法

中医(TCM)电子病历由于结构复杂多样与诊疗术语不规范的特点导致数据挖掘难度大、利用率低、难以抽取到有效信息。针对上述问题,提出基于LERT(Linguistically-motivated bidirectional Encoder Representation from Transformer)预训练模型与图卷积网络(GCN)并用异构图表示的中医电子病历分类模型TCM-GCN,用于改善中医电子病历特征有效表征的提取与分类。首先,利用LERT层词嵌入的方式将病历转换为句向量融入异构图中,以补全图结构缺失的病历整体语义特征;随后,为了缓解中医电子病历结构特点对特征提取产生的负面影响,异构图将关键词加入节点,使用BM25与点间互信息(PMI)算法构建图中“病历-关键词”“关键词-关键词”的边以表达病历的特征;最后,TCM-GCN依靠LERT-BM25-PMI构建的异构图对病历之间的特征关系进行聚合与抽取,完成病历分类的任务。在中医电子病历数据集上的实验结果表明,相较于次优的LERT,TCM-GCN加权平均后的准确率、召回率、F1值分别提升了2.24%、2.38%、2.32%,验证了算法在捕捉病历间隐含特征与中医电子病历分类工作上的有效性。

基于异构图神经网络的半监督网站主题分类

互联网网站数量快速增长使现有方法难以准确分类特定网站主题,如基于URL的方法无法处理未反映在URL中的主题信息,基于网页内容的方法受到数据稀疏性和语义关系捕捉的限制。为此,提出一种基于异构图神经网络的半监督网站主题分类方法HGNN-SWT。该方法不仅利用网站文本特征来弥补仅使用URL特征的不足,还利用异构图对网站文本和词语的稀疏关系进行建模,通过处理图中的节点和边关系来提高分类性能。同时引入基于随机游走的邻居节点采样方法,考虑节点的局部特征和全局图结构,并提出特征融合策略,捕捉网站文本数据的上下文关系和特征交互。通过在自制的Chinaz Website数据集上的实验,证明了HGNN-SWT方法在网站主题分类任务中相较于现有方法具有更高的准确率。

一种基于窗口机制的口语理解异构图网络

口语理解(spoken language understanding,SLU)是面向任务的对话系统的核心组成部分,旨在提取用户查询的语义框架.在对话系统中,口语理解组件(SLU)负责识别用户的请求,并创建总结用户需求的语义框架,SLU通常包括两个子任务:意图检测(intent detection,ID)和槽位填充(slot filling,SF).意图检测是一个语义话语分类问题,在句子层面分析话语的语义;槽位填充是一个序列标注任务,在词级层面分析话语的语义.由于意图和槽之间的密切相关性,主流的工作采用联合模型来利用跨任务的共享知识.但是ID和SF是两个具有强相关性的不同任务,它们分别表征了话语的句级语义信息和词级信息,这意味着两个任务的信息是异构的,同时具有不同的粒度.提出一种用于联合意图检测和槽位填充的异构交互结构,采用自注意力和图注意力网络的联合形式充分地捕捉两个相关任务中异构信息的句级语义信息和词级信息之间的关系.不同于普通的同构结构,所提模型是一个包含不同类型节点和连接的异构图架构,因为异构图涉及更全面的信息和丰富的语义,同时可以更好地交互表征不同粒度节点之间的信息.此外,为了更好地适应槽标签的局部连续性,利用窗口机制来准确地表示词级嵌入表示.同时结合预训练模型(BERT),分析所提出模型应用预训练模型的效果.所提模型在两个公共数据集上的实验结果表明,所提模型在意图检测任务上准确率分别达到了97.98%和99.11%,在槽位填充任务上F1分数分别达到96.10%和96.11%,均优于目前主流的方法.

基于异构图分层学习的细粒度多文档摘要抽取

抽取的目标是在多个文档中提取共有关键信息,其对简洁性的要求高于单文档摘要抽取。现有的多文档摘要抽取方法通常在句子级别进行建模,容易引入较多的冗余信息。为了解决上述问题,提出一种基于异构图分层学习的多文档摘要抽取框架,通过层次化构建单词层级图和子句层级图来有效建模语义关系和结构关系。针对单词层级图和子句层级图这2个异构图的学习问题,设计具有不同层次更新机制的两层学习层来降低学习多种结构关系的难度。在单词层级图学习层,提出交替更新机制更新不同的粒度节点,以单词节点为载体通过图注意网络进行语义信息传递;在子句层级图学习层,提出两阶段分步学习更新机制聚合多种结构关系,第一阶段聚合同构关系,第二阶段基于注意力聚合异构关系。实验结果表明,与抽取式基准模型相比,该框架在Multinews数据集上取得了显著的性能提升,ROUGE-1、ROUGE-2和ROUGE-L分别提高0.88、0.23和2.27,消融实验结果也验证了两层学习层及其层次更新机制的有效性。

基于异构图和关键词的抽取式文本摘要模型

抽取式文本摘要使用一定的策略从冗长的文本中选择一些句子组成摘要,其关键在于要尽可能多地利用文本的语义信息和结构信息。为了更好地挖掘这些信息,进而利用它们指导摘要的抽取,提出了一种基于异构图和关键词的抽取式文本摘要模型(HGKSum)。该模型首先将文本建模为由句子节点和词语节点构成的异构图,在异构图上使用图注意力网络学习节点的特征,之后将关键词抽取任务作为文本摘要任务的辅助任务,使用多任务学习的方式进行训练,得到候选摘要,最后对候选摘要进行精炼以降低冗余度,得到最终摘要。在基准数据集上的对比实验表明,该模型性能优于基准模型,此外,消融实验也证明了引入异构节点和关键词的必要性。

HetGNN-3D:基于异构图神经网络的3D目标检测优化模型

3D感知是自动驾驶场景的核心问题,传感器融合可以综合利用激光雷达和摄像机的优点以达到更高的3D目标检测准确率.传感器融合涉及点云到图像对准问题,预先对传感器标定可以得到点到图像位置的投影关系,然而这种对准方式受传感器相对位置偏移与采集时间偏移影响而在干扰下对模型产生负面影响.针对该问题,本文把场景中实体在各个传感器下的不同表达作为不同对象,以对象为节点建立包含两类节点与三类边的异构图描述该场景,并提出了基于该异构图的3D目标检测优化模型HetGNN-3D.该模型通过图结构捕获对象间潜在联系并找到点云对象节点与图像对象节点间对应关系,从而减弱干扰带来的影响.HetGNN-3D包含图初始化、消息传递、图读出三大模块.图初始化模块使用基于点云的3D目标检测模型的输出和基于图像的2D目标检测模型的输出建立对象级异构图.消息传递模块针对异构图特性分类聚合与更新消息.图读出包含用于对象关系预测的边读出与属于同一实体的对象子图读出,然后基于对象子图得到3D目标检测结果.在nuScenes数据集的实验表明,HetGNN-3D有效融合点云信息与图像信息优化了3D目标检测结果,此外,基于对象级异构图的边关系预测使融合过程与预先标定得到的传感器映射矩阵解耦合,从而提升了融合模型的容错性与鲁棒性.

基于元路径卷积的异构图神经网络算法

现有异构图嵌入方法在多层图卷积计算中,通常将每个节点表示为单个向量,使得高阶图卷积层无法区分不同关系和顺序的信息,导致信息在传递过程中丢失。为解决该问题,提出了基于元路径卷积的异构图神经网络算法。该方法首先利用特征转换自适应调整节点特征;其次,设计了元路径内卷积挖掘节点高阶间接关系,捕获目标节点在单元路径下与其他类型节点之间的交互关系;最后,通过自注意力机制探索语义之间的相互性,融合来自不同元路径的特征。在ACM、IMDB和DBLP数据集上进行广泛实验,并与当前主流算法进行对比分析。实验结果显示,节点分类任务中Macro-F1平均提高0.5%~3.5%,节点聚类任务中ARI值提高了1%~3%,证明该算法是有效、可行的。

基于异构图嵌入的恶意软件检测

和同构图相比,异构图包含多种节点类型和关系类型,可以表征更丰富更复杂的内容。文中提出了一种基于异构图嵌入的恶意软件检测方法,从威胁情报平台得到恶意样本的基本信息和行为报告,提取出报告中的函数调用行为、文件行为和注册表行为,构造出包含软件及其动静态特征的异构图;根据设计的元模式在图上随机游走生成语料库,通过嵌入模型得到特征向量;将嵌入降维后的特征向量送入分类器进行分类完成检测。实验筛选了4902个样本用于验证方法效果,结果表明提出的方法检测准确率达到99.1%,可以有效检测恶意软件。

融合背景知识的异构图虚假新闻检测方法研究

如今虚假新闻检测任务越来越受人们重视。本文考虑到不同的新闻具有涉及领域众多、隐含背景信息丰富的特点,提出利用新闻中的实体链接到领域广、信息全的维基百科,挖掘新闻潜在的背景信息与结构化三元组信息组成异构图,丰富新闻的表示。为了学习并更新建模后新闻异构图的特征向量,在图卷积网络的基础上,提出了一个基于语义距离的图卷积网络注意力模型DGAT (Distance Graph Attention Network, DGAT)。具体的,通过赋予异构图中不同类型节点不同的变化矩阵,将不同类型的节点映射到相同的公共空间中,解决了GCN模型不能直接应用在异构图上的局限。针对本文建模的新闻异构图特点,引入了基于新闻语义距离的注意力机制,以捕获融合了外部知识后,新闻与背景知识的语义一致性,最终输入分类器中进行虚假新闻检测。在公开数据集上进行的实验表明了本文方法的有效性。

基于门控双层异构图注意力网络的半监督短文本分类

针对现有的基于异构图神经网络的短文本分类方法未充分利用节点之间的有效信息,以及存在的过拟合问题,文中提出基于门控双层异构图注意力网络的半监督短文本分类方法(Semi-Supervised Short Text Classification with Gated Double-Layer Heterogeneous Graph Attention Network,GDHG).GDHG包含节点注意力机制和门控异构图注意力网络两层.首先,使用节点注意力机制,训练不同类型的节点注意力系数,再将系数输入门控异构图注意力网络,训练得到门控双层注意力.然后,将门控双层注意力与节点的不同状态相乘,得到聚合的节点特征.最后,使用softmax函数对文本进行分类.GDHG利用节点注意力机制和门控异构图注意力网络的信息遗忘机制对节点信息进行聚集,得到有效的相邻节点信息,进而挖掘不同邻居节点的隐藏信息,提高聚合远程节点信息的能力.在Twitter、MR、Snippets、AGNews四个短文本数据集上的实验验证GDHG性能较优.

多重注意力指导下的异构图嵌入方法

现有的异构图嵌入学习方法存在两个方面的问题,一是没有考虑不同节点属性间的深层联系,二是通过注意力机制聚合邻居节点来生成目标节点的向量表示,忽略了目标节点的特征在向量表示中起的作用。为解决上述问题,本文提出了一种多重注意力指导下的异构图神经网络,从点-线-网3个角度学习异构节点嵌入向量。使用双向长短期记忆模型(bidirectional long short-term memory networks,Bi-LSTM)挖掘不同节点的属性间的深层关联关系并将其映射到同一向量空间,利用级联网络对单条元路径实例上的邻居节点和目标节点的特征信息进行融合,从而增强嵌入向量对目标节点信息的表达能力,提出一种多重注意力机制来聚合多条元路径实例上的节点信息,生成最终的节点嵌入向量表示。在3个大型异构图上的实验结果表明,本文提出的模型在异构图嵌入的效果方面优于现有基线模型,并且对于增强节点属性信息上的表达展现出了良好的性能。

基于学生-问题关联的异构图知识追踪模型

知识追踪旨在评估学习者的学习状态,并根据先前的答题情况预测他们未来的答题表现.然而现有的知识追踪模型大多仅关注问题或技能间的关联,忽略了学生与问题间的结构关系.为此我们提出了基于学生问题关联的异构图知识追踪模型(StudentProblem association based heterogeneous graph Knowledge Tracing model,SPKT).该模型在知识追踪中融合了学生的学习能力和问题的重要性,并使用图注意力网络学习学生问题间的关联,获得学生、问题的嵌入表示并进行知识状态的预测.通过在真实公开数据集上的性能对比和模型消融实验,并可视化SPKT模型的知识追踪效果,证明了SPKT在预测性能上优于现有的知识追踪模型.

基于异构图神经网络的高考阅读理解问答研究

机器阅读理解是自然语言处理领域的核心任务,高考阅读理解自动问答是近年来阅读理解任务中的重要挑战。由于高考题难度较大,同时高考阅读理解问答的数据集较少,导致传统的方法答题效果欠佳。基于此,该文提出一种基于异构图神经网络的答案句抽取模型,将丰富的节点(句子节点、词语节点)和节点之间的关系(框架关系、篇章主题关系)引入图神经网络模型中,问句不仅可以通过中继词语节点与候选句节点进行交互,还可以通过框架语义和篇章主题关系与候选节点进行相互更新。不同类型的语义节点和多维度的语义关系可以帮助模型更好地对信息进行筛选、理解和推理。模型在北京高考语文真题上进行测试,实验结果表明,基于图神经网络的问答模型答题效果优于基线模型,F1值达到了78.08%,验证了该方法的有效性。

基于多粒度实体异构图的篇章级事件抽取方法

篇章级事件抽取是一项面向多个句子长文本的事件抽取任务,现有的篇章级事件抽取研究一般将事件抽取分为候选实体抽取、事件检测和论元识别3个子任务,且通常采用联合学习的方式进行训练。然而,已有篇章级事件抽取方法大都采用逐句的方式抽取候选实体,未考虑跨句的上下文信息,明显降低了实体抽取和论元识别的精度,影响了最终的事件抽取效果。基于此,文中提出了一种基于多粒度实体异构图的篇章级事件抽取方法。该方法分别采用Transformer和RoBerta两个独立的编码器进行句子级和段落级实体抽取;同时,提出了多粒度实体选择策略,从句子实体集和段落实体集中选择更可能是论元的实体,并进一步构造融入多粒度实体的异构图;最后,利用图卷积网络获得具有篇章级上下文感知的实体和句子表示,进行事件类型和事件论元的多标签分类,实现事件检测和论元识别。在ChFinAnn和Duee-fin数据集上进行了实验,结果表明,所提方法比以往的方法在F1值方面分别提高了约1.3%和3.9%,证明了该方法的有效性。

面向民航事故报告的异构图摘要模型研究

民航事故跟踪调查报告隐藏着大量民航安全信息,对其进行提炼与理解是后续安全监督与管理的基础。然而当前自动文本摘要模型主要集中在新闻等通用领域,移植到专业领域内会忽略很多民航领域关键信息。为此,提出了一种基于实体要素异构图的抽取式摘要模型EHGA,利用民航事故实体引导跨句关系图构建,提高模型对民航事故报告文本理解力,EHGA模型由三部分构成,分别为民航实体抽取模块、异构图注意力模块和文本筛选模块。首先,依据民航局颁发规范文件标注民航事故报告中实体,在实体抽取模块获得实体节点;随后根据实体与句子重叠构建实体句子边,将文本转换为由句子节点和实体节点构成民航事故异构图;最后采用异构图注意力机制学习句子特征表示,并使用Trigram blocking策略对句子进行排序,在充分保留文本语义信息时降低冗余。以861篇民航事故调查跟踪报告作为语料构建对比试验,结果表明,EHGA模型相比基于预训练模型在ROUGE评价中取得均值5.34%的性能提升。

融合用户评论和异构图神经网络的景点分类

科技的发展使得数据量呈爆炸式增长,从数据中挖掘有价值的信息成为各行业研究的热点.旅游景点类型的准确划分,对于推动文化旅游产业发展具有重要意义.对此,论文融合景点评论构建景点异质信息网络,提出了SGAE(Scenic Spot Heterogeneous Graph Attention Embedding)模型.首先,从旅游网站和百科网站爬取国内部分5A和部分4A景点的描述以及景点的评论数据,通过对数据的处理和分析,从评论中挖掘出10个相关主题,构建由景点名称、景点评论和评论主题组成的异质信息网络;其次,将不同类型节点信息映射到同一空间,构造异质图卷积的逐层传播规则;然后,根据邻居节点的类型和节点的不同对某一具体节点的影响不同,将双层注意力引入异质图卷积网络中,提出SGAE模型,学习景点名称的低维特征表示,通过Softmax函数进行归一化,确定景点类型;最后,在景点数据集上与经典分类算法对比,所提出的SGAE模型在准确率和F1值较当前最优方法分别提高5%和4%,在公共数据集AGNews和MR上SGAE模型性能优于所有对比模型,且与分类效果最好的HGCN-RN模型相比,SGAE在AGNews上准确率和F1值分别提升了1.95%和1.98%,在MR上准确率和F1值分别提升了3.92%和6.96%,充分验证了论文所提算法在分类任务上的有效性.总之,针对景点分类问题,论文所提出的SGAE模型有效的提高了旅游景点分类问题的效果,具有较好的应用前景.

采用新型元路径的异构图表示学习方法

图神经网络已经成为推荐系统领域的一种主要方法。很多研究把元路径融入到异构图神经网络中,但绝大多数元路径的定义方式只考虑节点之间是否存在连接。而在异构图中同一个节点可能被多条不同类型的边所连接,如用户对物品的浏览、加入购物车、购买等不同交互行为,按照传统的元路径定义方式进行实例化会因为忽略了边的类型而导致学习的节点embedding不准确。针对上述问题,提出一种在异构图上把边类型融入到元路径的方法,使节点在每个场景下得到单独训练。然后,使用图注意力机制将不同场景下的同一节点的embedding进行聚合,最终得到该节点的embedding。并用来预测用户与未交互的物品之间的行为关系,从而达到向用户推荐物品的目的。实验表明,提出的算法在三个公开数据集上都取得了性能提升,在阿里天池赛数据集上F1、ROC-AUC和PR-AUC指标分别提高了8.75%、6.03%和4.86%。

利用异构图神经网络实现情绪-原因对的有效抽取

情绪-原因对的自动抽取,是文本情感分析的新任务,旨在以子句为单位,从不带任何标注的原始文本中识别情绪表达,并确定产生相应情绪的原因,形成情绪-原因对。完成上述任务的关键是有效捕捉情绪和原因之间以及不同情绪-原因对之间的关联。针对现有研究在捕捉这些关联方面存在的粒度过粗、无法有效区分不同子句对之间因果关系的相互影响等不足,提出了一种基于异构图神经网络的情绪-原因对抽取方法。该方法首先构建以子句和子句对为顶点的异构图,其中子句和子句对之间以及不同的子句对之间存在不同类型的边,用于捕捉各种细粒度的关联;然后采用带有注意力机制的异构图神经网络顶点表达更新算法,对子句和子句对的初始表达进行迭代更新;接着将更新后的子句对表达输入到二元分类器,通过该分类器判断相应的子句对是否存在情绪-原因关系。在情绪-原因对抽取任务的基准数据集上进行的实验表明,所提基于异构图神经网络的方法具有稳定的效果提升,在F1值上比当前最好的方法高0.85%;如果底层编码器(用于得到初始的子句表达和子句对表达)采用BERT,F1值可以达73.12%,也优于底层编码器同样采用BERT的现有最新算法。

基于异构图的双通道交叉自适应对比学习推荐

通过用户多行为进行推荐任务中,各个行为通常不是独立作用的,行为之间的协同作用和依赖关系挖掘更能增强用户行为模式建模,反映用户偏好.而用户多行为关系的引入也会增加用户物品交互图与表征空间中的异质性(heterogeneity).针对上述问题,本文设计了一种基于异构图的双通道交叉自适应对比学习推荐模型MB-DCAC(Multi-Behavior Recommendation through Dual-channel Cross-Adaptive Contrast learning),创新性的从异构数据卷积过程构建对比学习方案,并基于异构连接进行表征属性增强,以提升模型挖掘用户行为模式与表达能力.实验结果表明,本文模型在Tmall、IJCAI-Context、Beibei三个数据集上,相较于基准模型在HR@10指标上分别提升了16.7%、18.3%、2.76%.且模型在挖掘多行为之间的依赖挖掘等任务上表现优异.

跨模态多视角自监督的个性化食谱推荐异构图网络

为了更好地建模食物不同内容信息之间的关系,提出一种基于跨模态多视角自监督异构图网络的个性化食物推荐模型.首先,基于用户､食物以及食材,构建异构图;其次,基于信息传递,学习建模信息之间的复杂层级关系;再次,利用食物节点特征､食物食材特征以及食物图像特征,构建跨模态多视角对比自监督学习任务增强食物节点的表示;最后,利用用户表示以及基于注意力模块融合得到的食物综合表示完成食物推荐.在大规模食物推荐数据集上的实验结果表明,该方法比最优的基线方法在AUC,NDCG@10和Recall@10这3个指标上分别提升6.35%,8.13%和11.7%,从而证明了该方法的有效性.