超图神经网络综述

近年来,图神经网络借助大量数据和超强计算能力在推荐系统和自然语言处理等应用领域取得显著成效,它主要处理具有成对关系的图数据.但许多现实网络中的对象之间的关系是复杂的非成对关系,如科研合作网络、蛋白质网络等.若直接用图结构将这种复杂的关系表示为成对关系,会导致信息丢失.超图是一种灵活的建模工具,可以展现出图无法完整刻画的高阶关系,弥补了图的不足.鉴于此,研究者开始关心如何在超图上设计神经网络,并相继提出应用于下游任务的超图神经网络模型(hypergraph neural network,HGNNs).故对现有的超图神经网络模型进行综述,首先全面回顾超图神经网络在过去3年的研究历程;其次根据设计超图神经网络采用的方法不同对其进行分类,并详细地阐述代表性的模型;然后介绍了超图神经网络的应用领域;最后总结和探讨了超图神经网络未来的研究方向.

基于动态自适应图神经网络的电动汽车充电负荷预测

电动汽车充电站负荷波动的不确定性与长时间预测任务给提升充电负荷预测精度带来巨大的挑战。文中提出一种基于动态自适应图神经网络的电动汽车充电负荷预测算法。首先,构建了一个充电负荷信息时空关联特征提取层,将多头注意力机制与自适应相关图结合生成具有时空关联性的综合特征表达式,以捕获充电站负荷的波动性;然后,将提取的特征输入到时空卷积层,捕获时间和空间之间的耦合关系;最后,通过切比雪夫多项式图卷积与多尺度时间卷积提升模型耦合长时间序列之间的能力。以Palo Alto数据集为例,与现有方法相比,所提算法在4种波动情况下的平均预测误差大幅降低。

基于双节点-双边图神经网络的茶叶病害分类方法

传统茶叶病害分类主要依赖人工方法,此类方法费工费时,同时茶叶病害样本较少使得现有的机器学习方法的模型训练不充分,病害分类准确率不够高。针对茶炭疽病、茶黑煤病、茶饼病和茶白星病4类病害,提出一种基于双节点-双边图神经网络的茶叶病害分类方法。首先通过两分支卷积神经网络提取RGB茶叶病害特征和灰度茶叶病害特征,两分支均采用ResNet12作为骨干网络,参数独立不共享,两类特征作为图神经网络的两个子节点,以获得不同域样本所包含的病害信息;其次构建相对度量边和相似性边两类边,从而强化节点对相邻节点所含病害特征的聚合能力。最后,经过双节点特征和双边特征更新模块,实现双节点和双边交替更新,提高边特征对节点距离度量的准确性,从而实现训练样本较少条件下对茶叶病害的准确分类。本文方法和小样本学习方法进行了对比实验,结果表明,本文方法获得更高的准确率,在miniImageNet和PlantVillage数据集上5way-1shot的准确率分别达到69.30%和88.42%,5way-5shot准确率分别为82.48%和93.04%。同时在茶叶数据集TeaD-5上5way-1shot和5way-5shot准确率分别达到84.74%和86.34%。

注意力感知的边−节点交换图神经网络模型

提出了一种注意力感知的边-节点交换图神经网络(attention aware edge-node exchange graph neural network,AENN)模型,在图结构化数据表示框架下,使用边-节点切换卷积的图神经网络算法进行图编码,用于半监督分类和回归分析。AENN是一种通用的图编码框架,用于将图节点和边嵌入一个统一的潜在特征空间。具体地,基于原始无向图,不断切换边与节点的卷积,并在卷积过程中通过注意力机制分配不同邻居的权重,从而实现特征传播。在3个数据集上的实验研究表明,所提方法较已有方法在半监督分类和回归分析中具有明显的性能提升。

基于多模态融合的图神经网络推荐算法

已有的图神经网络(GNN)推荐算法大多利用用户-项目交互图的节点编号信息进行训练,学习用户-项目节点的高阶联系去丰富节点表示,但忽略了用户对不同模态信息的偏好,没有利用项目的图片、文本等模态信息,或对于不同模态特征的融合简单相加,不能区分用户对不同模态信息的偏好。针对上述问题,提出多模态融合的GNN推荐模型。首先针对单个模态,结合用户-项目交互二部图构建单模态图网络,在单模态图中学习用户对此模态信息的偏好;然后利用GAT聚合邻居信息,丰富本节点表示,同时根据门控循环单元决定是否聚合邻居信息,达到去噪效果;最后将各个模态图学习到的用户、项目表示通过注意力机制融合得到最终表示并送入预测模块。在MovieLens-20M、H&M两个数据集上的实验结果表明:多模态信息、注意力融合机制能有效提升推荐的准确度,算法模型在Precision@K、Recall@K和NDCG@K 3个指标上相较于基线最优算法均有显著提升;当评估指标K值选取10时,Precision@10、Recall@10和NDCG@10在两个数据集上分别提升了4.67%、2.42%、2.03%和2.49%、5.24%、2.05%。

面向图神经网络模型提取攻击的图数据生成方法

无数据模型提取攻击是基于攻击者在进行攻击时所需的训练数据信息未知的情况下提出的一类机器学习安全问题。针对无数据模型提取攻击在图神经网络(GNN)领域的研究缺乏,提出分别用GNN可解释性方法GNNExplainer和图数据增强方法GAUG-M优化图节点特征信息和边信息生成所需图数据,最终提取GNN模型的方法。首先,利用GNNExplainer方法对目标模型的响应结果进行可解释性分析得到重要的图节点特征信息;其次,通过对重要的图节点特征加权,对非重要图节点特征降权,实现图节点特征信息的整体优化;然后,使用图形自动编码器作为边信息预测模块,根据优化后的图节点特征得到节点与节点之间的连接概率;最后,根据概率增加或者删减相应边优化边信息。实验采用5个图数据集训练的3种GNN模型架构作为目标模型提取攻击,得到的替代模型达到了73%~87%的节点分类任务准确性和76%~89%的与目标模型性能的一致性,验证了所提方法的有效性。

基于图神经网络的零件机加工特征识别方法

针对现有基于深度学习的方法存在的难以识别相交特征、无法精确确定加工特征面的问题,提出基于图神经网络的加工特征识别方法.通过压缩激励模块提取节点与邻接边的特征,构建节点级与邻接边级的双层注意力网络,分割每个节点对应的加工特征.该方法充分利用了零件模型的面特征与边特征,结合零件模型的拓扑结构,基于注意力机制对特征信息进行深度学习,可以有效地解决非面合并相交特征的识别问题.在多加工特征零件数据集上,将该方法与其他3种特征识别方法进行实验对比,在准确率、平均类准确率和交并比3项指标上均取得最优结果,识别准确率高于95%.

基于多层级时空图神经网络的风电机组在线异常检测

在风电场运营中,准确及时的故障检测是降低风电机组运行维护成本的关键。然而,现有检测方法未充分挖掘功能单元间的潜在时空关联,限制了检测准确性的提升。文中提出了一种基于多层级时空图神经网络的风电机组在线异常检测方法,以提高故障检测的准确性。该方法依据风电机组物理结构,将其功能单元划分为多个子图,从而构筑了一个多层级的时空图神经网络,通过图注意力机制和多头注意力机制全方位地分析风电机组各传感器节点与功能单元之间的关联强度。同时,针对数据采集与监控(SCADA)系统数据的时间关联,设计了动态图神经网络和时间注意力机制,使正常行为预测模型捕捉了SCADA系统数据的时间关联特性,实现了空间和时间特性的有效融合。最后,基于中国上海某风电场的实际数据验证了所提方法的显著有效性。

变工况下动态卷积域对抗图神经网络故障诊断

针对基于无监督域自适应故障诊断方法忽略了域间数据结构信息、传统域对齐平均最大差异法全局泛化能力差等问题,本文提出一种基于无监督域自适应理论的动态卷积域对抗图神经网络故障诊断模型,分别通过对数据的类别标签、域标签和数据结构信息进行建模。通过分类器和域鉴别器分别建模类别标签和域标签,通过图神经网络将数据结构信息嵌入到实例图节点中,利用高斯Wasserstein距离来度量不同领域的实例图之间的差异。本文对比了不同工况下共14种迁移任务在各模型下故障识别的准确率。实验结果表明:基于动态卷积的域对抗图神经网络模型在变工况下的故障诊断效果均优于其他对比模型,且模型性能稳定。

混合图神经网络和门控循环网络的短期光伏功率预测

为了能从大量历史光伏发电数据中提取出有效的时序特征以及在非欧几里得域中的关联,建立了基于混合图神经网络以及门控循环网络的短期光伏功率预测模型。该模型首先通过最邻近分类算法生成气象及出力数据的最邻近图,再将其结合图神经网络作为编码器对气象及出力数据进行编码形成时间序列,最后通过门控循环网络以及全连接层解码输出光伏功率预测结果。通过仿真分析验证,该模型具有更优的特征挖掘能力和分析性能,能更好地突出某时间节点的气象及出力数据特征,适应天气突变带来特征变化,从而提升光伏预测整体模型的表达能力。

一种用于多域对话状态追踪的知识增强与自注意力引导的图神经网络

对话状态追踪是对话系统的重要组成部分,旨在从用户与系统的对话中跟踪用户意图,其通常表示为槽位-槽值对序列.近年来,深度神经网络模型在对话状态追踪问题上取得了较大进展.然而,现有模型在槽位相关性建模方面还存在可拓展性差与易引入噪声等问题.针对上述问题,本文提出了一种知识增强与自注意力引导的图神经网络KESA-GNN(Knowledge-Enhanced&Self-Attention Guided Graph Neural Network).首先,KESA-GNN通过外部知识嵌入增强槽的语义表征提升多头自注意力机制对槽位间相关性的辨别能力.其次,为了精确建模槽位间的诸如共指、共现等相关性,提出了一种自注意力引导的图神经网络建模槽位相关性.该网络采用多头注意力机制获得槽位间的注意力矩阵以及槽位表征,通过Max-N Relation算法获得注意力矩阵中强相关关系集,将稠密的注意力矩阵稀疏化,从而引导图神经网络中强相关槽位间的信息传播,降低无关槽位的噪声影响.最后,KESA-GNN采用门控融合机制过滤槽位多头注意力和图神经网络输出的槽位表征,从而获取更准确的槽位表征向量,进一步提升了KESA-GNN的鲁棒性.在多域对话数据集上的实验结果表明,KESA-GNN模型的性能优于最新的基线模型.

可信的图神经网络节点分类方法

为了研究节点特征表示的不确定性对节点分类的影响,提出一种可信的图神经网络节点分类方法。算法使用径向基函数计算节点间距离,得到各类节点质心后,根据距离分配与未标记节点最近质心的类别标签提高节点分类性能,同时定义未标记节点和质心之间的距离为模型输出的不确定性,并使用梯度惩罚损失加强输入变化的可检测性,可以有效地检测分布外节点样本。在Cora、Citeseer和Pubmed这3个公开网络数据集上的结果表明:模型在分类任务的AUROC指标分别达到81.5%、76.2%和74.6%,在分布外样本检测任务中AUROC指标分别达到83.6%、72.8%和70.6%,证明了所提算法在提高节点分类性能的同时,可以有效检测分布外的节点样本,提高了节点分类的可信性。

基于双注意力机制图神经网络的智能合约漏洞检测方法

随着区块链技术的广泛应用,智能合约的内部逻辑越来越复杂。然而,目前大多数智能合约漏洞检测方法存在假阳性率高、检测准确率低等问题。为此,文章提出一种基于双注意力机制图神经网络的智能合约漏洞检测方法,用于智能合约漏洞检测,旨在提升检测的准确性和效率。文章在图卷积网络的卷积层中引入了多头注意力机制,并在特征传播阶段动态计算邻接节点信息对应的注意力权重。该机制使模型在特征聚合时更加关注与当前节点最相关的邻居节点,从而提升对重要特征的辨识能力。在图池化阶段,采用注意力池化机制选择和聚合节点特征,进一步提升对关键节点的关注度,提高了对漏洞检测影响较大特征的识别能力。文章采用以太坊智能合约漏洞样本数据集(ESC)进行实验,实验结果表明,与其他检测技术相比,文章所提方法在识别复杂智能合约漏洞方面具有更快的检测速度和更高的准确性。

基于图神经网络的法律文本共指消解模型

共指消解是确定上下文中的代词或名词短语所指的具体对象或实体,是自然语言处理(Natural Language Processing,NLP)的基本任务之一,对理解文本语义具有重要意义。现有的方法主要集中在一般领域的代词、所有格和名词短语的解析上,针对法律领域的研究较少。为了更好地学习法律文本中的知识,并消除共同指代现象,提出一种基于图神经网络的法律文本共指消解模型(Graph Neural Network for Coreference Resolution,CR-GNN)。所提CR-GNN可以促进法律文本挖掘中的一系列后续任务。利用预训练语言模型和双向门控循环单元(Bidirectional Gate Recurrent Unit,BiGRU)对法律文本进行编码;使用基于元任务的动态图卷积网络(Meta Dynamic Graph Convolutional Network,MDGCN)整合实体之间的引用关系;使用前馈神经网络(Feed-Forward Neural Network,FFNN)和Biaffine模型为候选对进行加权评估。CR-GNN可以有效识别实体之间的引用关系,并对实体依赖关系进行建模。在法庭记录文件数据集上进行大量实验,结果表明所提CR-GNN模型达到89.76%的F1分数,均高于现有基准模型。

基于混合图神经网络的多模态相关性时尚服饰兼容度预测研究

近年来,许多研究人员在多模态融合的研究中取得了显著效果。多模态比单模态具有更丰富的信息,然而,多模态融合过程中的类别共现频率偏差,使得服饰兼容度预测研究存在着巨大的挑战。因此,本研究提出了基于混合图神经网络的多模态相关性时尚服饰兼容度预测模型。该模型深度挖掘文本和视觉两个模态的相关性,并通过混合图神经网络解决多模态融合过程中类别共现频率偏差引起兼容度预测不准确的问题,提高服饰兼容度预测精度。该模型在Polyvore Outfits和Polyvore Outfits-D两个开源数据集上进行了服饰兼容度预测和填空任务的实验。结果显示,该模型在2个数据集中的服饰兼容度任务中分别取得了0.928和0.878的AUC值,在填空任务中分别取得了62.41%和56.83%的精确度,均优于比较的基准模型。

基于图神经网络的人工自然语言语义挖掘仿真

语义挖掘工具可从批量非结构化人工自然语言文本数据中准确提取有用信息,但是由于网络环境文本具备半结构化、多尺度、海量、复杂关联等属性,导致文本数据通常维度较高,且仅有小部分节点存在明确标签,因此语义挖掘难度较大。提出基于图神经网络的人工自然语言语义挖掘方法。结合多头注意力机制和半监督图卷积神经网络对人工自然语言文本降维处理。联合改进的模糊C均值聚类算法和免疫单亲遗传算法,构建人工自然语言语义挖掘算法。实验结果表明,研究方法的聚类纯度、准确率和召回率均高于95%,说明上述方法的应用性能较优。

用于多元时间序列预测的图神经网络模型

现有用于多元时序预测的图神经网络模型大多基于预定义图以静态的方式捕捉时序特征,缺少对于系统动态适应和对时序样本之间潜在动态关系的捕捉.提出用于多元时序预测的图神经网络模型(MTSGNN).该模型在一个图学习模块中,采用数据驱动的方式学习时间序列数据的静态图和动态演化图,以捕捉时序样本之间的复杂关系.通过图交互模块实现静态图和动态图之间的信息交互,并使用卷积运算提取交互信息中的依赖关系.利用多层感知机对多元时序进行预测.实验结果表明,所提模型在6个真实的多元时间序列数据集上的预测效果显著优于当前最先进的方法,并且具有参数量较小、运算速度较快的优点.

结合图对比学习的多图神经网络会话推荐方法

会话推荐根据匿名用户短期内的交互数据预测下一个交互物品。针对会话中物品少、物品长尾分布等特性,现有基于图对比学习的会话推荐模型提出对会话内物品采用随机裁剪、扰动等方式构造正负样本。然而,上述随机退出策略进一步缩减较短会话中的可用物品,使得会话更加稀疏,引起会话兴趣学习偏差。为此,提出了结合图对比学习的多图神经网络会话推荐方法。其核心思想是:在物品局部图、物品全局图等上提取融入物品局部和全局的高阶邻域物品表示,并生成物品级的会话表示,然后设计会话-会话图并学习会话级的会话表示,最后递归利用不同级别会话兴趣生成正负样本对,通过对比学习机制增强会话兴趣区分性。与退出策略相比,所提模型保留了完整的会话信息,实现了真正的数据扩充。在两个基准数据集上进行了大量实验,结果表明,该算法的推荐性能远优于主流基线方法。

融合时序门控图神经网络的兴趣点推荐方法

现有的大多数兴趣点(point of interest,POI)推荐系统由于忽略了用户签到序列中的顺序行为模式,以及用户的个性化偏好对于POI推荐的影响,导致POI推荐系统性能较低,推荐结果不可靠,进而影响用户体验。为了解决上述问题,提出一种融合时序门控图神经网络的兴趣点推荐方法。运用时序门控图神经网络(temporal gated graph neural network,TGGNN)学习POI embedding;采用注意力机制捕获用户的长期偏好;通过注意力机制融合用户的最新偏好和实时偏好,进而捕获用户的短期偏好。通过自适应的方式结合用户的长期和短期偏好,计算候选POI的推荐得分,并根据得分为用户进行POI推荐。实验结果表明,与现有方法相比,该方法在召回率和平均倒数排名这两项指标上均有较为明显的提升,因此可以取得很好的推荐效果,具有良好的应用前景。

结合语法规则和图神经网络的文本分类方法

图神经网络被广泛应用于文本分类任务,并取得了显著的效果.然而,现有基于图的文本分类模型存在全局上下文信息和局部特征信息提取不充分的问题.此外,现有方法在构建文本图时,仅在原始文本上使用滑动窗口建立单词之间的边,使模型无法捕捉到远距离的单词交互信息.针对上述问题,提出一种结合语法规则和图神经网络的文本分类模型.首先,在构建文本图时,除了使用滑动窗口在原始文本上建立单词间的边之外,还根据预定义的语法规则提取短语,以捕捉到远距离的单词交互信息;其次,利用Transformer编码器提取上下文信息,以丰富全局语义信息;同时,采用门控图神经网络提取文本的局部特征信息,以增强局部特征的表达能力.最后,将提取到的单词特征进行融合.在4个基准数据集上的实验结果验证了该模型相比于基线模型有较好的分类效果.