面向异构社交网络的空-频域自适应图神经网络

传统GNN基于同构性假设对近邻节点实现低通滤波功能完成邻域相似信息的聚合嵌入。但在异构图中分属不同类别的节点彼此多建立联系,而相同类别的节点在图拓扑位置上距离较远。这一特点给注重近端邻域信息聚合的传统GNN带来“远端节点信息聚合缺失”与“同构性假设失灵”的问题。因此设计融合空域与频域自适应嵌入机制的异构图神经网络(DA-HGNN)以解决上述问题。针对问题一,设计“远端空域嵌入模块”,旨在通过高阶随机游走迁移概率筛选并聚合远端相似节点,补充“消息传递的跨邻域自适应性”;针对问题二,设计“近端频域嵌入模块”,构建滤波器分离节点高频与低频信号,并设计频域导向型注意力机制对上述信息进行频域偏好的自适应融合,从而减少“同构性假设失灵”所引入的噪声。在四个公开异构图数据集中取得最优实验结果,准确率上平均提高6.41个百分点。在灵敏度分析和消融实验中阐述了超参数的选择机制和各模块的实际性能,并验证了在异构网络中“节点结构相似性”“节点属性向量相似性”以及“节点同构性”三者之间仍呈现正相关关系这一结论。在异构真实数据集中验证了欺诈检测效果,AUC指标提升4.4个百分点。

基于图神经网络的异源图像配准方法综述

为了探讨图神经网络在处理异源图像配准任务中的应用和性能,为后续的图像融合或拼接等任务提供支持,通过综述现有文献,介绍了多种图神经网络模型及其在图像配准领域的应用,并对各种图神经网络架构进行了比较,评估了不同模型的性能。研究发现,图神经网络模型凭借其对图结构信息的有效利用能力及对节点属性信息的精细捕捉,在处理异源图像配准时展现出较传统方法更优的性能。通过对图像配准方法的系统研究,为解决异源图像配准任务面临的配准难度大和精度低的问题提供了新的技术思路。

结合图神经网络和图对比学习的半监督多图分类

多图(multi-graph,MG)是一种图袋表示模型,半监督多图分类旨在从有标记和未标记的多图中构建一个预测模型,通过高准确度预测未标记多图,在用户产品推荐、生物制药等领域有着广泛应用。现有基于机器学习的半监督多图分类主要存在两点不足:(1)不能进行全自动的特征选择,过于依赖参数选择。(2)对未标记多图数据的价值未充分挖掘。因此,提出一种结合图神经网络和图对比学习的半监督多图分类方法(graph neural network combining with graph contrastive learning for semi-supervised multi-graph classification,GCSS)。一方面,分别设计从局部和全局提取特征信息的模块,并引入NN协同器(neural networks collaborator,NN collaborator)完成这两个模块的协作,自适应学习数据的特征表示进行训练;另一方面,采用图对比学习(graph contrastive learning,GCL)和半监督学习(semi-supervised learning,SSL)从两个不同学习视角来充分利用未标记多图数据,降低模型对标签等的依赖。在真实数据集上的大量实验结果验证了所提出方法的预测性能均优于基线方法。

基于多模态融合的图神经网络推荐算法

已有的图神经网络(GNN)推荐算法大多利用用户-项目交互图的节点编号信息进行训练,学习用户-项目节点的高阶联系去丰富节点表示,但忽略了用户对不同模态信息的偏好,没有利用项目的图片、文本等模态信息,或对于不同模态特征的融合简单相加,不能区分用户对不同模态信息的偏好。针对上述问题,提出多模态融合的GNN推荐模型。首先针对单个模态,结合用户-项目交互二部图构建单模态图网络,在单模态图中学习用户对此模态信息的偏好;然后利用GAT聚合邻居信息,丰富本节点表示,同时根据门控循环单元决定是否聚合邻居信息,达到去噪效果;最后将各个模态图学习到的用户、项目表示通过注意力机制融合得到最终表示并送入预测模块。在MovieLens-20M、H&M两个数据集上的实验结果表明:多模态信息、注意力融合机制能有效提升推荐的准确度,算法模型在Precision@K、Recall@K和NDCG@K 3个指标上相较于基线最优算法均有显著提升;当评估指标K值选取10时,Precision@10、Recall@10和NDCG@10在两个数据集上分别提升了4.67%、2.42%、2.03%和2.49%、5.24%、2.05%。

超图神经网络综述

近年来,图神经网络借助大量数据和超强计算能力在推荐系统和自然语言处理等应用领域取得显著成效,它主要处理具有成对关系的图数据.但许多现实网络中的对象之间的关系是复杂的非成对关系,如科研合作网络、蛋白质网络等.若直接用图结构将这种复杂的关系表示为成对关系,会导致信息丢失.超图是一种灵活的建模工具,可以展现出图无法完整刻画的高阶关系,弥补了图的不足.鉴于此,研究者开始关心如何在超图上设计神经网络,并相继提出应用于下游任务的超图神经网络模型(hypergraph neural network,HGNNs).故对现有的超图神经网络模型进行综述,首先全面回顾超图神经网络在过去3年的研究历程;其次根据设计超图神经网络采用的方法不同对其进行分类,并详细地阐述代表性的模型;然后介绍了超图神经网络的应用领域;最后总结和探讨了超图神经网络未来的研究方向.

注意力感知的边−节点交换图神经网络模型

提出了一种注意力感知的边-节点交换图神经网络(attention aware edge-node exchange graph neural network,AENN)模型,在图结构化数据表示框架下,使用边-节点切换卷积的图神经网络算法进行图编码,用于半监督分类和回归分析。AENN是一种通用的图编码框架,用于将图节点和边嵌入一个统一的潜在特征空间。具体地,基于原始无向图,不断切换边与节点的卷积,并在卷积过程中通过注意力机制分配不同邻居的权重,从而实现特征传播。在3个数据集上的实验研究表明,所提方法较已有方法在半监督分类和回归分析中具有明显的性能提升。

基于动态自适应图神经网络的电动汽车充电负荷预测

电动汽车充电站负荷波动的不确定性与长时间预测任务给提升充电负荷预测精度带来巨大的挑战。文中提出一种基于动态自适应图神经网络的电动汽车充电负荷预测算法。首先,构建了一个充电负荷信息时空关联特征提取层,将多头注意力机制与自适应相关图结合生成具有时空关联性的综合特征表达式,以捕获充电站负荷的波动性;然后,将提取的特征输入到时空卷积层,捕获时间和空间之间的耦合关系;最后,通过切比雪夫多项式图卷积与多尺度时间卷积提升模型耦合长时间序列之间的能力。以Palo Alto数据集为例,与现有方法相比,所提算法在4种波动情况下的平均预测误差大幅降低。

基于多层级时空图神经网络的风电机组在线异常检测

在风电场运营中,准确及时的故障检测是降低风电机组运行维护成本的关键。然而,现有检测方法未充分挖掘功能单元间的潜在时空关联,限制了检测准确性的提升。文中提出了一种基于多层级时空图神经网络的风电机组在线异常检测方法,以提高故障检测的准确性。该方法依据风电机组物理结构,将其功能单元划分为多个子图,从而构筑了一个多层级的时空图神经网络,通过图注意力机制和多头注意力机制全方位地分析风电机组各传感器节点与功能单元之间的关联强度。同时,针对数据采集与监控(SCADA)系统数据的时间关联,设计了动态图神经网络和时间注意力机制,使正常行为预测模型捕捉了SCADA系统数据的时间关联特性,实现了空间和时间特性的有效融合。最后,基于中国上海某风电场的实际数据验证了所提方法的显著有效性。

基于双节点-双边图神经网络的茶叶病害分类方法

传统茶叶病害分类主要依赖人工方法,此类方法费工费时,同时茶叶病害样本较少使得现有的机器学习方法的模型训练不充分,病害分类准确率不够高。针对茶炭疽病、茶黑煤病、茶饼病和茶白星病4类病害,提出一种基于双节点-双边图神经网络的茶叶病害分类方法。首先通过两分支卷积神经网络提取RGB茶叶病害特征和灰度茶叶病害特征,两分支均采用ResNet12作为骨干网络,参数独立不共享,两类特征作为图神经网络的两个子节点,以获得不同域样本所包含的病害信息;其次构建相对度量边和相似性边两类边,从而强化节点对相邻节点所含病害特征的聚合能力。最后,经过双节点特征和双边特征更新模块,实现双节点和双边交替更新,提高边特征对节点距离度量的准确性,从而实现训练样本较少条件下对茶叶病害的准确分类。本文方法和小样本学习方法进行了对比实验,结果表明,本文方法获得更高的准确率,在miniImageNet和PlantVillage数据集上5way-1shot的准确率分别达到69.30%和88.42%,5way-5shot准确率分别为82.48%和93.04%。同时在茶叶数据集TeaD-5上5way-1shot和5way-5shot准确率分别达到84.74%和86.34%。

混合图神经网络和门控循环网络的短期光伏功率预测

为了能从大量历史光伏发电数据中提取出有效的时序特征以及在非欧几里得域中的关联,建立了基于混合图神经网络以及门控循环网络的短期光伏功率预测模型。该模型首先通过最邻近分类算法生成气象及出力数据的最邻近图,再将其结合图神经网络作为编码器对气象及出力数据进行编码形成时间序列,最后通过门控循环网络以及全连接层解码输出光伏功率预测结果。通过仿真分析验证,该模型具有更优的特征挖掘能力和分析性能,能更好地突出某时间节点的气象及出力数据特征,适应天气突变带来特征变化,从而提升光伏预测整体模型的表达能力。

面向图神经网络模型提取攻击的图数据生成方法

无数据模型提取攻击是基于攻击者在进行攻击时所需的训练数据信息未知的情况下提出的一类机器学习安全问题。针对无数据模型提取攻击在图神经网络(GNN)领域的研究缺乏,提出分别用GNN可解释性方法GNNExplainer和图数据增强方法GAUG-M优化图节点特征信息和边信息生成所需图数据,最终提取GNN模型的方法。首先,利用GNNExplainer方法对目标模型的响应结果进行可解释性分析得到重要的图节点特征信息;其次,通过对重要的图节点特征加权,对非重要图节点特征降权,实现图节点特征信息的整体优化;然后,使用图形自动编码器作为边信息预测模块,根据优化后的图节点特征得到节点与节点之间的连接概率;最后,根据概率增加或者删减相应边优化边信息。实验采用5个图数据集训练的3种GNN模型架构作为目标模型提取攻击,得到的替代模型达到了73%~87%的节点分类任务准确性和76%~89%的与目标模型性能的一致性,验证了所提方法的有效性。

融合大模型与图神经网络的电力设备缺陷诊断

电力系统中不同装置设备的缺陷评级和分析处理常受运维人员主观性影响,导致同一缺陷文本描述出现不同的严重程度评级。专业知识的差异也导致诊断分析差异和诊断效率不同。为提升缺陷诊断的准确性和效率,提出一种基于图神经网络的缺陷文本评级分类方法和大模型智能诊断分析助手。构建专业词典,使用自然语言处理算法规范化文本描述。通过统计方法,优化缺陷文本的语义表示。集成图注意力神经网络和RoBERTa模型对缺陷文本进行精确评级分类。基于大语言模型Qwen1.5-14B-Chat进行低秩适配(LoRA)微调训练得到电力设备诊断大模型Qwen-ElecDiag,结合检索增强生成技术开发设备缺陷诊断助手。此外,整理提供微调电力设备诊断大模型的指令数据集。对比实验结果表明,提出的基于图神经网络的缺陷评级分类方法在准确性上较最优基准模型BERT提升近8个百分点;诊断助手的电力知识以及缺陷诊断能力得到提升。通过提高缺陷评级的准确率并提供全面专业化诊断建议,不仅提高电力设备运维的智能化水平,也为其他垂直领域的智能运维提供新的解决方案。

基于图神经网络的零件机加工特征识别方法

针对现有基于深度学习的方法存在的难以识别相交特征、无法精确确定加工特征面的问题,提出基于图神经网络的加工特征识别方法.通过压缩激励模块提取节点与邻接边的特征,构建节点级与邻接边级的双层注意力网络,分割每个节点对应的加工特征.该方法充分利用了零件模型的面特征与边特征,结合零件模型的拓扑结构,基于注意力机制对特征信息进行深度学习,可以有效地解决非面合并相交特征的识别问题.在多加工特征零件数据集上,将该方法与其他3种特征识别方法进行实验对比,在准确率、平均类准确率和交并比3项指标上均取得最优结果,识别准确率高于95%.

基于图神经网络的多智能体路径规划方法

在多智能体路径规划问题中,每个智能体需要互相协调来完成共同的全局目标,智能体之间通常需要显式的通信策略。传统的多智能体路径规划算法受限于实时性、扩展性、不完全通信等问题,很难适用于复杂的工作环境中。为了解决多智能体工作环境中的通信问题,本文提出了一种基于图神经网络(GNN)的路径规划方法。该方法首先通过卷积神经网络(CNN)在局部观测中采集特征数据,由图神经网络在智能体之间传递这些数据。其次,为了减少智能体的惰性,提出了一种新的奖励函数,鼓励智能体更积极地探索并学习有效的协调策略。接着通过集中式收集数据训练、分布式执行提高学习效率。最后,进行多个环境下的仿真实验评估本文提出的算法,并与其他算法进行对比,验证了算法的有效性和可扩展性。

变工况下动态卷积域对抗图神经网络故障诊断

针对基于无监督域自适应故障诊断方法忽略了域间数据结构信息、传统域对齐平均最大差异法全局泛化能力差等问题,本文提出一种基于无监督域自适应理论的动态卷积域对抗图神经网络故障诊断模型,分别通过对数据的类别标签、域标签和数据结构信息进行建模。通过分类器和域鉴别器分别建模类别标签和域标签,通过图神经网络将数据结构信息嵌入到实例图节点中,利用高斯Wasserstein距离来度量不同领域的实例图之间的差异。本文对比了不同工况下共14种迁移任务在各模型下故障识别的准确率。实验结果表明:基于动态卷积的域对抗图神经网络模型在变工况下的故障诊断效果均优于其他对比模型,且模型性能稳定。

一种用于多域对话状态追踪的知识增强与自注意力引导的图神经网络

对话状态追踪是对话系统的重要组成部分,旨在从用户与系统的对话中跟踪用户意图,其通常表示为槽位-槽值对序列.近年来,深度神经网络模型在对话状态追踪问题上取得了较大进展.然而,现有模型在槽位相关性建模方面还存在可拓展性差与易引入噪声等问题.针对上述问题,本文提出了一种知识增强与自注意力引导的图神经网络KESA-GNN(Knowledge-Enhanced&Self-Attention Guided Graph Neural Network).首先,KESA-GNN通过外部知识嵌入增强槽的语义表征提升多头自注意力机制对槽位间相关性的辨别能力.其次,为了精确建模槽位间的诸如共指、共现等相关性,提出了一种自注意力引导的图神经网络建模槽位相关性.该网络采用多头注意力机制获得槽位间的注意力矩阵以及槽位表征,通过Max-N Relation算法获得注意力矩阵中强相关关系集,将稠密的注意力矩阵稀疏化,从而引导图神经网络中强相关槽位间的信息传播,降低无关槽位的噪声影响.最后,KESA-GNN采用门控融合机制过滤槽位多头注意力和图神经网络输出的槽位表征,从而获取更准确的槽位表征向量,进一步提升了KESA-GNN的鲁棒性.在多域对话数据集上的实验结果表明,KESA-GNN模型的性能优于最新的基线模型.

可信的图神经网络节点分类方法

为了研究节点特征表示的不确定性对节点分类的影响,提出一种可信的图神经网络节点分类方法。算法使用径向基函数计算节点间距离,得到各类节点质心后,根据距离分配与未标记节点最近质心的类别标签提高节点分类性能,同时定义未标记节点和质心之间的距离为模型输出的不确定性,并使用梯度惩罚损失加强输入变化的可检测性,可以有效地检测分布外节点样本。在Cora、Citeseer和Pubmed这3个公开网络数据集上的结果表明:模型在分类任务的AUROC指标分别达到81.5%、76.2%和74.6%,在分布外样本检测任务中AUROC指标分别达到83.6%、72.8%和70.6%,证明了所提算法在提高节点分类性能的同时,可以有效检测分布外的节点样本,提高了节点分类的可信性。

基于双注意力机制图神经网络的智能合约漏洞检测方法

随着区块链技术的广泛应用,智能合约的内部逻辑越来越复杂。然而,目前大多数智能合约漏洞检测方法存在假阳性率高、检测准确率低等问题。为此,文章提出一种基于双注意力机制图神经网络的智能合约漏洞检测方法,用于智能合约漏洞检测,旨在提升检测的准确性和效率。文章在图卷积网络的卷积层中引入了多头注意力机制,并在特征传播阶段动态计算邻接节点信息对应的注意力权重。该机制使模型在特征聚合时更加关注与当前节点最相关的邻居节点,从而提升对重要特征的辨识能力。在图池化阶段,采用注意力池化机制选择和聚合节点特征,进一步提升对关键节点的关注度,提高了对漏洞检测影响较大特征的识别能力。文章采用以太坊智能合约漏洞样本数据集(ESC)进行实验,实验结果表明,与其他检测技术相比,文章所提方法在识别复杂智能合约漏洞方面具有更快的检测速度和更高的准确性。

基于图神经网络的法律文本共指消解模型

共指消解是确定上下文中的代词或名词短语所指的具体对象或实体,是自然语言处理(Natural Language Processing,NLP)的基本任务之一,对理解文本语义具有重要意义。现有的方法主要集中在一般领域的代词、所有格和名词短语的解析上,针对法律领域的研究较少。为了更好地学习法律文本中的知识,并消除共同指代现象,提出一种基于图神经网络的法律文本共指消解模型(Graph Neural Network for Coreference Resolution,CR-GNN)。所提CR-GNN可以促进法律文本挖掘中的一系列后续任务。利用预训练语言模型和双向门控循环单元(Bidirectional Gate Recurrent Unit,BiGRU)对法律文本进行编码;使用基于元任务的动态图卷积网络(Meta Dynamic Graph Convolutional Network,MDGCN)整合实体之间的引用关系;使用前馈神经网络(Feed-Forward Neural Network,FFNN)和Biaffine模型为候选对进行加权评估。CR-GNN可以有效识别实体之间的引用关系,并对实体依赖关系进行建模。在法庭记录文件数据集上进行大量实验,结果表明所提CR-GNN模型达到89.76%的F1分数,均高于现有基准模型。

基于混合图神经网络的多模态相关性时尚服饰兼容度预测研究

近年来,许多研究人员在多模态融合的研究中取得了显著效果。多模态比单模态具有更丰富的信息,然而,多模态融合过程中的类别共现频率偏差,使得服饰兼容度预测研究存在着巨大的挑战。因此,本研究提出了基于混合图神经网络的多模态相关性时尚服饰兼容度预测模型。该模型深度挖掘文本和视觉两个模态的相关性,并通过混合图神经网络解决多模态融合过程中类别共现频率偏差引起兼容度预测不准确的问题,提高服饰兼容度预测精度。该模型在Polyvore Outfits和Polyvore Outfits-D两个开源数据集上进行了服饰兼容度预测和填空任务的实验。结果显示,该模型在2个数据集中的服饰兼容度任务中分别取得了0.928和0.878的AUC值,在填空任务中分别取得了62.41%和56.83%的精确度,均优于比较的基准模型。