基于数据与特征增强的自监督图表示学习方法

图表示学习在处理图数据结构中起着非常重要的作用,但它面临着严重依赖于标记信息的挑战。为了克服这一挑战,提出了一种新的自监督图表示学习框架,通过使用对比学习方法,融合原始图的结构与属性以及频谱的高低频信息,在保留节点信息的基础上进行增强。同时,利用残差融合机制和无偏特征增强方法,在保证特征有效性的同时进一步减少增强样本的偏差。此外,在对比部分估计负样本为真的概率,并使用权重来度量负样本的硬度和相似度。通过在3个公开数据集上实验证明,在节点分类的下游任务中表现不仅优于当前最先进的无监督方法,而且还在多数任务中超过了以往的有监督方法。

HSEGRL:一种分层可自解释的图表示学习模型

近年来,随着图神经网络(graph neural network,GNN)技术在社交、信息、化学、生物等领域的广泛应用,GNN可解释性也受到广泛的关注.然而,现有的解释方法无法捕获层次化的解释信息,同时,这些层次信息未能被充分利用以提升图分类任务的准确率.基于这一问题,提出了一种层次化自解释的图表示学习(hierarchical self-explanation graph representation learning,HSEGRL)模型,该模型通过发现图结构中的层次信息进行图分类预测的同时,输出层次化的模型自解释结果.具体而言,针对图层次信息的发现设计了提取信息的基本单元——解释子,该解释子由提取节点特征的编码器获取层次化解释感知子图的池化层和抽取高阶解释信息的解码器组成.其中,为了准确提取层次化的解释子图,针对该模型的池化操作进行了解释感知优化设计,该设计通过评估模型的拓扑及特征重要性,层次化地筛选解释子图,实现分层自解释的同时完成图分类任务.HSEGRL是一个功能完备且便于迁移的图表示学习自解释模型,可以层次化综合考虑模型的拓扑信息与节点特征信息.在模型有效性验证层面,分别在分子、蛋白质和社交数据集上进行大量实验,实验结果表明所提模型在图分类任务中的分类准确率高于已有的先进的GNN自解释模型和GNN模型,并通过可视化分层解释结果的信息证明了该解释方法可信.

基于图表示学习与知识蒸馏的电缆故障快速识别方法

在牵引供电系统设备故障预警中,准确并快速识别电缆的早期故障是智能化运维的关键技术。为挖掘特征构建的深层信息和解决工程部署迭代速率问题,文章提出一种基于图表示学习和知识蒸馏的电缆故障识别方法。首先,对电缆的电流信号采样分析,将时间序列下的特征信息用图特征进行动态显示和更新,采用卷积自编码器对特征图像实现降噪重构;然后,利用基于知识蒸馏的图卷积神经网络识别算法,构建教师-学生网络故障识别模型,研究在PSCAD仿真环境中搭建电缆故障模型采集过电流扰动信号;最后,通过实验对比证明所提模型的有效性和准确性,所提模型大幅提升模型迭代速率,同时增强在噪声扰动下的鲁棒性,具有工程应用价值。

基于多视图表示学习的安卓恶意应用检测方法

安卓操作系统自发布以来一直保持着很高的市场份额,并且由于安卓应用的数量庞大、功能繁多、行为语义复杂,攻击者可采取多种手段将其真实攻击意图隐藏在合法功能之中。然而,现有检测方案往往只能识别有限类型的恶意应用及行为。为了解决这个问题,本文利用异构信息网络对现有的代表性检测方案进行高度抽象,并使用多视图表示学习和多视图融合方法对其进行深度挖掘与协同融合,以充分释放不同方案的检测潜力,构建更为精确且全面的恶意应用检测系统。为了实现上述目的,本文提出并实现了一个基于多视图表示学习的安卓恶意应用检测系统MVFDroid。该系统首先从敏感数据流、可疑控制条件和权限三个视角出发充分观察安卓应用,从而构建出异构信息网络,以描述应用行为的执行逻辑以及行为间的关联关系;然后采用基于视图的游走方式对异构信息网络进行采样,以生成不同视图下的应用行为表示向量;最后利用基于多视图融合的安卓恶意应用检测方法,将表示向量融合后送入深度神经网络(DNN)分类器中,从不同视角综合判断其目标应用的恶意性。实验表明,本文提出的方法可有效检测出安卓恶意应用,其检测的准确率为96.57%且F1值为95.56%,均优于当前的代表性检测方案Drebin、HinDroid和MaMaDroid。同时,实验结果表明,本文所使用的基于视图融合的表示学习方法可有效应用于安卓恶意应用检测任务,其效果优于基准方法DeepWalk、node2vec和metapath2vec。

基于Graph Transformer的半监督异配图表示学习模型

现有的图卷积网络(GCN)模型基于同配性假设,无法直接应用于异配图的表示学习,且许多异配图表示学习的研究工作受消息传递机制的限制,导致节点特征混淆和特征过度挤压而出现过平滑问题。针对这些问题,提出一种基于Graph Transformer的半监督异配图表示学习模型HPGT(HeteroPhilic Graph Transformer)。首先,使用度连接概率矩阵采样节点的路径邻域,再通过自注意力机制自适应地聚合路径上的节点异配连接模式,编码得到节点的结构信息,用节点的原始属性信息和结构信息构建Transformer层的自注意力模块;其次,将每个节点自身的隐层表示与它的邻域节点的隐层表示分离更新以避免节点通过自注意力模块聚合过量的自身信息,再把每个节点表示与它的邻域表示连接,得到单个Transformer层的输出,另外,将所有的Transformer层的输出跳连到最终的节点隐层表示以防止中间层信息丢失;最后,使用线性层和Softmax层将节点的隐层表示映射到节点的预测标签。实验结果表明,与无结构编码(SE)的模型相比,基于度连接概率的SE能为Transformer层的自注意力模块提供有效的偏差信息,HPGT平均准确率提升0.99%~11.98%;与对比模型相比,在异配数据集(Texas、Cornell、Wisconsin和Actor)上,模型节点分类准确率提升0.21%~1.69%,在同配数据集(Cora、CiteSeer和PubMed)上,节点分类准确率分别达到了0.8379、0.7467和0.8862。以上结果验证了HPGT具有较强的异配图表示学习能力,尤其适用于强异配图节点分类任务。

一种自监督的消息传递图表示学习方法

图表示学习旨在通过监督或无监督方法学习图结构数据中节点的嵌入表示.对于无标签或缺乏可靠标签的图数据集,监督方法无法正常工作,现有的无监督方法也难以学得足够准确的节点嵌入.本文提出一种自监督的消息传递图表示学习方法(SMP-GL),使用多自动编码器生成并筛选基底嵌入,基于消息传递的思想通过自监督更新节点信息来学习图节点的嵌入表示,并通过对嵌入层的覆盖更新实现多级消息传递,在不使用标签信息的情况下大幅提高了节点嵌入的准确性.论文选用四个真实世界数据集和八个先进的基线方法进行对比实验,结果表明,本文模型不仅超过了以往先进的无监督方法,而且还匹配甚至在多数任务中超过了以往先进的监督方法,能够有效应用于无标签图数据集的表示学习任务.

基于自监督信息增强的图表示学习

针对图表示学习模型依赖具体任务进行特征保留以及节点表示的泛化性有限等问题,本文提出一种基于自监督信息增强的图表示学习模型(Self-Variational Graph Auto Encoder,Self-VGAE)。Self-VGAE首先使用图卷积编码器和节点表示内积解码器构建变分图自编码器(Variational Graph Auto Encoder,VGAE),并对原始图进行特征提取和编码;然后,使用拓扑结构和节点属性生成自监督信息,在模型训练过程中约束节点表示的生成。在多个图分析任务中,Self-VGAE的实验表现均优于当前较为先进的基线模型,表明引入自监督信息能够增强对节点特征相似性和差异性的保留能力以及对拓扑结构的保持、推断能力,并且Self-VGAE具有较强的泛化能力。

一种基于图表示学习的光网络算力调度方法

针对现有算力资源与光网络独立管理导致的资源调度不协调问题,提出了一种基于图表示学习的光网络算力调度方法。该方法通过构建节点和边特征图并利用图卷积网络进行聚类,形成二分图来映射算力业务的源节点到目的节点。通过引入学习因子优化二分图中的映射关系,以最小化时延为目标,实现高效的算力调度。仿真结果表明,所提方法在多粒度算力业务共存环境下显著地降低了阻塞率和业务平均处理时延,提高了资源利用率。

融合异质图表示学习与注意力机制的可解释论文推荐

学术论文推荐旨在为研究人员从海量学术资源中快速筛选出感兴趣的论文。现有论文推荐方法主要基于论文标题等文本内容和引用关系等进行推荐,使得蕴含丰富语义的多源学术信息的表示学习不够充分,制约了推荐准确度的进一步提升。同时,当前方法往往关注论文推荐的准确性,而忽略了可解释性,降低了论文推荐系统的可信度和用户满意度。为解决上述问题,本文提出了一种融合异质图表示学习与注意力机制的可解释论文推荐方法,该方法能够有效利用异质学术图中的语义信息,为推荐结果提供文本解释说明。具体来说,首先,提出了一种基于异质图表示学习与注意力机制的论文推荐模型,融合多源学术信息来构建语义丰富的异质学术图,并利用注意力机制学习不同节点和元路径的重要性,以获得更准确的节点表示。其次,提出了一种基于特征的文本解释生成模型,该模型将可解释文本生成方法引入论文推荐场景,能够在为作者提供推荐列表的同时生成文本解释,以告知其推荐缘由,从而提高论文推荐的可解释性。最后,构建了一个包含论文元数据、特征词、引用上下文的学术数据集,基于该数据集的对比实验结果表明,本文提出的基于异质图表示学习与注意力机制的论文推荐模型推荐准确度更高,解释生成模型能够为论文推荐结果提供质量较高的可解释文本说明。

基于二阶图卷积自编码器的图表示学习

图卷积自编码器是一类高效的图表示学习模型,在链路预测等任务中具有出色性能。然而现有模型大多依赖图卷积网络对邻接矩阵和属性矩阵进行编码,未充分利用二阶信息等高阶结构特征。针对上述问题,提出了基于二阶信息的图卷积自编码器模型SeVGAE。首先使用图卷积和二阶图卷积生成变分自编码器的均值和方差,然后学习嵌入向量表示原始图的混合概率分布,最后使用内积解码器恢复拓扑结构。在链接预测任务中,SeGVAE表现优于基线模型,Citeseer数据集上的AUC和AP相较原始的VGAE分别提升了3.26%和2.56%。实验结果表明,二阶信息的引入能够在低维嵌入中保留更丰富的图信息,提升模型性能。模型在处理属性信息不足、拓扑信息不准确的图数据时具有较为明显的优势,在边缘和属性均缺失40%的极端情况下,SeVGAE的AUC和AP相较VGAE提升4.79%和3.47%。

图表示学习在网络安全领域的应用研究综述

近年来,图表示学习由于其能够更全面地捕捉网络数据的特征,在与各种网络异常检测方法结合后能获得更好的检测结果等特点,逐渐引起网络安全领域的关注.为进一步理清使用图表示学习进行网络安全检测相关工作的研究脉络,本文首先研究了图表示学习的定义,并从基于降维、随机游走和深度学习三类分别介绍目前被广泛使用的图表示学习算法;其次,对公开可用的网络安全数据集按照日志和网络流量、可执行文件、社交和交易网络分类,给出其具体的数据内容;再次,总结了近年来将图表示学习方法应用到网络安全领域的研究成果,给出了模型的基本流程和优缺点分析;最后探讨了目前研究的局限性和未来研究的方向.

多级特征增强的图表示学习模型

针对图数据的表示学习在推荐系统、链接预测等图下游任务已展现出重要的研究价值。然而目前主流的方法存在一些缺陷:图卷积网络的固定传播模式限制节点表示的语义表达能力,以及编码器-解码器结构中的正则化重建阻碍学习节点间的差异化特征,这些都可能导致节点表示不能很好适应图下游任务。为此,基于互信息最大化理论提出一种多级特征增强的图表示学习模型,能以无监督的方式生成高质量的节点表示。模型使用提取器保留节点原始属性中的差异化特征,利用注意力聚合器维持编码空间中节点分布的局部相关性和全局差异性,应用深度图信息最大化策略统一全局编码规则。实验结果证明,在几个基准图数据集上该模型在直推式学习和归纳式学习下的编码表现均超过了所有的主流对比基线。

图表示学习方法研究综述

针对图表示方法的相关解析任务进行了研究,从形式化定义出发,首先以不同核心技术作为分类标准将图表示学习方法划分为五大类,其包括基于降维解析、矩阵分解、随机游走、深度学习和其他表示学习方法。其次通过归纳与对比分析梳理各类技术发展脉络,进而深层次展现各类图表示方法的优劣。随后结合图表示学习的常用数据集、评估方法和应用领域的归纳分析,展开动态性、可扩展性、可解释性和可解析性的四维剖析。最后总结并展望了图表示学习的未来研究趋势与发展方向。

基于图表示学习的领域知识图谱推理技术研究

现有领域知识图谱推理模型多数是由基于百科类通用知识图谱的推理模型迁移而来,但是领域知识图谱的异构性并未得到妥善处理。同时,现有研究将关系预测与三元组分类视作2个独立的任务而忽视了两者之间的关联,且领域知识在领域模型的建立过程中也未得到充分的利用。针对上述问题,建立基于翻译距离的改进推理模型TransSep,为异构的实体类型分配不同的特征空间。提出一种联合训练的策略,使得关系预测与三元组分类2个任务互相指导对方的负采样过程,并交替地学习实体的嵌入特征,从而提升2个任务的训练效果。以医疗领域知识图谱为例,将领域知识通过元路径的思想引入TransSep模型中,增强模型的表达能力。在由复旦大学构建的精准医学知识图谱上进行实验,结果表明,相比TransE、DistMult、TriModel等模型,TransSep模型在关系预测任务中MR分数至少提高17.4%,三元组分类任务中的F1值提高至0.9286。

图表示学习综述

鉴于图表示学习是一种将图结构转化为向量表示的方法,探讨了其在社交网络、生物网络、贸易网络和计算机网络等各个领域的应用情况;为了梳理图表示学习的发展历程,用全面的视角了解不同方法以及相关应用,综述了图嵌入和图神经网络这2类重要的图表示学习的研究进展;详细介绍了其中几个经典的算法;重点阐述了图表示学习在生化医疗领域的应用;深入讨论了图表示学习领域所面临的难点和挑战以及未来可能的研究方向.

基于局部优化的图表示学习增强

随着图表示学习在多个领域的成功应用,针对不同图数据和问题而设计的图表示学习方法爆发式增长.然而,图噪声的存在限制了图表示学习的能力.为有效降低图网络中的噪声比例,首先分析了图节点局部邻接的分布特性,并理论证明在局部邻接拓扑构建时,探索高阶邻近信息能够优化增强图表示学习的性能.其次,提出“2步骤”局部子图优化策略(local subgraph optimization strategy,LSOS).该策略首先根据原始图拓扑结构信息构造出具有多阶信息的局部邻接相似矩阵.然后基于相似矩阵和图节点局部信息,对图节点进行局部子图的结构优化.通过局部邻接的合理重构来降低网络中的噪声比例,进而达到图表示学习能力的增强.在节点分类、链接预测和社区发现3类任务的实验中,结果表明局部子图优化策略能够提升8个基线算法的性能.其中,在3个航空网络的节点分类任务中,提升效果最高分别达到23.11%,41.58%,24.16%.

基于图表示学习的代码异味强度排序模型

代码异味的存在使得软件系统难以开发和维护.现有的代码异味检测器通常仅输出结果,忽略了结合开发者的需求对检测出的异味按照其强度进行排序,而将判断异味重构优先级的耗时过程留给了开发人员.因此,本文提出了基于图表示学习的代码异味强度排序模型,为开发人员的重构优先级决策提供参考.该模型利用抽象语法树与代码间的依赖调用关系构建语义结构图,采用无监督的图表示学习方法将语义结构图与代码度量信息结合生成嵌入表示,利用机器学习方法,根据开发人员感知的异味严重性程度实现代码异味的强度排序.本文将模型应用于4种常见的代码异味,即Blob、Complex Class、Spaghetti Code与Shotgun Surgery.通过实验表明,本文提出的代码异味强度排序模型在大型开源项目上具有科学性与有效性,相较于基线方法,F1值最高提升了10.35%.

基于多通道图卷积自编码器的图表示学习

针对基于图卷积的自编码器模型对原始图属性和拓扑信息的保留能力有限、无法学习结构和属性之间深度关联信息等问题,提出基于多通道图卷积自编码器的图表示学习模型。设计拓扑和属性信息保留能力实验,验证了基于图卷积的自编码器模型具备保留节点属性和拓扑结构信息的能力。构建特定信息卷积编码器和一致信息卷积编码器,提取图的属性空间特征、拓扑空间特征以及两者关联特征,生成属性嵌入、拓扑嵌入和一致性嵌入,同时建立与编码器对称的卷积解码器,还原编码器过程。使用重构损失、局部约束和一致性约束,优化各编码器生成的低维嵌入表示。最终将蕴含不同图信息的多种嵌入进行融合,生成各节点的嵌入表示。实验结果表明,该模型在BlogCatalog和Flickr数据集上节点分类的Micro-F1和Macro-F1明显高于基线模型,在Citeseer数据集上节点聚类的精度和归一化互信息相比于表现最优的基线模型提升了11.84%和34.03%。上述实验结果证明了该模型采用的多通道方式能够在低维嵌入中保留更丰富的图信息,提升图机器学习任务的性能表现。

基于对比预测的自监督动态图表示学习方法

近年来,以图对比学习为代表的图自监督学习已成为图学习领域的热点研究问题,该类学习范式不依赖于节点的标签并具有良好的泛化能力。然而,大多数图自监督学习方法采用静态图结构设计学习任务,如对比图的结构学习节点级或者图级的表示等,而未考虑图随时间的动态变化信息。为此,文中提出了一种基于对比预测的自监督动态图表示学习方法(DGCP),利用对比损失引导嵌入空间捕获对预测未来图结构最有用的信息。首先,利用图神经网络对每个时间快照图编码,得到对应的节点表示矩阵;然后,使用自回归模型预测下一时间快照图中的节点表示;最后,利用对比损失和滑动窗口机制对模型进行端到端的训练。在真实图数据集上进行实验,结果表明,DGCP在链接预测任务上的表现优于基准方法。

基于双重视图耦合的自监督图表示学习模型

针对现有的图表示学习在自监督对比学习方法中存在视图差异较大,且依赖于负样本防止模型坍塌,导致节点表示能力弱及空间复杂度加大的问题,提出一种基于双重视图耦合的自监督图表示学习模型(self-supervised graph representation learning model with dual view coupling, DVCGRL),用于学习图数据表示。采用特征空间增广和结构空间扩充相结合生成双重视图,将双重视图作为正样本对输入孪生神经网络;利用图编码器提取图数据特征,通过多层感知器获得映射后的特征向量;采用耦合网络拉近双重视图的特征向量距离,提升节点表示能力,防止模型坍塌。在公开数据集上进行的节点分类实验结果表明,与当前主流图表示学习模型相比,该模型降低了空间复杂度,节点分类精度得到明显提高。