基于图表示学习与知识蒸馏的电缆故障快速识别方法

在牵引供电系统设备故障预警中,准确并快速识别电缆的早期故障是智能化运维的关键技术。为挖掘特征构建的深层信息和解决工程部署迭代速率问题,文章提出一种基于图表示学习和知识蒸馏的电缆故障识别方法。首先,对电缆的电流信号采样分析,将时间序列下的特征信息用图特征进行动态显示和更新,采用卷积自编码器对特征图像实现降噪重构;然后,利用基于知识蒸馏的图卷积神经网络识别算法,构建教师-学生网络故障识别模型,研究在PSCAD仿真环境中搭建电缆故障模型采集过电流扰动信号;最后,通过实验对比证明所提模型的有效性和准确性,所提模型大幅提升模型迭代速率,同时增强在噪声扰动下的鲁棒性,具有工程应用价值。

HSEGRL:一种分层可自解释的图表示学习模型

近年来,随着图神经网络(graph neural network,GNN)技术在社交、信息、化学、生物等领域的广泛应用,GNN可解释性也受到广泛的关注.然而,现有的解释方法无法捕获层次化的解释信息,同时,这些层次信息未能被充分利用以提升图分类任务的准确率.基于这一问题,提出了一种层次化自解释的图表示学习(hierarchical self-explanation graph representation learning,HSEGRL)模型,该模型通过发现图结构中的层次信息进行图分类预测的同时,输出层次化的模型自解释结果.具体而言,针对图层次信息的发现设计了提取信息的基本单元——解释子,该解释子由提取节点特征的编码器获取层次化解释感知子图的池化层和抽取高阶解释信息的解码器组成.其中,为了准确提取层次化的解释子图,针对该模型的池化操作进行了解释感知优化设计,该设计通过评估模型的拓扑及特征重要性,层次化地筛选解释子图,实现分层自解释的同时完成图分类任务.HSEGRL是一个功能完备且便于迁移的图表示学习自解释模型,可以层次化综合考虑模型的拓扑信息与节点特征信息.在模型有效性验证层面,分别在分子、蛋白质和社交数据集上进行大量实验,实验结果表明所提模型在图分类任务中的分类准确率高于已有的先进的GNN自解释模型和GNN模型,并通过可视化分层解释结果的信息证明了该解释方法可信.

基于时频图表示的多轨个性化耳鸣康复音生成方法

针对传统耳鸣声治疗方法在患者掩蔽频段的对应效果不精确或掩蔽效果不佳的问题,本研究基于时频图表示(time-frequency representations,TFR)方法,提出了一种多轨个性化耳鸣康复音(multi-track personalized tinnitus rehabilitation sound,MT-PTRS)的生成方法。该方法不仅能体现耳鸣掩蔽疗法所需的频率集中特性,且一定程度上提高了耳鸣康复音的可听性。本研究基于基本的自然声库,通过TFR方法识别出自然声中的主要能量频段,并结合患者耳鸣频段对自然声进行切割、分类,进一步合成频率集中的个性化自然掩蔽声。本研究将个性化自然掩蔽声作为主要音轨,结合宽带自然声生成MT-PTRS,相较传统掩蔽治疗中的窄带噪声,具有更好的可听性和自然性。实验结果表明,相较于其他的多轨耳鸣康复音方法,该方法生成的康复音的悦耳度和丰富度有一定提升,增加了患者对声治疗的耐受性,对耳鸣声治疗研究具有一定参考价值。

基于Graph Transformer的半监督异配图表示学习模型

现有的图卷积网络(GCN)模型基于同配性假设,无法直接应用于异配图的表示学习,且许多异配图表示学习的研究工作受消息传递机制的限制,导致节点特征混淆和特征过度挤压而出现过平滑问题。针对这些问题,提出一种基于Graph Transformer的半监督异配图表示学习模型HPGT(HeteroPhilic Graph Transformer)。首先,使用度连接概率矩阵采样节点的路径邻域,再通过自注意力机制自适应地聚合路径上的节点异配连接模式,编码得到节点的结构信息,用节点的原始属性信息和结构信息构建Transformer层的自注意力模块;其次,将每个节点自身的隐层表示与它的邻域节点的隐层表示分离更新以避免节点通过自注意力模块聚合过量的自身信息,再把每个节点表示与它的邻域表示连接,得到单个Transformer层的输出,另外,将所有的Transformer层的输出跳连到最终的节点隐层表示以防止中间层信息丢失;最后,使用线性层和Softmax层将节点的隐层表示映射到节点的预测标签。实验结果表明,与无结构编码(SE)的模型相比,基于度连接概率的SE能为Transformer层的自注意力模块提供有效的偏差信息,HPGT平均准确率提升0.99%~11.98%;与对比模型相比,在异配数据集(Texas、Cornell、Wisconsin和Actor)上,模型节点分类准确率提升0.21%~1.69%,在同配数据集(Cora、CiteSeer和PubMed)上,节点分类准确率分别达到了0.8379、0.7467和0.8862。以上结果验证了HPGT具有较强的异配图表示学习能力,尤其适用于强异配图节点分类任务。

面向前提选择的新型图约简表示与图神经网络模型

自动定理证明器在证明问题时其搜索空间通常会呈现爆炸式增长,前提选择为该问题提供了新的解决思路。针对现有前提选择方法中逻辑公式图、图神经网络模型难以捕捉到公式图潜在信息的问题,提出了一种基于删除重复量词的简化逻辑公式图表示和具有注意力机制的项游走图神经网络模型,充分利用逻辑公式的语法和语义信息提高前提选择问题的分类精度。首先,将一阶逻辑猜想和前提公式转化为基于删除重复量词的简化一阶逻辑公式图;其次,利用消息传递图神经网络对节点和节点的项游走特征信息进行聚合和更新,随后使用注意力机制为图上的节点分配权重,进而调整图节点嵌入信息;最后,将前提图向量和猜想图向量拼接并输入二元分类器中实现前提分类。实验结果表明,所提方法在MPTP数据集和CNF数据集上的准确率分别达到了88.61%和84.74%,超越现有最优的前提选择方法。

基于自监督信息增强的图表示学习

针对图表示学习模型依赖具体任务进行特征保留以及节点表示的泛化性有限等问题,本文提出一种基于自监督信息增强的图表示学习模型(Self-Variational Graph Auto Encoder,Self-VGAE)。Self-VGAE首先使用图卷积编码器和节点表示内积解码器构建变分图自编码器(Variational Graph Auto Encoder,VGAE),并对原始图进行特征提取和编码;然后,使用拓扑结构和节点属性生成自监督信息,在模型训练过程中约束节点表示的生成。在多个图分析任务中,Self-VGAE的实验表现均优于当前较为先进的基线模型,表明引入自监督信息能够增强对节点特征相似性和差异性的保留能力以及对拓扑结构的保持、推断能力,并且Self-VGAE具有较强的泛化能力。

基于二阶图卷积自编码器的图表示学习

图卷积自编码器是一类高效的图表示学习模型,在链路预测等任务中具有出色性能。然而现有模型大多依赖图卷积网络对邻接矩阵和属性矩阵进行编码,未充分利用二阶信息等高阶结构特征。针对上述问题,提出了基于二阶信息的图卷积自编码器模型SeVGAE。首先使用图卷积和二阶图卷积生成变分自编码器的均值和方差,然后学习嵌入向量表示原始图的混合概率分布,最后使用内积解码器恢复拓扑结构。在链接预测任务中,SeGVAE表现优于基线模型,Citeseer数据集上的AUC和AP相较原始的VGAE分别提升了3.26%和2.56%。实验结果表明,二阶信息的引入能够在低维嵌入中保留更丰富的图信息,提升模型性能。模型在处理属性信息不足、拓扑信息不准确的图数据时具有较为明显的优势,在边缘和属性均缺失40%的极端情况下,SeVGAE的AUC和AP相较VGAE提升4.79%和3.47%。

融合异质图表示学习与注意力机制的可解释论文推荐

学术论文推荐旨在为研究人员从海量学术资源中快速筛选出感兴趣的论文。现有论文推荐方法主要基于论文标题等文本内容和引用关系等进行推荐,使得蕴含丰富语义的多源学术信息的表示学习不够充分,制约了推荐准确度的进一步提升。同时,当前方法往往关注论文推荐的准确性,而忽略了可解释性,降低了论文推荐系统的可信度和用户满意度。为解决上述问题,本文提出了一种融合异质图表示学习与注意力机制的可解释论文推荐方法,该方法能够有效利用异质学术图中的语义信息,为推荐结果提供文本解释说明。具体来说,首先,提出了一种基于异质图表示学习与注意力机制的论文推荐模型,融合多源学术信息来构建语义丰富的异质学术图,并利用注意力机制学习不同节点和元路径的重要性,以获得更准确的节点表示。其次,提出了一种基于特征的文本解释生成模型,该模型将可解释文本生成方法引入论文推荐场景,能够在为作者提供推荐列表的同时生成文本解释,以告知其推荐缘由,从而提高论文推荐的可解释性。最后,构建了一个包含论文元数据、特征词、引用上下文的学术数据集,基于该数据集的对比实验结果表明,本文提出的基于异质图表示学习与注意力机制的论文推荐模型推荐准确度更高,解释生成模型能够为论文推荐结果提供质量较高的可解释文本说明。

基于层级图标签表示网络的多标签文本分类

多标签文本分类是一项基础而实用的任务,其目的是为文本分配多个可能的标签。近年来,人们提出了许多基于深度学习的标签关联模型,以结合标签的信息来学习文本的语义表示,取得了良好的分类性能。通过改进标签关联的建模和文本语义表示来推进这一研究方向。一方面,构建的层级图标签表示,除了学习每个标签的局部语义外,还进一步研究多个标签共享的全局语义;另一方面,为了捕捉标签和文本内容间的联系并加以利用,使用标签文本注意机制来引导文本特征的学习过程。在三个多标签基准数据集上的实验表明,该模型与其他方法相比具有更好的分类性能。

图表示学习在网络安全领域的应用研究综述

近年来,图表示学习由于其能够更全面地捕捉网络数据的特征,在与各种网络异常检测方法结合后能获得更好的检测结果等特点,逐渐引起网络安全领域的关注.为进一步理清使用图表示学习进行网络安全检测相关工作的研究脉络,本文首先研究了图表示学习的定义,并从基于降维、随机游走和深度学习三类分别介绍目前被广泛使用的图表示学习算法;其次,对公开可用的网络安全数据集按照日志和网络流量、可执行文件、社交和交易网络分类,给出其具体的数据内容;再次,总结了近年来将图表示学习方法应用到网络安全领域的研究成果,给出了模型的基本流程和优缺点分析;最后探讨了目前研究的局限性和未来研究的方向.

根箭图表示范畴中的Gorenstein平坦-余挠对象

设R是具有单位元的结合环,Q=(Q 0,Q 1,s,t)是箭图.给出根箭图表示范畴中的Gorenstein平坦-余挠对象的定义及等价刻画,并研究Gorenstein平坦-余挠对象的相关性质.

多级特征增强的图表示学习模型

针对图数据的表示学习在推荐系统、链接预测等图下游任务已展现出重要的研究价值。然而目前主流的方法存在一些缺陷:图卷积网络的固定传播模式限制节点表示的语义表达能力,以及编码器-解码器结构中的正则化重建阻碍学习节点间的差异化特征,这些都可能导致节点表示不能很好适应图下游任务。为此,基于互信息最大化理论提出一种多级特征增强的图表示学习模型,能以无监督的方式生成高质量的节点表示。模型使用提取器保留节点原始属性中的差异化特征,利用注意力聚合器维持编码空间中节点分布的局部相关性和全局差异性,应用深度图信息最大化策略统一全局编码规则。实验结果证明,在几个基准图数据集上该模型在直推式学习和归纳式学习下的编码表现均超过了所有的主流对比基线。

基于异常感知的变分图自编码器的图级异常检测算法

图异常检测在识别复杂数据结构的异常模式中具有重要作用,被广泛地应用于有害分子识别、金融欺诈检测、社交网络分析等领域.但目前的图异常检测研究大多数聚焦在节点级别的异常检测,针对图级别的异常检测方法仍然较少,且这些方法并不能对异常图数据进行充分挖掘,且对异常标签比较敏感,无法有效地捕捉异常样本的特征,存在模型泛化能力差、性能翻转问题,异常检测能力有待提升.提出了一种基于异常感知的变分图自编码器的图级异常检测算法(anomaly-aware variational graph autoencoder based graph-level anomaly detection algorithm,VGAE-D),利用具有异常感知能力的变分图自编码器提取正常图和异常图数据的特征,并差异化正常图和异常图在编码空间中的编码信息分布,对图编码信息进一步挖掘来计算图的异常得分.在不同领域的8个公开数据集上进行实验,实验结果表明,提出的图级别异常检测方法能有效地对不同数据集中的异常图进行识别,异常检测性能高于目前主流的图级别异常方法,且具有少异常样本学习能力,较大程度上克服了性能翻转问题.

图表示学习综述

鉴于图表示学习是一种将图结构转化为向量表示的方法,探讨了其在社交网络、生物网络、贸易网络和计算机网络等各个领域的应用情况;为了梳理图表示学习的发展历程,用全面的视角了解不同方法以及相关应用,综述了图嵌入和图神经网络这2类重要的图表示学习的研究进展;详细介绍了其中几个经典的算法;重点阐述了图表示学习在生化医疗领域的应用;深入讨论了图表示学习领域所面临的难点和挑战以及未来可能的研究方向.

图表示学习方法研究综述

针对图表示方法的相关解析任务进行了研究,从形式化定义出发,首先以不同核心技术作为分类标准将图表示学习方法划分为五大类,其包括基于降维解析、矩阵分解、随机游走、深度学习和其他表示学习方法。其次通过归纳与对比分析梳理各类技术发展脉络,进而深层次展现各类图表示方法的优劣。随后结合图表示学习的常用数据集、评估方法和应用领域的归纳分析,展开动态性、可扩展性、可解释性和可解析性的四维剖析。最后总结并展望了图表示学习的未来研究趋势与发展方向。

基于图表示学习的领域知识图谱推理技术研究

现有领域知识图谱推理模型多数是由基于百科类通用知识图谱的推理模型迁移而来,但是领域知识图谱的异构性并未得到妥善处理。同时,现有研究将关系预测与三元组分类视作2个独立的任务而忽视了两者之间的关联,且领域知识在领域模型的建立过程中也未得到充分的利用。针对上述问题,建立基于翻译距离的改进推理模型TransSep,为异构的实体类型分配不同的特征空间。提出一种联合训练的策略,使得关系预测与三元组分类2个任务互相指导对方的负采样过程,并交替地学习实体的嵌入特征,从而提升2个任务的训练效果。以医疗领域知识图谱为例,将领域知识通过元路径的思想引入TransSep模型中,增强模型的表达能力。在由复旦大学构建的精准医学知识图谱上进行实验,结果表明,相比TransE、DistMult、TriModel等模型,TransSep模型在关系预测任务中MR分数至少提高17.4%,三元组分类任务中的F1值提高至0.9286。

基于局部优化的图表示学习增强

随着图表示学习在多个领域的成功应用,针对不同图数据和问题而设计的图表示学习方法爆发式增长.然而,图噪声的存在限制了图表示学习的能力.为有效降低图网络中的噪声比例,首先分析了图节点局部邻接的分布特性,并理论证明在局部邻接拓扑构建时,探索高阶邻近信息能够优化增强图表示学习的性能.其次,提出“2步骤”局部子图优化策略(local subgraph optimization strategy,LSOS).该策略首先根据原始图拓扑结构信息构造出具有多阶信息的局部邻接相似矩阵.然后基于相似矩阵和图节点局部信息,对图节点进行局部子图的结构优化.通过局部邻接的合理重构来降低网络中的噪声比例,进而达到图表示学习能力的增强.在节点分类、链接预测和社区发现3类任务的实验中,结果表明局部子图优化策略能够提升8个基线算法的性能.其中,在3个航空网络的节点分类任务中,提升效果最高分别达到23.11%,41.58%,24.16%.

基于图表示学习的代码异味强度排序模型

代码异味的存在使得软件系统难以开发和维护.现有的代码异味检测器通常仅输出结果,忽略了结合开发者的需求对检测出的异味按照其强度进行排序,而将判断异味重构优先级的耗时过程留给了开发人员.因此,本文提出了基于图表示学习的代码异味强度排序模型,为开发人员的重构优先级决策提供参考.该模型利用抽象语法树与代码间的依赖调用关系构建语义结构图,采用无监督的图表示学习方法将语义结构图与代码度量信息结合生成嵌入表示,利用机器学习方法,根据开发人员感知的异味严重性程度实现代码异味的强度排序.本文将模型应用于4种常见的代码异味,即Blob、Complex Class、Spaghetti Code与Shotgun Surgery.通过实验表明,本文提出的代码异味强度排序模型在大型开源项目上具有科学性与有效性,相较于基线方法,F1值最高提升了10.35%.

基于图卷积网络的表格隶属关系抽取

针对表格识别与分析领域中表内单元格间隶属关系抽取问题,定义表格隶属关系抽取任务,结合表格与图结构的相似性,给出表内单元格的图表示方法,并提出一种基于图卷积网络(GCN)的表格隶属关系抽取模型。所提模型通过GCN对表内单元格及其邻近格进行特征的聚合,预测单元格间是否存在隶属关系,实现关系抽取。为验证所提模型的有效性,标注中文表单Rel-forms及英文表格Rel-SciTSR这2个数据集。通过实验,在上述2类数据集及联合数据集上F1分数分别达到98.61%、96.55%、97.05%,验证所提模型在此2个数据集上的有效性,并分别分析文本内容、坐标信息、单元格属性及格间相对方向等不同因素对隶属关系抽取实验结果的影响。