基于相似网络和联合注意力的图嵌入模型

图注意力网络(graph attention network, GAT)将注意力机制与图神经网络融合,但模型只关注节点的一阶邻域节点,缺乏对高阶相似节点的考虑,同时在计算注意力分数时缺乏对节点结构特征的关注.为此提出一种基于相似网络和联合注意力的图嵌入模型.首先计算网络中的节点相似性,并将高相似度且未连接的节点对构建新边以形成相似网络.其次,引入结构相关性和内容相关性的概念,分别用于表征节点之间的结构关系和内容特征.通过融合两种相关性得分计算得到联合注意力分数.最后使用联合注意力分数对节点特征加权聚合,得到最终的节点嵌入表示.将本文所提算法在Cora、Citeseer和Pubmed 3个数据集上进行节点分类任务,准确率分别达到85.70%、74.30%、84.10%,与原始图注意力网络模型相比分别提高了2.70%、3.94%和2.60%.可见,所提出的算法可以得到更好的节点嵌入表示.

基于图嵌入和多标签传播的重叠社区检测算法

为进一步优化重叠社区检测算法,提出了一种新的基于度和节点聚类系数的节点重要性定义,按照节点重要性降序更新节点,固定节点更新策略,提高社区检测的稳定性。在此基础上,提出了一种基于图嵌入和多标签传播的重叠社区检测算法(overlapping community detection based on graph embedding and multi-label propagation algorithm,OCD-GEMPA)。该算法结合node2vec模型对节点进行低维向量表示,构建节点之间的权重值矩阵,根据权重值计算标签归属系数,据此选择标签,避免了随机选择问题。在真实数据集和人工合成数据集上对该算法进行实验验证。实验结果表明,与其他重叠社区检测算法相比,OCD-GEMPA在EQ和NMI这两个指标都有明显提升,具有更好的准确性和稳定性。

基于超图嵌入的行车故障多元关系知识表示方法

鉴于常规知识图谱仅能处理二元关系,而故障知识包含大量“多现象—多原因—多方法”的多元耦合关系,强制转化将会破坏关系的完整性,造成严重的信息失真,为采用知识超图处理此类复杂多元关系以保证数据的完整性,设计了一种基于超图嵌入的行车故障多元关系知识表示方法。通过梳理行车故障单中现象、原因、方法等数据之间的多元关联,构建适用于表征多元耦合关系的行车故障本体模型,以该本体模型为知识超图的模式层建立行车故障知识超图;基于BERT模型和超图卷积网络获取故障知识的嵌入向量表示,并实现了相似故障检索。最后,以上海某钢铁公司收集的行车故障调查单为实例,验证了所提方法的有效性。

基于全局-局部图嵌入的轴承故障诊断

传统基于图的故障诊断框架通常是利用高维数据某种结构关系构造相似图以揭示样本间的几何结构,造成数据其他结构信息丢失,无法准确提取出表征轴承运行状态的低维特征。提出了一种新的基于图的无监督特征提取方法,该方法在构造图的过程中同时考虑了高维数据的全局和局部结构,称为全局–局部图嵌入,该方法首先利用数据的全局结构信息构造一个无向图。然后,通过构造局部结构信息赋予无向图中边相应的权重,得到一个全局–局部图联合表示凸优化问题,并根据得到权重评估样本间的相似性。最后,通过在低维空间中保持样本间的相似性不变计算低维嵌入结果。相较于单一的图结构表示法,构造的全局–局部联合图充分利用了高维数据固有的全局和局部结构信息。此外,通过保持样本间的相似性能有效提取出高维轴承数据的本质特征,实验结果表明,提出的基于全局–局部图嵌入的特征提取方法较现有的方法具有明显优势。

基于图嵌入的多任务用户交互日志分段方法

机器人流程自动化需要借助用户交互日志设计流程模型。然而,真实场景中的用户交互日志往往包含多种任务,同时不同的任务执行过程也很可能存在相互干扰。针对上述问题,本文提出一种基于图嵌入的多任务用户交互日志分段方法。该方法首先将行为上下文信息融入直接跟随图中,然后利用图嵌入算法提取行为的向量表征,最后根据行为前驱、后继相关性对用户交互日志进行切分和聚类,从而达到自动分段的目的。特别地,为了提高行为向量表征的准确性,提出权重增强的方法来优化图嵌入算法中的采样过程。实验结果表明,所提方法可以有效地解决多任务顺序和交错执行场景用户交互日志分段问题。

异质图嵌入的地理不敏感时空兴趣点推荐方法

基于地理位置的社交网络(LBSN)规模日渐庞大,促进了兴趣点(POI)推荐业务快速发展。现有研究常直接引入POI地理空间距离难以模拟用户高度随机的行为路径,导致兴趣点推荐过程对地点位置距离度量较为敏感。同时,社交网络中用户稀疏的POI签到数据也容易对推荐精度产生巨大影响。针对以上问题,提出一种基于异质图嵌入的地理不敏感时空兴趣点推荐模型(GIPR)。首先,引入用户行为序列,构造行为POI时空拓扑图,使用权重空间路径表示相对位置距离,既符合用户行为特征,也降低了推荐过程对兴趣点间距离的敏感程度,进而增强推荐结果的可解释性。其次,面对异质且高度稀疏的交互数据,提出的GIPR推荐方法可从局部和全局对完整的LBSN异质图进行学习,融合更丰富的用户和POI特征。最后,经过注意力层提取用户的长短期偏好,实现更加个性化的兴趣点推荐。在两个大规模真实数据集Foursquare和Gowalla上的实验表明,GIPR方法具有更高的推荐精度与更强的可解释性。

基于平衡分层K均值的正交无监督大型图嵌入降维算法

为了降低大规模数据集降维的计算代价,提出一种基于平衡分层K均值的正交无监督图嵌入降维方法。该文给出局部保持投影和谱回归等价的充分必要条件;基于平衡分层K-means的锚生成策略,构建加快局部保持投影求解过程的特殊相似矩阵;再结合正交约束,提出正交化无监督大型图嵌入降维方法;在几种公开数据集上进行扩展实验,结果表明提出的方法能够对大规模数据集实现高效快速的降维。

深度学习支持下的自适应学习路径推荐——融合图嵌入与注意力机制的知识追踪模型

自适应学习路径推荐是智能技术在教育服务智能化中的核心应用。知识追踪通过分析学生的历史学习记录,预测其未来知识水平,从而为其提供个性化的学习规划与推荐。然而,现有的知识追踪方法在处理学生在线学习行为的复杂性时存在数据稀疏问题,并且忽略了时间因素和学生的遗忘机制,导致模型不能准确捕捉学生的状态变化,影响推荐效果。因此,在知识追踪模型中融合图嵌入和注意力机制,设计出一种新颖的深度学习支持下的自适应学习路径推荐模型(GE-MAKT)。实验结果表明,相较于传统方法,GE-MAKT模型的AUC和ACC两个评价指标得到显著提升,增强了对学生知识掌握水平的判断能力,可为学生提供更加个性化的学习路径推荐。

基于图嵌入的二进制代码模块划分方法

软件逆向分析作为网络空间安全领域研究的核心支撑技术,在软件漏洞分析、恶意代码行为分析等方面有着广泛应用.二进制代码的模块划分是该领域研究中的关键问题,通过将复杂或者大体量软件合理划分为若干模块,对于帮助分析者快速、准确理解软件结构与功能,提高分析效率起着重要作用.对此,常见方法是将代码中的函数及其调用关系看作复杂网络,通过社区发现算法来进行函数聚类,实现模块划分,该类方法通常只考虑节点之间的连接关系,忽略了节点的属性、节点之间的相似度等信息,且对噪声和异常值比较敏感.为了解决这些问题,提出了一种基于图嵌入的二进制代码模块划分(graph embedding based binary code modularization,GEBCM)方法.该方法首先将软件系统抽象为属性图,然后通过带有注意力机制和排名机制的图嵌入聚类方法对函数节点进行嵌入表示并聚类.通过聚类将二进制文件分组为更具有完整功能的独立部分,揭示了复杂程序结构中分离的模块语义信息.在2个数据集上进行的实验评估,验证了所提出的GEBCM方法的有效性.评估结果表明,相比其他二进制模块化工作,GEBCM的F1值平均提高10.2个百分点.此外,在针对恶意样本的评估实验中,GEBCM能有效地划分出恶意代码的模块,表现出优秀的可扩展性.

自适应图嵌入和非凸正则特征自表达的无监督特征选择

针对传统的无监督特征选择不能充分兼顾样本及特征的局部结构,以及没有考虑非凸正则项带来更稀疏的解并能够选择出更具判别性特征等问题,提出了自适应图嵌入和非凸正则特征自表达的无监督特征选择方法。通过图嵌入降低特征维度,获得样本相似度矩阵,引导特征选择;引入特征自表达策略,用其余特征线性表示每一个特征,考虑特征间的相似性关系,保持特征局部结构;在特征自表达中添加非凸正则项,获得行更稀疏的权重矩阵,实现特征选择;在特征选择过程中执行自适应图嵌入对数据局部结构进行学习,选择最优特征子集;为求解非凸稀疏问题,使用交替迭代方法优化求解模型,设计了一种新的无监督特征选择算法。在6个数据集上与其他算法进行实验对比分析,实验结果表明所提算法是有效的。

结合视觉文本匹配和图嵌入的可见光-红外行人重识别

对于可见光-红外跨模态行人重识别(Re-ID),大多数方法采用基于模态转换的策略,通过对抗网络生成图像,以此建立不同模态间的相互联系。然而这些方法往往不能有效降低模态间的差距,导致重识别性能不佳。针对此问题,该文提出一种基于视觉文本匹配和图嵌入的双阶段跨模态行人重识别方法。该方法通过上下文优化方案构建可学习文本模板,生成行人描述作为模态间的关联信息。具体而言,在第1阶段基于图片-文本对的预训练(CLIP)模型实现同一行人不同模态间的统一文本描述作为先验信息辅助降低模态差异。同时在第2阶段引入基于图嵌入的跨模态约束框架,设计模态间自适应损失函数,提升行人识别准确率。为了验证所提方法的有效性,在SYSU-MM01和Reg DB数据集上进行了大量实验,其中SYSU-MM01数据集上的首次命中(Rank-1)和平均精度均值(m AP)分别达到64.2%,60.2%。实验结果表明,该文所提方法能够提升可见光-红外跨模态行人重识别的准确率。

基于图嵌入长短时记忆神经网络的非线性动态过程监控与诊断

针对复杂工业过程存在的非线性、动态性,以及故障标签难获取等特征,提出一种图嵌入长短时记忆神经网络在线监控与故障诊断方法。首先,对正常工况下采集的多维时序数据进行图嵌入,获得结构信息。其次,采用图注意力神经网络融合结构信息,并将融合后的结构信息输入用于预测的长短时记忆神经网络中。最后,提出一种新的基于预测误差指标的非线性动态过程在线监控方法和基于因果分析图的故障诊断方法。采用田纳西-伊斯曼数据集进行实验验证,结果表明了所提方法的有效性。

基于异构图嵌入的恶意软件检测

和同构图相比,异构图包含多种节点类型和关系类型,可以表征更丰富更复杂的内容。文中提出了一种基于异构图嵌入的恶意软件检测方法,从威胁情报平台得到恶意样本的基本信息和行为报告,提取出报告中的函数调用行为、文件行为和注册表行为,构造出包含软件及其动静态特征的异构图;根据设计的元模式在图上随机游走生成语料库,通过嵌入模型得到特征向量;将嵌入降维后的特征向量送入分类器进行分类完成检测。实验筛选了4902个样本用于验证方法效果,结果表明提出的方法检测准确率达到99.1%,可以有效检测恶意软件。

图嵌入模型综述

图分析用于深入挖掘图数据的内在特征,然而图作为非欧几里德数据,传统的数据分析方法普遍存在较高的计算量和空间开销。图嵌入是一种解决图分析问题的有效方法,其将原始图数据转换到低维空间并保留关键信息,从而提升节点分类、链接预测、节点聚类等下游任务的性能。与以往的研究不同,同时对静态图和动态图嵌入文献进行全面回顾,提出一种静态图嵌入和动态图嵌入通用分类方法,即基于矩阵分解的图嵌入、基于随机游走的图嵌入、基于自编码器的图嵌入、基于图神经网络(GNN)的图嵌入和基于其他方法的图嵌入。其次,对静态图和动态图方法的理论相关性进行分析,对模型核心策略、下游任务和数据集进行全面总结。最后,提出了四个图嵌入的潜在研究方向。

基于邻居相似性的图嵌入社区检测算法

社区检测是复杂网络中的研究热点,理解和发现网络的社区结构对于探索网络的行为和功能具有重要意义。提出了一种新颖的基于邻居相似性的图嵌入方法进行社区检测。基于节点的邻居相似性和接受度聚合邻居的属性信息表达,得到网络中每个节点的向量表达后,直接进行K-均值聚类得到最终的社区划分结果。实验结果表明:提出的算法具有更好的社团划分结果,其模块性和标准归一化指标都有明显的提升。

基于图嵌入模型的犯罪组织成员关系预测

随着社会的快速发展,犯罪行为愈发复杂多样化,群体性案件高发多发,使得基于犯罪学理论和案例研判的传统犯罪组织分析方法已无法满足情报工作的需求。因此,利用深度学习技术分析和挖掘犯罪组织特性,已成为数据警务工作的必然选择。本文使用图嵌入模型变分图自编码器(VGAE)对犯罪组织成员关系进行预测。模型的编码器部分提取犯罪组织结构特征并生成特征向量,解码器部分使用向量内积重构犯罪组织结构,进而预测犯罪组织中两个成员之间是否存在关联。为了评估VGAE在关系预测任务中的实验表现,在开源犯罪网络数据集Montagna上进行测试。实验结果表明,VGAE具备较高的预测性能,能够有效识别犯罪组织成员之间的潜在关系。

一种鲁棒性的联结图嵌入与稀疏回归的LDA算法及其人脸识别

针对线性判别分析(LDA)算法对异常值较为敏感的特点,为了提高算法的鲁棒性,提出了鲁棒性的联结图嵌入与稀疏回归的LDA算法。该算法首先组合图嵌入与基于L_(2,1)范数稀疏回归的目标函数,使得谱图向量和最优回归向量可同时学习得到,然后采用交替迭代优化的方法,经过一系列变换求出最优投影矩阵,最后将训练样本和测试样本投影到该低维子空间中,利用最近欧式距离分类器进行分类。由于将L_(2,1)范数作用于损失函数和正则化项上,能够使特征选择和子空间学习同时进行,增强了算法的鲁棒性,有效地提高了识别性能。在ORL和PIE人脸库上的实验结果表明,新算法具有较好的鉴别能力。

图嵌入方法与应用:研究综述

图模型越来越广泛地应用于数据管理、知识发现和信息服务等问题中,图嵌入作为图分析和应用的重要技术手段,成为了人工智能领域研究的热点之一.本文从图嵌入研究中面临的挑战出发,主要介绍了基于矩阵分解、基于随机游走和基于深度学习的图嵌入方法.接着,介绍了图嵌入方法常用的测试数据集、评测标准和典型应用.最后,总结了图嵌入未来研究的趋势和方向.

直接线性图嵌入算法及其在人脸识别中的应用

图嵌入算法使用无向有权图来描述数据集的流形结构,目前许多流形学习算法都可统一到这个框架下。线性图嵌入算法(LGE)在高维小样本应用中往往会遇到的奇异值问题,因此需把数据集预先投影到PCA子空间,往往会丢失了一些有用的信息。本文提出了一种直接的线性图嵌入算法(DLGE),可直接从原始数据集中提取特征。此外DLGE算法相对于基于迭代的正交化算法,在最小二乘意义下对截断的征向量进行正交化处理,计算简便有效。在多个人脸数据库库上的仿真结果表明,相对于传统算法,DLGE算法具有更强的人脸表征能力,更好的分类性能,且更加鲁棒。

面向知识图谱的图嵌入学习研究进展

知识图谱是一种用网络结构存储知识的知识库,在知识图谱中,单条知识被表示成三元组的形式,即(头实体,关系,尾实体).得力于知识图谱在各个领域的广泛应用,面向知识图谱的图嵌入学习也得到越来越多研究人员的关注.面向知识图谱的图嵌入学习任务旨在为图谱中的实体与关系学习低维且稠密的向量,通过图嵌入向量表达实体与关系的语义信息以及度量实体之间、关系之间、实体与关系之间的语义联系,已有许多研究证明图嵌入模型在下游任务中的有效性.近年来,越来越多研究人员开始关注知识图谱的图嵌入学习,并取得大量的研究成果,尝试将图嵌入算法分成了基于转移思想、基于张量分解、基于传统深度学习模型、基于图神经网络以及融入额外信息的图嵌入学习共5大类,梳理、介绍各类图嵌入算法的设计思路、算法特征以及优缺点,以帮助指导初步接触该领域的研究人员快速学习了解该研究领域的相关模型和算法.