结合多尺度注意力和动态构建的非均匀超图聚类模型

单个较大非均匀超图聚类旨在将非均匀超图包含的节点划分为多个簇,使得同一簇内的节点更相似,而不同簇中的节点更不相似,具有广泛的应用场景。目前,最优的基于超图神经网络的非均匀超图聚类方法CIAH(co-cluster the interactions via attentive hypergraph neural network)虽然较好地学习了非均匀超图的关系信息,但仍存在两点不足:(1)对于局部关系信息的挖掘不足;(2)忽略了隐藏的高阶关系。因此,提出一种基于多尺度注意力和动态超图构建的非均匀超图聚类模型MADC(non-uniform hypergraph clustering combining multi-scale attention and dynamic construction)。一方面,使用多尺度注意力充分学习了超边中节点与节点之间的局部关系信息;另一方面,采用动态构建挖掘隐藏的高阶关系,进一步丰富了超图特征嵌入。真实数据集上的大量实验结果验证了MADC模型在非均匀超图聚类上的聚类准确率(accuracy,ACC)、标准互信息(normalized mutual information,NMI)和调整兰德指数(adjusted Rand index,ARI)均优于CIAH等所有Baseline方法。

MSHC:一种多阶段超图聚类算法

超图作为普通图的高维推广,能够更加灵活地反映节点间的高阶复杂关系.超图聚类旨在发现超图结构中复杂的高阶关联关系.针对目前超图聚类结果不稳定、容易陷入局部最优等问题,结合超图划分思想,提出一种多阶段超图聚类(multi-stage hypergraph clustering,MSHC)算法,该算法将超图聚类过程分为超图约简、超图初始聚类以及优化迁移3个阶段.在超图约简阶段,提出一种不改变超图结构的快速约简方法,降低了后续算法的复杂度;提出基于集对分析理论的超图节点间相似性度量方法,并采用层次聚类方法对超图进行初始聚类,采用4种不同的类簇合并计算方法,增加聚类方案的多样性;将遗传算法应用于优化超图聚类方案的研究中,以此获得最优超图聚类方案.在3个不同规模的数据集上与4个经典的超图聚类方法进行对比实验,结果表明,MSHC算法在Songs_genres数据集和Papers_keywords数据集上超图模块度指数分别提高了0.0797和0.0777,在Movies_genres数据集上仅降低0.0060.

基于有向超图自适应卷积的链接预测模型

图神经网络(GNN)为链接预测提供了多样化的解决方案,但由于普通图的结构限制,目前的相关模型在充分利用顶点间的高阶及不对称信息方面存在明显的不足。针对以上问题,提出一种基于有向超图自适应卷积的链接预测模型。首先,使用有向超图结构更充分地表示顶点间的高阶和方向信息,兼具超图和有向图的优势;其次,有向超图自适应卷积采用自适应信息传播方式替代传统有向超图中的定向信息传播方式,从而解决了有向超边尾部顶点不能有效更新嵌入的问题,同时解决多层卷积导致的顶点过度平滑问题。在Citeseer数据集上基于显式顶点特征的实验结果显示,在链接预测任务上,相较于有向超图神经网络(DHNN)模型,所提模型的ROC(Receiver Operating Characteristic)曲线下面积(AUC)指标提升了2.23个百分点,平均精度(AP)提升了1.31个百分点。因此,所提模型可以充分表达顶点间的关系,并有效提高链接预测任务的性能。

面向下一个兴趣点推荐的细粒度时空多语义超图学习

现有的下一个兴趣点(point of interest,PoI)推荐技术存在三个主要问题:使用过于简单的方法构建用户兴趣模型、忽略用户和PoI之间在时空维度上的互动以及未能充分挖掘用户间复杂的高阶交互信息。针对这些问题,提出一种新颖的超图学习模型FSTMH,细粒度地融合时间、空间和语义信息,用于下一个PoI推荐。FSTMH包括细粒度嵌入模块和多层次嵌入模块。前者通过使用地理图卷积网络和有向超图卷积网络进行学习,获取对应的嵌入信息,并通过对比学习提升PoI表示的质量,使用细粒度超图卷积网络学习该模块的PoI嵌入;后者将多层语义超图输入到多层超图卷积网络,学习多层次语义的PoI嵌入表示。最后,模型将两个模块的PoI嵌入向量进行组合,生成最终的top-K预测结果。通过在广泛使用的三个社交网络公共数据集上进行多种实验,结果均表明FSTMH模型表现出色,说明该新模型可作为提高下一个PoI推荐的有效方法。

NHCL:一种基于原生结构增强的超图对比学习

基于自监督学习的超图对比学习已被广泛研究,然而,当前超图对比学习大多采用传统图表示学习中的数据增强方法,较少考虑超图的原生结构,并没有充分利用超图中的高阶关系。为了解决这一局限性,提出了一系列基于超图原生结构的数据增强操作,即针对超图中的超边和节点进行扰动。通过对超边之间的包含、组合及相交等关系和节点之间交互关系的研究,提出了一系列面向超边和节点的基本扰动操作,并在此基础上对面向超边和节点之间的基本操作进行了组合,帮助模型进行学习。通过使用基本数据增强操作及其组合,生成用于超图对比学习模型进行学习的正负样本对,使用超图神经网络学习其表征信息并进行编码,通过损失函数指导模型训练,从而帮助模型学习到超图中的高阶关系。为了验证该方法的有效性,对Cora-CA、PubMed和ModelNet40等12个常用的超图基准数据集进行了节点分类实验。实验结果表明,相比于现有两个超图自监督方法Self和Con、超图对比学习方法HyperGCL和TriCL,该方法在节点分类准确率上提升了2%~7%。

一类非线性超图的Estrada指数

研究一类非线性超图:太阳花型超图的Estrada指数.首先,给出了太阳花超图SH^(m)_(n,q)在q=2的迹的显式表达,并刻画超图在局部结构变化时迹的扰动.利用该扰动结果,确定了在给定边数的太阳花型超图中Estrada指数达到最大的唯一超图.

基于关系超图增强Transformer的智能站二次设备故障诊断研究

随着智能变电站二次设备的状态感知与自描述能力不断提升,在提高电网调控细粒度的同时,其海量、驳杂、离散的状态信息也使故障诊断难度倍增。为提高二次设备故障诊断精度与效率,提出基于关系超图增强Transformer的二次设备故障诊断算法。首先利用Apriori算法挖掘故障信号间的关联规则,构建关系超图。然后利用超图卷积神经网络(hypergraph convolutional neural network,HGCN)和微调标准Transformer网络学习故障特征间的高阶关系和上下文表达,再经过误差反向传播、非线性传递函数预测故障类型。最后,以某地区一年的二次设备运行数据作为算例进行分析。结果表明,所提方法能够去除冗余信息干扰,准确定位故障元件和诊断故障类型,为智能运维提供支持。

超图神经网络综述

近年来,图神经网络借助大量数据和超强计算能力在推荐系统和自然语言处理等应用领域取得显著成效,它主要处理具有成对关系的图数据.但许多现实网络中的对象之间的关系是复杂的非成对关系,如科研合作网络、蛋白质网络等.若直接用图结构将这种复杂的关系表示为成对关系,会导致信息丢失.超图是一种灵活的建模工具,可以展现出图无法完整刻画的高阶关系,弥补了图的不足.鉴于此,研究者开始关心如何在超图上设计神经网络,并相继提出应用于下游任务的超图神经网络模型(hypergraph neural network,HGNNs).故对现有的超图神经网络模型进行综述,首先全面回顾超图神经网络在过去3年的研究历程;其次根据设计超图神经网络采用的方法不同对其进行分类,并详细地阐述代表性的模型;然后介绍了超图神经网络的应用领域;最后总结和探讨了超图神经网络未来的研究方向.

基于超图Transformer的APT攻击威胁狩猎网络模型

针对物联网环境中高级持续性威胁(APT)具有隐蔽性强、持续时间长、更新迭代快等特点,传统被动检测模型难以对其进行有效搜寻的问题,提出了一种基于超图Transformer的APT攻击威胁狩猎(HTTN)模型,能够在时间跨度长、信息隐蔽复杂的物联网系统中快速定位和发现APT攻击痕迹。该模型首先将输入的网络威胁情报(CTI)日志图和物联网系统内核审计日志图编码为超图,经超图神经网络(HGNN)层计算日志图的全局信息和节点特征;然后由Transformer编码器提取超边位置特征;最后对超边进行匹配计算相似度分数,从而实现物联网系统网络环境下APT攻击的威胁狩猎。在物联网仿真环境下的实验结果表明,提出的HTTN模型与目前主流的图匹配神经网络相比均方误差降低约20%,Spearman等级相关系数提升约0.8%,匹配精度提升约1.2%。

基于BERT和超图对偶注意力网络的文本情感分析

针对网络短文本存在大量的噪声和缺乏上下文信息的问题,提出一种基于BERT和超图对偶注意力机制的文本情感分析模型。首先利用BERT预训练模型强大的表征学习能力,对情感文本进行动态特征提取;同时挖掘文本的上下文顺序信息、主题信息和语义依存信息将其建模成超图,通过对偶图注意力机制来对以上关联信息进行聚合;最终将BERT和超图对偶注意力网络两个模块提取出的特征进行拼接,经过softmax层得到对文本情感倾向的预测结果。该模型在电商评论二分类数据集和微博文本六分类数据集上的准确率分别达到95.49%和79.83%,相较于基准模型分别提高2.27%~3.45%和6.97%~11.69%;同时还设计了消融实验验证模型各部分对分类结果的增益。实验结果表明,该模型能够显著提高针对中文网络短文本情感分析的准确率。

Light-HGNN:用于圈层内容推荐的轻量同质超图神经网络

图神经网络和超图神经网络(hypergraph neural network,HGNN)已经成为协同过滤推荐领域的研究热点.然而实际场景中用户和项目的交互非常复杂,导致用户之间存在高阶的复杂关系,而普通图结构只能表达简单的成对关系,对网络结构的堆叠容易导致中间层表征的过度平滑,在稀疏场景下的用户建模、用户相似性发现与挖掘方面能力较弱;同时,异质超图神经网络的复杂结构使得模型的训练效率较低.在以微信“搜一搜”等内容平台为代表的高度稀疏数据场景中,对于基于用户所属群体画像的圈层内容推荐任务,现有模型推荐效果差、用户表示的可解释性弱.因此,针对该类任务,提出了一个新的轻量同质超图神经网络模型,该模型包含用户交互数据至超图的转化、卷积生成用户表征序列、用户表征计算过滤.模型首先将用户-项目交互数据转化为只含用户节点的同质超图并计算得到用户表征解耦序列初始值,随后根据超图拉普拉斯过滤矩阵进行信息传播与序列值的迭代生成,通过不使用激活层的卷积方法简化模型结构,并根据提出的均值差JK注意力机制为每个序列值生成权重矩阵.最终,通过对解耦序列加权求和、过滤实现对用户表示的编码,并在真实数据集上进行实验验证了所提模型的相对更优效果.

基于超图卷积的跨交通方式客流联合预测模型

大城市多种交通方式交织形成了彼此互通的客流网络,而跨交通方式客流之间的时空关联关系错综复杂,需要客流联合预测来解析整体出行规律,这对实现跨交通方式客流无缝衔接出行至关重要。针对跨交通方式客流网络,引入跨交通方式超图关联矩阵刻画公交和地铁的客流超图网络之间关联关系,提出一种基于双模时空超图卷积网络(BSTHCN)的跨交通方式客流联合预测模型。具体来说,模型由3部分组成:输入模块、时空卷积模块(包括时间卷积和空间卷积)和输出模块,可同时捕捉公交、地铁站点和线路的客流特征,以及两种客流网络之间换乘客流特征。最终,模型可识别提取重要信息特征,并进行特征聚合和分配。实证分析结果表明,相对于经典预测模型而言,BSTHCN具有更优的预测精度,以预测1h后的客流为例,在公交和地铁数据集上的平均绝对误差(MAE)指标至少分别减小了8.93%和8.10%,均方根误差(RMSE)指标至少分别降低了10.64%、7.47%。且BSTHCN的参数量和模型运行时间均在合理范围内,相比于时空卷积网络(S-TGCN)和扩散卷积递归神经网络(DCRNN),BSTHCN在实现更精准预测的同时,运行时间仅增加了4.82%。综合来看,BSTHCN显示出较强的竞争力。消融实验结果则进一步表明,BSTHCN在引入超图并考虑跨交通方式关联后,可更好地反映客流网络中的局部与整体特征,提升客流预测的精度。

社交参与视角下超图增强的学习趣缘社群群体检测研究

在线学习群体检测是在新一轮科技革命赋能教育创新变革背景下,依据学习者个性化特征优化教育资源分层配置的关键途径。现有学习趣缘社群在线学习群体的检测主要依赖学习者的直接行为记录和互动指标,较少关注学习者潜在的社交参与水平和社群结构。为营造数智环境下学习者画像决策辅助全民自主学习的文化氛围,本文提出一种社交参与视角下超图增强的学习趣缘社群群体检测方法。首先,从影响用户社交参与的维度出发,构建能够体现学习者社交参与水平的特征集。其次,提出超图卷积网络(hypergraph convolutional network,HyperGCN)增强的图聚类算法HG-SDCN(structural deep clustering network based on HyperGCN),解决了利用二分图检测在线学习群体时无法有效捕捉学习者多元交互关系和高阶结构的问题。最后,从真实学习趣缘社群收集数据,验证本文提出方法的检测效果。与基线相比,本文方法在Acc(accuracy)、F1、NMI(normalized mutual information)和ARI(adjusted Rand index)等评价指标上分别提升了16.16、9.77、16.01和22.14个百分点。上述结果不仅证明了HyperGCN在捕捉学习者高阶结构实现在线学习群体检测任务中的有效性,还为未来从社交参与维度制定调整个性化教育资源配置策略提供了方法和理论支撑。

基于超图嵌入和有限注意力的社会化推荐

近年来,社会化推荐作为推荐算法之一被广泛应用于各大平台.由于引入了用户的社交信息,社会化推荐可以较好地缓解数据稀疏问题.然而,大部分社会化推荐难以高效地从原始信息中提取用户的有效信息,导致引入社会信息的同时也会引入大量噪声.为了解决上述问题,本文提出了SRBHL(Social Recommendation Based on Hypergraph embedding and Limited attention)模型,通过超图嵌入模块提取用户的历史行为信息和社交信息,以缓解原始目标用户数据稀疏问题,并结合有限注意力模块来过滤原始信息的噪声,最后将得到的有效好友信息用于推荐.在Yelp-Urbana、Yelp-Phoenix和Epinions3个真实数据集上的实验结果表明SRBHL模型相比其他的推荐算法表现更出色.此外,本文还对SRBHL模型进行了鲁棒性分析,并给出了模型最优参数的取值范围.

基于非回溯矩阵中心性的超图可靠性研究

近年来,超图作为网络科学的一个研究热点,引起了广泛的关注。超图区别于传统图的结构特点在于它的超边可以同时连接多个节点,从而形成更为复杂和高阶的关系。在这样的网络结构中,有效地识别重要的节点和超边成为一个关键的挑战。特征向量中心性是一个常见的度量标准,但当网络中存在着极大度值的枢纽节点时,使用特征向量中心性度量方法会使结果表现出局域性,限制了该方法的应用场景。因此,将超图转化成对应的线图,在此基础上使用非回溯矩阵中心性这一方法,该方法在评估超边重要性时表现出更好的均匀性和区分度。此外,还探讨了特征向量中心性和非回溯矩阵中心性在超图中节点重要性评估上的应用。通过比较这两种方法,研究发现非回溯矩阵中心性在区分节点重要程度方面具有更明显的优势。研究不仅包括理论分析和模型构建,还包括对真实世界数据的实证。为了验证所提方法和结论,选取了6个真实世界超图作为实验对象。通过在这些超图上的应用,证明了非回溯矩阵中心性在识别重要节点和超边方面的有效性。研究为超图中关键元素的识别提供了一种新的视角和方法,对于理解和分析实际复杂网络系统,具有重要的理论和实践意义。

基于超图和MuSig2聚合签名的联盟链主从多链共识机制

针对多链式区块链采用主链最终共识机制,导致主链负载大,制约从链性能等问题,论文提出一种基于超图和MuSig2聚合签名的联盟链主从多链共识机制.首先根据超图理论,构建以横贯超图为主链,子超图为从链的联盟链主从多链架构;然后借鉴分治思想,结合“背书-排序-验证”的共识方式,构建分层分类共识机制,通过分类处理交易降低主链负载压力;最后构建基于MuSig2聚合签名的联盟链多方背书签名方法,提升背书签名的验证效率.性能分析表明:基于MuSig2聚合签名的联盟链多方背书签名安全可靠,基于超图和MuSig2聚合签名的分层分类共识机制具有强一致性和线性时间复杂度.实验结果表明:基于MuSig2聚合签名的多方背书方法的总效率是椭圆曲线数字签名算法(Elliptic Curve Digital Signature Algorithm,ECDSA)的1.55倍,分层分类共识机制能够提升12.5%的共识效率.该机制具有较高性能,可满足企业多样化业务需求.

结合超图对比学习和关系聚类的知识感知推荐算法

结合知识图谱的推荐算法通过引入知识图谱,获得项目的辅助信息,从而实现更好的推荐效果。然而推荐的过程中存在知识图谱中关系长尾分布、用户项目交互数据稀疏和异构信息利用不平衡的问题。针对这些问题,提出了一种结合超图对比学习和关系聚类的知识感知推荐算法(HC-CRKG)。通过关系聚类的方式重构知识图谱,缓解了知识图谱中关系的长尾分布问题;构建用户-项目-实体异构图,利用一种结合注意力机制的图卷积网络学习用户、项目的异构图嵌入;同时使用一种参数化的超图卷积网络,学习用户、项目的超图嵌入;在异构图嵌入和超图嵌入之间进行对比学习,为模型引入自监督信号,缓解数据稀疏性问题;将异构图嵌入和超图嵌入相结合,用于后续的推荐预测,进一步缓解了异构信息利用不平衡问题。模型在MovieLens-1M、Book-Crossing和Last.FM三个公开数据集上与CKAN、KGIC、VRKG4Rec等基线模型进行对比实验,实验结果表明在AUC、F1和Recall@K指标上,模型均取得了不同程度的提升。

基于超图正则NMF的自适应半监督多视图聚类

图正则非负矩阵分解(GNMF)虽然已成为大量多视图聚类方法的基本框架,但其尝试用简单图融合来自不同视图的复杂数据关系,同时获得一致性判别表示,这无疑有很大挑战性。为了更好地应对多视图数据的聚类任务,本文提出一种基于超图正则非负矩阵分解的半监督多视图聚类方法ASMCHNMF。该方法通过构造超图,学习来自多个视图的数据高阶关系,为合理利用现实世界中可获取的标签信息,引入标签约束项进行半监督学习。此外,该方法同时考虑一致性信息和互补性信息的学习,采用自适应措施区分不同视图的贡献,并使用交替迭代算法来对主函数进行优化。在7个真实数据集上的对比实验表明,在其中6个数据集上,ASMCHNMF算法的ACC和NMI指标均优于经典算法和当前先进算法。

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有壁画深度学习修复方法,存在上下文信息关注不足及结果欠佳的问题,提出了一种多层次特征融合与超图卷积的生成对抗修复模型。首先,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,以克服单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征方法,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,以提高特征信息的利用率;并引入门控机制对特征进行选择融合,以减少细节信息的丢失。接着,将融合特征通过卷积长短期记忆网络(ConvLSTM)特征注意力方法,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积捕获编码器的空间特征信息,并将其迁移到解码器中,有助于解码器更好地生成壁画图像,以加强特征的长程依赖关系,并与SN-PatchGAN判别器对抗博弈从而完成修复。通过敦煌壁画数字化修复实验,结果表明:所提方法客观评价优于对比算法,对于破损壁画修复结果更加清晰自然。

基于文本超图构建的中文仇恨言论检测模型

目的仇恨言论检测可以判定文本是否具有仇恨倾向,有助于筛除网络上的不当言论,维护网络环境的安全与秩序。为有效解决现有的仇恨言论检测方法依赖单一特征的图结构,难以捕捉文中由于对目标对象的隐性提及以及修辞手法的使用所带来的复杂语义,从而导致仇恨言论检测准确率不高的问题。方法提出一种基于文本超图构建的中文仇恨言论检测模型,通过分析文本中的语序和语法信息,及利用大语言模型针对目标对象所获取的语义扩展信息来构建文本超图,从而提升仇恨言论检测的效果。首先,构建提示模板引导大语言模型识别文本中的目标对象,并对其进行知识补充作为文本的语义扩展信息;然后,构建文本超图,以挖掘文本中隐含的语义结构和关联关系,并通过超图注意力机制聚合超图信息得到全局特征;同时,利用roberta-wwm-ext对原始文本进行动态特征提取,得到文本特征;最后利用交叉注意力机制实现文本特征与全局特征的融合,并通过sigmoid计算仇恨倾向检测仇恨言论。结果在COLDataset数据集上进行实验,该方法在实验中取得了较好的效果,可以提高检测的精确率和F1值。结论实验结果表明,该模型能够有效地提升中文仇恨言论的检测效果。