一种基于图注意力机制的威胁情报归因方法

威胁情报关联分析已成为网络攻击溯源的有效方式。从公开威胁情报源爬取了不同高级持续性威胁(APT)组织的威胁情报分析报告,并提出一种基于图注意力机制的威胁情报报告归类的方法,目的是检测新产生的威胁情报分析报告类别是否为已知的攻击组织,从而有助于进一步的专家分析。通过设计威胁情报知识图谱,提取战术和技术情报,对恶意样本、IP和域名进行属性挖掘,构建复杂网络,使用图注意力神经网络进行威胁情报报告节点分类。评估表明:所提方法在考虑类别分布不均衡的情况下,可以达到78%的准确率,达到对威胁情报报告所属组织进行有效判定的目的。

基于邻居采样和图注意力机制的产业链风险评估模型

风险评估是提高产业链韧性的重要途径,也是降低产业链不稳定性的有效手段。然而,现有风险评估的研究基于供应链结构,忽略了其他因素,无法准确地刻画产业链上下游各节点的关联关系,导致评估效果存在偏差。针对上述问题,考虑到产业链内部各节点相互关联、风险状况多样、存在风险传递的特性,提出了基于邻居采样和图注意力机制的产业链风险评估模型GANS。首先,构建了产业链的异质图,利用“产品-公司”“产品-产品”刻画了产业链节点之间的关联关系,并从产业链中提取财务数据等作为节点的数据特征;其次,提出了基于元路径和公司投融资关联规则的公司关系图生成模块,实现对产业链中公司节点关系的高效转化和结构特征的高效学习;接着,针对生成的多种公司关系图,设计了结合邻居采样和图注意力机制的产业链风险评估模块,对节点邻域特征进行随机采样和聚合,同时结合注意力机制对基于多种公司图的节点特征进行自适应聚合,并通过分类器实现节点级风险评估;最后,依据节点风险等级与节点的结构特征对产业链进行风险评估。实验表明,在真实产业链数据集上,GANS在准确性、F1分数等方面均优于现有的模型,证明了GANS实现产业链风险评估的准确性和有效性。

基于轻量化图注意力机制的露天矿卡车调度优化算法

有效地管理和调度露天矿卡车,有助于大幅提升运输效率、降低矿山运营成本。现有研究聚焦于利用深度强化学习(Deep Reinforcement Learning,DRL)构建学习模型求解路径优化问题,然而,该模型针对Transformer架构的参数训练时,会产生大量参数冗余。为此,提出了一种轻量化图注意力机制的露天矿卡车调度优化算法。将微分方程数值解法——阿当姆斯(Adams)法用于Transformer模型的权重学习中,通过Adams的残差训练方法,可提高网络后期的优化精度,进一步压缩模型的规模,高效求解露天矿卡车调度优化问题。研究表明:该方法在降低最优间隙的同时将源模型的参数量压缩1/2,减少了对GPU设备的训练依赖。采用随机生成的露天矿卡数据集算例对该算法性能进行了验证,反映出采用Adams-Transformer模型有助于提升露天矿卡车调度效率。

基于图注意力机制的加密移动应用同质流量识别方法

为了满足加密移动应用流量识别与管理的需求,针对加密移动应用中使用相似的第三方库而导致同质化流量的问题,提出了一种基于图注意力机制的加密移动应用同质流量识别方法。该方法首先将突发中的多条流相互连接构造流量相关图,在图节点中嵌入数据包特征;其次使用门控循环单元对流量相关图节点内部特征进行学习,使用图注意力神经网络对每个图节点的邻居节点进行上下文流量特征的重要性建模,增强对同质流量中上下文流量的关注与学习,达到识别同质流量的目的。考虑真实场景下存在背景流量与待识别移动应用流量同时存在的情况,在所构建的流量识别模型中加入图节点随机扰动和一致性正则化损失来增强模型的鲁棒性。基于公开数据集,通过与相关研究成果进行实验比较,突出了所提出的方法在加密移动应用同质化流量识别方面的性能优化效果。

基于图注意力机制的三维点云感知

基于PointNet++网络的三维点云感知方法能够通过提取目标的几何特征信息来对目标进行分类。虽然PointNet++网络能够提取到点云数据的局部特征,但未考虑点与其邻域点之间的关系,因此一旦缺失一个点的局部特征,网络的性能会受到较大的影响。针对这一问题,该文提出一种基于图注意力机制(graphic attention mecahnism)的新网络架构GA-PointNet++。模型利用图注意力机制在点与其邻域点之间分配注意力系数,完成点云局部特征的提取。在分类实验中,该文在ModelNet40数据集上的实验结果表明,提出的GA-PointNet++模型最终的平均分类准确率达到了88.8%,总体准确率达到了91.3%。相较于PointNet++基线模型总体准确率提高1.1百分点,验证了GA-PointNet++在分类任务中的有效性。

融合层次类型信息的双向图注意力机制的知识图谱嵌入模型

知识图谱嵌入旨在将实体与关系映射到低维且稠密的向量空间中。目前已有的嵌入模型仍存在以下两个方面的缺陷:现有的模型大多只关注知识图谱的语义信息,而忽略了大量三元组的隐藏信息;现有的模型仅关注了实体的单向信息,而忽略了双向的潜在信息。针对以上问题,提出了一种融合层次类型信息的双向图注意力机制的知识图谱嵌入模型Bi-HTGAT,该模型设计了层次类型注意力机制,考虑不同关系下每种类型的不同实体对中心实体的贡献。同时引入了关系的方向注意力机制,通过融合不同方向的邻居信息来更新实体和关系嵌入,最终聚合两部分信息以得到实体的最终嵌入。在基准数据集上的实验证明,Bi-HTGAT在链接预测任务上性能明显优于其他基线模型,充分证明了Bi-HTGAT能够进一步提高嵌入结果的精准度。

基于图注意力机制的无人机目标红外跟踪技术

近些年来,无人飞行器逐步普及,给社会治安、空域管制、要地防护等领域带来新的威胁。因此,对高威胁、难辨识的无人机目标进行高准确、高稳定的搜索跟踪有着迫切需求。立足城市环境下的反无人机作战需求,针对无人机易受复杂背景干扰、地物遮挡影响及其姿态尺度变化和快速机动造成的跟踪丢失问题,结合图神经网络与注意力机制,提出一种基于图注意力机制的孪生网络无人机目标红外跟踪技术。基于图注意力机制的局部特征匹配模块,通过节点间的信息传递实现全局信息匹配,通过基于图的特征表示和特征交互,增强从目标模板到搜索区域的信息嵌入能力;目标感知区域选择机制可以适应无人机目标尺寸和姿态的变化;基于运动特征设计的切换策略,实现局部跟踪和全局重检测间的动态选择。实验结果表明,在红外无人机目标跟踪时,运用此方法可以取得稳定的跟踪结果,可以有效应对形变、遮挡、复杂背景干扰等挑战,为实现在城市环境中持续稳定跟踪小型无人机目标提供技术参考。

基于图注意力机制超分网络模型的土建场景实例分割

针对变电站土木建设现场智能识别中的建筑工地施工场景复杂、目标识别分割困难及信息不对称等问题,本文提出了一种基于图注意力机制超分网络模型的智能识别场景解析技术,利用图卷积神经网络和注意力机制网络提取图像目标特征深层次信息,通过双线性插值与反卷积相结合的像素超分辨率技术处理得到清晰的图像目标物边界,实现变电站土建场景实例分割。结果表明,图注意力机制超分网络模型有效解决了航拍图像中目标物边界信息不丰富、实例分割精度差等问题,准确分割变电站场景目标物,目标物边缘界限清晰。

基于特征图注意力机制的图像超分辨率重建

图像超分辨率重建中的高频分量通常包含较多轮廓、纹理等细节信息,为更好地处理特征图中的高频分量与低频分量,实现自适应调整信道特征,提出一种基于特征图注意力机制的图像超分辨重建网络模型。利用特征提取块提取原始低分辨率图像中的特征信息,基于多个结合特征图注意力机制的信息提取块,通过特征信道之间的相互依赖性自适应调整信道特征,以恢复更多细节信息。在此基础上利用重建模块重建出不同尺度的高分辨率图像。在Set5数据集上的实验结果表明,与基于双三次插值的重建模型相比,该模型能够有效提升图像的视觉效果,且峰值信噪比与结构相似度分别提高了3.92 dB和0.056。

基于动态图注意力机制的秦俑点云鲁棒配准

针对目前的点云配准方法在处理秦俑等文物模型时不能很好地解决分辨率不匹配、点云部分重叠、噪声点较多等问题,提出一种基于动态图注意力机制的ResUNet配准模型。该模型将残差模块融入U-Net网络中,使用三维稀疏体素卷积计算点云特征,并引入一种新的归一化技术:批邻域归一化(Batch-Neighborhood Normalization,BNHN),来提高特征对于点密度变化的鲁棒性;为了进一步提高配准性能,该模型通过自注意力机制和交叉注意力机制聚合局部特征和上下文特征,最后结合随机抽样一致性算法来估计源点云与目标点云之间的变化矩阵,完成秦俑文物模型的鲁棒配准。为了验证本文方法的有效与鲁棒,使用四组数据集(3DMatch、3DLoMatch、分辨率不匹配的3DMatch数据集以及两组秦俑数据)对配准模型进行测试,实验结果表明,该算法在3DMatch数据集和3DLoMatch数据集上的配准召回率分别达到90.1%和61.0%;在分辨率不匹配的3DMatch数据集,相比与基于特征学习的配准算法,该算法在配准召回率上提升了5%~20%;在秦俑数据集上,相对旋转误差均小于0.071,相对平移误差均小于0.016,相较于同类算法减少了一个量级或几倍。因此,本文的模型能够提取三维点云的关键特征信息,并且对点密度和重叠度变化具有更高的鲁棒性。

结合谓词感知与图注意力机制的链接预测方法

知识图谱补全旨在预测三元组中缺失的部分使知识图谱趋于完整。针对基于神经网络等模型的链接预测方法忽略了实体间的关联信息,导致模型不能覆盖三元组周围局部邻域中固有的隐藏信息,提出图注意力机制与谓词感知结合的方法。首先,利用图注意力机制定义了一个关系嵌入矩阵,描述任意给定实体邻域内实体间的关系;其次,引入谓词增强实体间语义理解程度,构造了基于谓词嵌入向量的注意力值计算公式,以便有效地度量实体间语义联系的强度;此外,利用实体邻居间的边关系预测多跳实体间的直接关系以补全知识图谱。在数据集WN18RR、Kinship、FB15K的实验结果表明了该方法能有效提高三元组的预测精度。

基于多头图注意力机制的神经协同过滤推荐算法

目前主流的基于用户—项目二分图表征学习的推荐系统主要采用度归一化或平均池化的方法作为图上的近邻消息聚合策略,来学习用户和项目的表征向量.但是这两种聚合操作忽略了不同相邻节点对目标节点的重要性不同,从而导致最终刻画的用户和项目的表征表示不够准确.为此,本文提出了一种基于多头图注意力机制的神经协同过滤推荐模型(MGAT4Rec)来显示的建模目标节点与邻居节点之间的亲和力.该模型采用图注意力机制来捕获不同相邻节点的重要性并降低噪声信息的干扰,实现了对近邻节点信息的可解释性聚合;在此基础上,为了学习到更丰富的节点表征,通过使用多头图注意力机制来学习节点在不同潜在空间下的表征,将不同空间下的表征进行融合得到最终节点的表征向量.在MovieLens-100K和Amazon两个公开的数据集上进行了对比实验,MGAT4Rec在Recall@10和NDCG@10两个性能指标上相较于基线模型均有所提升.

基于动态关联图注意力网络的虚拟电厂居民短期负荷预测

居民短期负荷预测能够为虚拟电厂提供实时、灵活的电力需求信息,有助于虚拟电厂实现能源高效利用与优化电力市场交易。由于居民负荷相关性的日益凸显,传统预测方法仅基于单个居民历史负荷进行时序预测,无法满足规模化虚拟电厂对居民负荷关联性的综合需求。基于此,文中提出一种基于动态关联图注意力网络的虚拟电厂居民短期负荷预测方法。首先,提出了混合相关性分析方法来刻画居民负荷之间的线性和非线性关系,并进一步提出了权重剪枝阈值机制得到居民负荷混合相关性矩阵;然后,基于该矩阵构建动态关联图结构,进而提出时间图注意力网络机制以深入学习居民负荷的时空关联特性,并实现居民短期负荷预测目标;最后,以某地区实际居民负荷数据为例,验证了所提方法的有效性。

TMGAT:类型匹配约束的图注意力网络

近年来利用图结构来解决知识图补全(KGC)问题取得了不错的进展,其中图神经网络(GNNs)通过聚合实体的局部邻域信息来不断更新中心实体的表示,图注意力网络(GATs)使用注意力机制有侧重地聚合邻居,以获得更准确的中心实体表示。这些模型虽然在KGC中取得了不错的性能,但它们都忽略了中心实体的类型信息,仅仅使用邻域信息来计算注意力,将导致计算出来的注意力不够精准。针对这些问题,文中提出了一种类型匹配约束的图注意力网络(TMGAT),该方法通过计算中心实体类型对每个邻域关系的注意力,来得到实体类型-关系级别的注意力,以进一步计算出中心实体与各邻域关系的类型匹配度,再通过邻域关系及对应的邻居实体,结合类型匹配度计算实体-关系级别的注意力,得到邻域节点对中心实体的最终注意力。使用类型匹配度来约束传统的注意力机制,提升注意力机制的准确性,得到更加精准的中心实体嵌入,进而提升知识图补全的准确性。截至目前,文中提出的TMGAT是第一个在GATs中结合显式类型进行知识图补全任务的模型。文中加工了两个现有的数据集,使数据集中每个实体都拥有若干个类型,以验证TMGAT模型的性能。最后,实验部分展现了TMGAT在知识补全任务中优秀的竞争力,并研究了类型个数对模型性能的影响。

融合用户特征的图注意力微博谣言检测模型

随着网络和通信技术的发展,谣言借助微博等平台可快速扩散,形成病毒式传播,给国家安全和社会稳定造成严重的安全隐患。为了提高谣言自动检测的准确率,对基于图注意力网络的全局-局部注意力编码谣言检测模型进行了改进。首先,引入用户属性信息对微博文本内容特征和传播结构特征进行补充,得到更高阶特征;其次,改进图注意力机制以得到更健壮的节点聚合特征,为判决是否为谣言提供更准确的依据。在微博谣言数据集上的实验结果表明,相对于已有算法,该文提出的检测模型具有更高的检测准确率。

基于图游走和图注意力的点云分类与分割

针对点云特征提取中远距离特征和局部几何结构信息欠缺的问题,提出了一种基于图游走和图注意力的点云分类与分割网络。首先,利用带有导向性的图游走算法,对点云全局特征补充额外的几何信息和远距离特征信息;其次,嵌入图注意力机制,使模型聚焦于点云的关键区域,提升网络的特征提取能力;最后,在初始点云中提取距离特征作为初始残差嵌入到网络中,避免网络过平滑。在ModelNet40数据集、ScanObjectNN数据集进行了点云分类实验,在ShapeNetPart数据集与Toronto-3D数据集上分别进行了点云部件分割与点云语义分割实验,实验结果表明:相较于基准网络DGCNN,分类精度分别提升了1.3百分点、5.6百分点;分割精度分别提升了1.2百分点、33.1百分点。通过在ModelNet40-C数据集上进行稳健性分析,验证了所提网络具有较强的鲁棒性。

一种适用于轴承故障诊断半监督学习分类的多层图卷积注意力融合网络

图卷积网络的平滑运行会导致其无法通过深度网络堆叠捕获深层信息,为了解决这个问题,提出了一种适用于滚动轴承故障诊断半监督学习分类的多层图卷积注意力融合网络(MGCAN)。首先,采用频域构图法将数据转换为图模型,捕获了数据的内在结构信息,将构建好的图数据输入网络,逐层提取特征信息,从浅层到深层逐步加深对数据特征的理解;然后,对每一层图卷积信息进行了有序拼接,同时引入了图注意力机制,使网络能够自动关注对分类任务比较重要的信息,从而提高了网络的性能和鲁棒性;最终,通过迭代学习,网络能够不断优化模型参数,对故障信息进行了准确识别;对不同工作条件下的滚动轴承进行了多次实验,并将该方法与传统的基于深度学习的方法进行了分析比较。研究结果表明:即使在标记数据只有10%的前提下,采用该网络依旧能够达到88%以上的识别准确度,并且适用于匀速和变速等不同的工况。上述结果证明,在选择适当方法保留多层图卷积中的有用信息后,深度图卷积网络可以成为诊断滚动轴承故障的一大利器。

Point-GAT:图注意力机制与关键点检测的融合

针对以往基于关键点的目标检测存在小尺度上的检测结果不太理想,忽略关键点之间的类别语义信息的问题,提出了一种新的关键点检测算法Point-GAT。该算法通过在Hourglass和ResNeXt主干网络上加入快捷连接,解决网络深度增加带来的学习退化问题;使用反卷积和特征融合增强小尺度目标的检测效果;同时算法使用了图注意力机制,通过构建有向有权重图映射类别之间的语义关系,获得关键点之间的类别语义信息;在优化定位和回归函数的同时,加入分类损失函数分支来反映类别语义信息。在COCO数据集上实验结果表明,该算法平均精度达到了48.3%,在PASVAL VOC 2007和PASVAL VOC 2012数据集上平均精度均高于其他算法。

面向图嵌入的改进图注意机制模型

针对图神经网络模型学习图嵌入节点表示过程中易丢失大量特征信息及其图拓扑保留不完整的问题,提出了一种改进的图注意力(graph attention)机制模型。该模型分为节点级双向注意力机制和图级自注意图池化两部分。在学习图节点新的特征向量表示过程中,采取计算双向图注意力权重的方式,为邻域节点的保留提供可靠选择的同时增强节点间的相似属性;在图的整体拓扑上结合自注意图池,使用节点特征向量作为输入,通过注意卷积层提供的自注意权重在池化层生成图嵌入表示;在Cora、Citeseer、Pubmed数据集上进行了测试,实验结果表明:相比于基准图注意力机制模型,改进模型能够充分考虑图的局部和整体结构特征,有效增强模型聚合邻域信息的能力,减少了图嵌入过程中原始特征的丢失,明显提升了模型在下游任务的表现性能。

基于新型时空双注意力模型的聚乙烯树脂密度软测量建模方法

由于在工业过程中产生的时序数据本身具有高度非线性和动态性,导致对聚乙烯关键指标的准确预测和生产优化指导变得困难。因此,提出一种基于新型时空双注意力模型的聚乙烯树脂密度软测量建模方法,旨在解决聚乙烯工业过程中的关键指标预测和能源结构优化问题。方法中引入了图注意力网络(GAT)和长短期时间序列网络(LSTNet),分别用于捕获复杂的时空关系以及提取时间相关特征,并将它们融合到一个统一的框架中,即时空融合模块(GLST),以实现自适应控制和准确预测。在GLST模型中,多头GAT模型被用于建模变量间显式的非线性关系,充分利用其信息聚合能力来提取时序数据的空间特征。同时,LSTNet模型有助于捕捉潜在的时间相关特征,从而更好地理解时序数据的动态性。GLST的引入使得能够将采集到的时空交互特征有效融合,从而实现对聚乙烯树脂密度的准确预测。为了验证方法的有效性,将该方法应用于实际工业生产聚乙烯树脂密度软测量建模中,结果表明:该方法不仅在与其他方法的比较中表现出显著的优越性,而且能够为实际聚乙烯生产工艺提供最佳的能源结构优化方案。