小时间尺度网络数据传输故障识别数学建模

在网络传输过程中,数据容量较大,受外界因素影响极易导致传输中断,从而出现信息缺失与传输误码。为解决中断故障造成的数据传输误差和缺失问题,提高网络利用率,保证网络的正常通信。因此,提出一种小时间尺度网络数据传输故障识别数学建模。建立传输的容错控制条件,分析小时间尺度网络的混沌状态和流量序列,描述网络中多层前向特征,调整各个尺度下权重和阈值。设定容错策略,对小时间尺度网络多项训练,得到网络的中断故障诊断。针对性预测缺失数据,通过函数计算预测误差及序列权重等参数,获得故障隶属度层和规则集合层间调节权值,完成中断故障容错识别。实验证明,所提方法提高了网络传输召回率,增加网络资源利用率,减少网络在中断故障下的传输误码率。

基于改进SKNet-SVM的网络安全态势评估

为提高网络安全态势评估的准确率,增强稳定性与鲁棒性,提出一种基于改进选择性卷积核卷积神经网络和支持向量机的网络安全态势评估模型。首先,使用改进选择性卷积核代替传统卷积核进行特征提取,提高卷积神经网络感受野变化的自适应性,增强特征之间关联性。然后,将提取的特征输入到支持向量机中进行分类,并使用网格优化算法对支持向量机中的参数进行全局寻优。最后,根据网络攻击影响指标计算网络安全态势值。实验表明,基于改进选择性卷积核卷积神经网络和支持向量机的态势评估模型与传统的卷积神经网络搭建的态势评估模型相比,准确率更高,并且具有更强的稳定性和鲁棒性。

基于图核的异质信息网络链路预测方法

链路预测是图挖掘主要研究的问题,其研究重点是提取图的特征信息,现有研究方法大多只关注网络拓扑结构而忽略了节点属性信息。针对该问题,提出了基于图核的链路预测方法NGLP。该方法能挖掘有效、可用的元路径;基于元路径对预测对象生成带节点属性的子图,使用子图表示被预测的链路;然后利用图核方法计算子图之间的相似性;最后训练SVM得出链路预测结果。实验结果表明,提出方法与其他方法相比具有更高的精度和更强的稳定性。

自适应聚类中心策略优化的密度峰值聚类算法

密度峰值聚类算法(DPC)是一种简单高效的无监督聚类算法,能够快速找到聚类中心完成聚类。该算法通过截断距离定义局部密度未考虑样本点的空间分布特征;通过决策图选择聚类中心点,具有较强人为主观性;在分配样本点时采用单一分配策略,易产生连带错误。因此提出一种自适应聚类中心策略优化的密度峰值聚类算法(ADPC),采用共享近邻定义两点之间的相似性度量,重新定义了局部密度,使局部密度反应样本间的空间分布特征;通过相邻点之间斜率差分确定样本密度ρ与相对距离δ的乘积γ值的“拐点”,并对γ进行幂函数变换,以提高潜在聚类中心与非聚类中心的区分度,利用决策函数确定潜在的聚类中心,再通过潜在聚类中心之间距离均值自适应确定真实聚类中心;优化了非聚类中心点的分配策略。通过在UCI以及人工数据集上进行实验,该算法都可以自适应准确选定聚类中心,且在一定程度上提高了聚类性能。

自监督对比的属性图联合表示聚类

现实世界中越来越多的复杂数据被表示为具有属性节点的图,因此属性图聚类是图挖掘中的一个重要问题。图神经网络在图结构数据的编码表示方面取得较好性能,但基于卷积操作或者注意力机制的图神经网络方法存在节点噪声、特征过度平滑、网络异质性、计算代价高昂等问题。基于深度学习方法如自编码器能够有效地提取节点属性表示,但不能包含丰富结构信息。因此提出了一种基于自监督训练和对比学习的图联合表示聚类方法(self-supervised contrastive graph joint representation clustering,SCRC)。使用自编码器预训练学习节点的属性表示,通过在图结构信息上增加对比损失信息,使用影响对比损失融合更加丰富的结构信息,联合图结构信息和属性表示,基于神经网络自监督训练机制迭代优化完成聚类任务。通过设计简单的线性模型,避免使用卷积和注意力机制,有效整合结构信息,使得运行速度更快。在广泛使用的引文网络数据上进行实验,对参数敏感性进行分析,验证了影响对比损失和自监督联合聚类的有效性。实验结果表明,所提出的方法取得了显著的性能提升,并且对节点噪声、特征过度平滑和网络异质性更具有鲁棒性。

基于拉格朗日对偶的小样本学习隐私保护和公平性约束方法

小样本学习旨在利用少量数据训练并大幅提升模型效用,为解决敏感数据在神经网络模型中的隐私与公平问题提供了重要方法。在小样本学习中,由于小样本数据集中往往包含某些敏感数据,并且这些敏感数据可能有歧视性,导致数据在神经网络模型的训练中存在隐私泄露的风险和公平性问题。此外,在许多领域中,由于隐私或安全等,数据很难或无法获取。同时在差分隐私模型中,噪声的引入不仅会导致模型效用的降低,也会引起模型公平性的失衡。针对这些挑战,提出了一种基于Rényi差分隐私过滤器的样本级自适应隐私过滤算法,利用Rényi差分隐私以实现对隐私损失的更精确计算。进一步,提出了一种基于拉格朗日对偶的隐私性和公平性约束算法,该算法通过引入拉格朗日方法,将差分隐私约束和公平性约束加到目标函数中,并引入拉格朗日乘子来平衡这些约束。利用拉格朗日乘子法将目标函数转化为对偶问题,从而实现同时优化隐私性和公平性,通过拉格朗日函数实现隐私性和公平性的平衡。实验结果证明,该方法既提升了模型性能,又保证了模型的隐私性和公平性。

基于相似网络和联合注意力的图嵌入模型

图注意力网络(graph attention network, GAT)将注意力机制与图神经网络融合,但模型只关注节点的一阶邻域节点,缺乏对高阶相似节点的考虑,同时在计算注意力分数时缺乏对节点结构特征的关注.为此提出一种基于相似网络和联合注意力的图嵌入模型.首先计算网络中的节点相似性,并将高相似度且未连接的节点对构建新边以形成相似网络.其次,引入结构相关性和内容相关性的概念,分别用于表征节点之间的结构关系和内容特征.通过融合两种相关性得分计算得到联合注意力分数.最后使用联合注意力分数对节点特征加权聚合,得到最终的节点嵌入表示.将本文所提算法在Cora、Citeseer和Pubmed 3个数据集上进行节点分类任务,准确率分别达到85.70%、74.30%、84.10%,与原始图注意力网络模型相比分别提高了2.70%、3.94%和2.60%.可见,所提出的算法可以得到更好的节点嵌入表示.

面向医学领域的文本特征增强多任务学习模型

医学命名实体的识别和规范化是构建高质量医学知识图谱的基础。文中提出了一种基于文本特征增强的多任务学习模型,旨在解决现有模型中医学实体识别与规范化模型不能充分利用文本特征的问题。该模型添加词级、字符级特征和上下文语义信息来增强文本表示,再通过4个分级子任务,联合建模完成医学实体识别和规范化任务。实验表明,该模型能够学习实体识别和实体规范化这两个任务的共同特征,有效地提高学习的准确率。在NCBI和BC5CDR两个数据集上取得了较好的效果,在NER和NEN任务上的F1值分别为:91.09%,91.02%;92.05%,92%。

融合转移概率矩阵的多阶最近邻图聚类算法

聚类是根据样本之间的相似性将数据集划分为多个类簇。现有的大多数聚类方法都存在两个挑战:一方面,在定义样本间相似性时往往没有考虑样本的空间分布结构,无法构建稳定的相似度矩阵;另一方面,图聚类构造的样本图结构过于复杂,计算成本较高。为解决这两个问题,提出融合转移概率矩阵的多阶最近邻图聚类算法(MNNGC)。首先,综合样本的近邻关系和空间分布结构,将共享近邻定义的相似度进行趋密性加权,得到节点间的趋密性亲和矩阵;其次,利用节点间多阶概率转移预测非邻接点的关联程度,并通过融合多阶转移概率矩阵得到稳定的节点间亲和矩阵;再次,为进一步增强图局部结构,重新构建节点的多阶最近邻图,并对多阶最近邻图的局部结构分层聚类;最后,优化了边缘点分配策略。定位实验结果表明,MNNGC在合成数据集上的准确率(Acc)均优于对比算法,且在8个UCI数据集上的Acc为最大值。其中在Compound数据集上,MNNGC的Acc、调整互信息(AMI)、调整兰德指数(ARI)和FM指数(FMI)相较于基于局部密度峰值的谱聚类(LDP-SC)算法分别提高38.6、27.2、45.4、35.1个百分点。

预训练语言模型特征增强的多跳知识库问答

知识库问答(knowledge base question answering,KBQA)是一个具有挑战性的热门研究方向,多跳知识库问答主要的挑战是非结构化的自然语言问题与结构化的知识库推理路径存在不一致性,基于图检索的多跳知识库问答模型善于把握图的拓扑结构,但忽略了图中结点和边携带的文本信息。为了充分学习知识库三元组的文本信息,构造了知识库三元组的文本形式,并提出了三个基于非图检索的特征增强模型RBERT、CBERT、GBERT,它们分别使用前馈神经网络、深层金字塔卷积网络、图注意力网络增强特征。三个模型显著提高了特征表示能力和问答准确率,其中RBERT结构最简单,CBERT训练最快,GBERT性能最优。在数据集MetaQA、WebQSP和CWQ上进行实验对比,在Hits@1和F1两个指标上三个模型明显优于目前的主流模型,也明显优于其他BERT的改进模型。

基于反向K近邻和密度峰值初始化的加权Kmeans聚类入侵检测算法

传统Kmeans聚类算法的性能易受初始类簇中心随机性和类簇中心计算的迭代过程中边缘点和离群点反复计入的影响,为了避免这些影响,该文提出一种基于反向K近邻和密度峰值初始化的加权Kmeans聚类算法。通过样本的近邻信息计算每个样本的反向K近邻,针对不同规模、不同密度分布数据集,可以自适应地搜索密度峰值点作为初始类簇中心;自适应设定相对簇半径,并通过样本加权进行类簇中心迭代,在不同数据分布下可以有效降低边缘点和离群点对聚类结果的影响。试验结果证明,该算法在聚类性能提升的同时迭代次数大幅降低,随着入侵行为类型和数据规模的增加,该文聚类算法仍体现出较好的性能,且在发现未知攻击类型上效果显著。

面向网络入侵检测数据的对抗样本生成方法

选用Deepfool以及JSMA(jacobian-based saliency map attack)算法,在攻击特征中加入不影响攻击特性的定向扰动,通过白盒攻击生成对抗样本。通过实现扰乱检测模型的判断,从而躲过特征检测,为入侵检测模型提升自身鲁棒性提供了更为丰富的训练样本。

具有奖罚机制STDP的Spike-CNN模型的机械臂故障分类

在计算机视觉领域中,卷积神经网络取得了举世瞩目的成就,但其能耗问题一直未能得到很好解决.基于此问题,本文主要研究无监督学习范式下的Spike-CNN分类性能以及计算力.首先,本文设计了一种基于CNN和SNN的混合结构,在层级结构上实现脉冲机制;其次,为减少模型训练时间,本文提出了ReLU-ROC编码方案;最后,为使兴奋性神经元快速做出决策,本文提出了具有决策能力的RP-STDP学习方案:计算每对突触前与突触后兴奋性神经元的相对时间差.实验结果表明:以工业机器人采集到多元时间序列数据解决机械臂不同工作状态的3分类、4分类、5分类问题,在没有引入其他分类器的情况下,本文提出的具有奖罚机制的STDP的Spike-CNN方法平均准确率为LP1(91.07%)、LP2(96.66%)、LP4(93.95%).

双路自编码器的属性网络表示学习

属性网络表示学习的目的是在保证网络中节点性质的前提下,结合结构和属性信息学习节点的低维稠密向量表示。目前属性网络表示学习方法忽略了网络中属性信息的学习,且这些方法中的属性信息与网络拓扑结构的交互性不足,不能高效融合网络结构和属性信息。针对以上问题,提出一种双路自编码器的属性网络表示学习(DENRL)算法。首先,通过多跳注意力机制捕获节点的高阶邻域信息;其次,设计低通拉普拉斯滤波器去除高频信号,并迭代获取重要邻居节点的属性信息;最后,构建自适应融合模块,通过结构和属性信息的一致性及差异性约束来增加对重要信息的获取,并通过监督两个自编码器的联合重构损失函数训练编码器。在Cora、Citeseer、Pubmed和Wiki数据集上的实验结果表明,与DeepWalk、ANRL(Attributed Network Representation Learning)等算法相比,DENRL算法在3个引文网络数据集上聚类准确率最高、算法运行时间最少,在Cora数据集上聚类准确率为0.775和运行时间为0.460 2 s;且DENRL算法在Cora和Citeseer数据集上链路预测精确率最高,分别达到了0.961和0.970。可见,属性与结构信息的融合及交互学习可以获得更强的节点表示能力。

结合共享近邻和流形距离的自适应谱聚类算法

谱聚类算法是建立在图论的基础上,将聚类问题转化为图的划分问题,能识别任意形状的类簇且易于实现,因此比传统聚类算法具有更强的适应性。然而,该算法中常用的距离度量不能同时考虑全局和局部一致性,且易受到噪声影响;聚类结果依赖由输入数据构造的相似度矩阵,且通过特征分解得到松弛划分矩阵和离散化过程的两步独立策略难以得到一个共同最优解。因此,提出一种结合共享近邻和流形距离的自适应谱聚类算法(SNN-MSC),引入一种新的具有指数项和比例因子的流形距离,可以灵活调整同一流形内数据的相似度和不同流形之间数据的相似度之比,并将密度因子纳入流形距离度量中,以消除噪声影响;采用共享近邻重新定义相似度度量,能挖掘数据点之间的空间结构和局部关系;同时,对拉普拉斯矩阵施加秩约束,使相似度矩阵中的连通分量完全等于簇个数,能够在优化求解过程中自适应优化数据相似度矩阵和聚类结构,无须再进行离散化操作。在人工数据集和UCI真实数据集上的对比实验显示,所提算法在多个聚类有效性指标上能体现出更好的性能。

一种结合自适应近邻与密度峰值的加权模糊聚类算法

传统的模糊C均值(fuzzy c-means,FCM)算法的聚类结果容易受到随机选取初始聚类中心的影响,且在聚类过程中忽视了样本的不同特征和样本本身的重要程度对聚类结果产生的影响.针对这一系列问题,提出了一种结合自适应近邻与密度峰值的基于信息熵加权的模糊聚类算法(ANNDP-WFCM).首先,结合自适应近邻的密度峰值算法(ANNDP)实现初始聚类中心的自动搜索,针对不同规模、不同结构的数据集可以自适应的找到每个样本的近邻集合,根据近邻信息定义样本的局部密度,搜索和发现数据集中的密度峰值点作为初始聚类中心.然后通过信息熵赋权区分不同特征在聚类过程中的重要程度,同时利用样本之间距离的倒数对样本本身进行加权,重新定义目标函数中的模糊聚类中心.最后针对目标函数,利用拉格朗日乘子法交替寻优,对最终的隶属度矩阵去模糊化得到聚类结果.通过不同公共数据集的对比实验,验证了ANNDP-WFCM算法具有较少的迭代次数和较高的聚类准确性.

多视角层次聚类下的无线网络入侵检测算法

针对现有基于监督学习的无线网络入侵检测算法误检率高、难以发现未知类型攻击行为、获取带标记网络数据代价大的问题,提出一种基于多视角层次聚类的无监督无线网络入侵检测算法。该算法基于无监督学习,不需要为参与分类器学习的大量无线网络数据进行人工标记,具有易获取训练数据集和发现未知类型攻击行为的优势,同时该算法引入多视角余弦距离作为层次聚类中无线网络数据对象间相似性度量,使聚类结果更加合理,对网络数据行为的判定更加准确,在一定程度上降低了入侵检测的误检率。选用公开无线网络攻击数据集(AWID)进行实验,通过主成分分析法对实验数据集进行降维处理,很大程度上降低了入侵检测算法的时间复杂度。实验结果表明,与传统的无线网络入侵检测算法相比,提出的多视角层次聚类下的无线网络入侵检测算法在检测率、误检率和发现未知攻击类型等性能上都有显著提升。

基于异质信息网的短文本特征扩充方法

随着计算机技术深度融入社会生活,越来越多的短文本信息遍布在网络平台上。针对短文本的数据稀疏问题,文中构建了一个鲁棒的异质信息网框架(HTE)来建模短文本,该框架可集成任何类型的附加信息并捕获它们之间的关系,以解决数据稀疏问题。基于该框架利用不同外部知识设计了6种短文本扩充方法,引入Wikipedia知识库和Freebase知识库的实体、实体类别、实体间关系等实体信息和文本主题等文本信息,以丰富短文本特征。最后使用相似性度量结果来验证所提出的短文本特征扩充方法的效果。通过与传统的3种相似性度量方法的6种文本扩充方法以及目前主流的短文本匹配算法在两个短文本数据集上进行比较,结果表明,所提的6种短文本扩充方法均有所提升,最佳方法的相似度度量结果与BERT相比提升了5.97%,证明了所提框架具有鲁棒性,可以包含多种类型的外部知识,能够解决短文本的数据稀疏性问题,以无监督的方式高精度地对短文本进行相似性度量。

基于自适应学习的序列生成方法

离散序列生成广泛应用于文本生成、序列推荐等领域。目前的研究工作主要集中在提高序列生成的准确性,却忽略了生成的多样性。针对该现象,提出了一种自适应序列生成方法ECoT,设置两层元控制器,在数据层面,使用元控制器实现自适应可学习采样,自动平衡真实数据与生成数据分布得到混合数据分布;在模型层面,添加多样性约束项,并使用元控制器自适应学习最优更新梯度,提升生成模型生成多样性。此外,进一步提出融合协同训练和对抗学习的方法,提升生成模型生成准确性。与目前的主流模型进行对比实验,结果表明,在生成准确性和多样性上,自适应协同训练序列生成方法具有更均衡的准确性和多样性,同时有效缓解了生成模型的模式崩溃问题。

基于异质信息网络的文本相似性度量方法

文本相似性度量对基于文本的分类,聚类以及排序等有着广泛的影响。现有的大部分文本相似性度量方法不仅文本特征粒度单一化,而且忽略了非结构化文本数据中的结构化信息。该文将文本相似性度量问题转化为加权异质信息网络中的节点相似性度量问题,利用元路径的结构特性和语义特性度量文本的显式语义相似性,使其度量结果更准确并且更具有可解释性。首先,结合世界知识库,扩大文本特征粒度,构建加权文本异质信息网络,将非结构化文本类型数据表示为结构化的异质信息网络的形式。其次,挖掘元路径,并提出基于元路径的ω-PageRank-Nibble子图划分算法,得到包含给定文本节点集的局部图。根据局部图,计算并存储特定元路径的交换矩阵,为后续相似性度量降低时间及空间成本。最后,提出AllPathSim耦合相似性度量方法,度量文本类型节点的相似性。在图剪枝方面,利用基于元路径的ω-PageRank-Nibble算法划分子图,与处理整张图相比,时间成本和空间成本降低效果显著。在相似性度量方面,与同期最优的相同类型节点度量方法相比,AllPathSim耦合相似性度量方法与度量结果的相关系数在20NG和GCAT数据集上分别提高了6.1%和6.9%。