基于异常保持的弱监督学习网络入侵检测模型

网络入侵检测系统对维护网络安全至关重要,目前针对只有较少异常标记网络数据的入侵检测场景的研究较少。基于数据的异常保持性,设计了基于异常保持的弱监督学习网络入侵检测模型WIDS-APL,该检测模型包含数据转换层、表征学习层、转换分类层和异常判别层4部分,利用一组可学习的编码器将样本映射到不同区域并压缩到超球体,利用异常样本的标签信息学习正常样本和异常样本的分类界限,得到样本的异常分数。在4个数据集上的测试结果表明了该模型的有效性和鲁棒性,相比4个主流算法,在AUC-ROC值上分别提升了4.80%,5.96%,1.58%和1.73%,在AUC-PR性能上分别提升了15.03%,2.95%,4.71%和9.23%。

一种双通道半监督网络表示学习模型

在半监督网络表示学习中,节点标签对于网络在不同空间中映射关系的建立具有重要指导意义。然而在很多实际任务中,可用标签信息往往比较有限或难以获取,这导致在学习网络低维表示的过程中无法提供充分有效的监督。针对这一问题,提出了一种双通道半监督网络表示学习模型,该模型以自编码器为基本框架,由自监督和半监督两个信息传递通道构成。自监督信号与标签信息分别在两个通道中对网络表示映射关系的建立提供指导,同时二者之间形成信息互补与增强。考虑到两个通道间可能存在信息冗余,在互信息视角下设计了冗余识别与消除机制。在此基础上,构造了一体化优化模型,实现自监督学习与半监督学习的协同,使学习到的网络表示更好地捕捉和保持网络的结构和特性。在真实数据集上的实验结果表明,提出的模型学习的网络表示在节点分类、聚类和可视化等任务中能够获得优于基线方法的性能。

基于自训练半监督神经网络的结构损伤识别

为解决结构损伤识别中标签样本不足的问题,提出一种基于自训练半监督神经网络(self-training semi-supervised neural networks,SSNN)的结构损伤识别框架,该框架利用自训练半监督方法对多层感知机(multilayer perceptron,MLP)神经网络进行训练,从无标签样本中挑选置信度高的样本标注伪标签,扩大样本训练集,并采用归一化频率变化率和损伤特征指数作为输入特征,用于识别结构损伤。首先,介绍自训练半监督学习的基本理论和方法;其次,从神经网络构建、损伤特征提取、分类器评估等方面,给出结构损伤识别流程;最后,通过空间桁架的数值案例及3层框架的试验数据,验证所提出的损伤识别方法。结果表明:自训练半监督学习能够从无标签样本中选取置信度较高的样本,为损伤识别提供更充足的有标签样本;在标记样本不足的条件下,SSNN比MLP神经网络的损伤识别效果更好;相较于MLP神经网络,SSNN在单一位置损伤工况下,识别准确率提升约4%,2个位置损伤识别准确率提升约9%。

基于改进图卷积神经网络的半监督分类

图卷积神经网络(GCN)是一种用于处理图数据的深度学习模型.在经典的GCN中节点之间的聚合,未考虑节点间相似度的特征信息,影响了分类模型的准确性和模型训练的收敛速度.本文提出了一种改进聚合权重的图卷积神经网络IAW-GCN,通过利用描述节点相似度的曼哈顿距离度量设计了节点聚合权重函数,并用节点距离度量矩阵改进了GCN模型中的特征矩阵,使得IAW-GCN模型在消息传递聚合过程中根据相似度调节节点聚合权重.实验结果表明,在Cora、Citeseer和Pubmed标准引文数据集条件下,IAW-GCN在半监督分类任务中的分类准确率和模型训练收敛速度均优于经典GCN,为解决半监督分类问题提供了一种新方法.

基于双向时间卷积网络的半监督日志异常检测

由于日志解析准确率不高以及标记样本不足降低了异常检测的准确率,所以提出了一种新的基于日志的半监督异常检测方法。首先,通过改进字典的日志解析方法,保留了日志事件中的部分参数信息,从而提高日志信息的利用率和日志解析的准确率;然后,使用BERT对模板中的语义信息进行编码,获得日志的语义向量;接着采用聚类的方法进行标签估计,缓解了数据标注不足的问题,有效提高了模型对不稳定数据的检测;最后,使用带有残差块的双向时间卷积网络(Bi-TCN)从两个方向捕获上下文信息,提高了异常检测的精度和效率。为了评估该方法的性能,在两个数据集上进行了评估,最终实验结果表明,该方法与最新的三个基准模型LogBERT、PLELog和LogEncoder相比,F 1值平均提高了7%、14.1%和8.04%,能够高效精准地进行日志解析和日志异常检测。

基于双重动态记忆网络的弱监督视频异常检测

视频异常检测需从整段视频中识别帧级别的异常行为。弱监督方法使用正常与异常视频,辅以视频级别标签训练模型,相比无监督视方法展现出了更优越的性能。然而,目前的弱监督视频异常检测方法无法记录视频长期模态,且部分方法为了获得更优的检测效果,利用了未来帧的信息,导致无法在线应用。为此,文中首次提出了一种基于双重动态记忆网络的弱监督视频异常检测方法,通过设计包含两个记忆模块的记忆网络来分别记录视频中长期的正常和异常模态。为了实现视频特征和记忆项的协同更新,采用读操作基于记忆模块中的记忆项对视频帧的特征进行增强,采用写操作基于视频帧特征对记忆项的内容进行更新,同时记忆项的数量在训练的过程中会动态调整从而适应不同视频监控场景的需求。在训练时,设计模态分离损失增加记忆项之间的区分度。在测试时,仅需要记忆项而不需要未来视频帧的参与,从而实现准确的在线检测。在两个公开的弱监督视频异常检测数据集上的实验结果表明,所提方法优于所有在线应用的方法,相比只能离线应用的方法也具有很强的竞争力。

多尺度语义信息无监督山水画风格迁移网络

针对图像转换类的生成对抗网络在处理无监督风格迁移任务时存在的纹理杂乱、生成图像质量差的问题,基于循环一致性损失提出了循环矫正多尺度评估生成对抗网络。首先在网络架构的设计上,基于图像的三层语义信息提出了多尺度评估网络架构,以此强化源域到目标域的迁移效果;其次在损失函数的改进上,提出了多尺度对抗损失以及循环矫正损失,用于以更严苛的目标引导模型的迭代优化方向,生成视觉质量更好的图片;最后为了预防模式崩溃的问题,在风格特征的编码阶段添加了注意力机制以提取重要的特征信息,在网络的各阶段引入ACON激活函数以加强网络的非线性表达能力,避免神经元坏死。实验结果表明,相比于CycleGAN、ACL-GAN,所提出方法在山水画风格迁移数据集上的FID值分别降低了21.80%和34.33%;为了验证模型的泛化能力,在Vangogh2Photo和Monet2Photo两个公开数据集上进行了泛化实验对比,FID值相比于两个对照网络分别降低了7.58%、18.14%和4.65%、6.99%。

基于改进VGG16网络的半监督石刻表层裂缝识别

针对如何快速准确地检测石刻表层裂缝问题,笔者建立一种改进的VGG16网络模型,将原本的3层全连接层改为2层全连接层,增加dropout正则化,并结合使用半监督学习算法,将深度学习应用于石刻表层裂缝的智能识别研究。为了检验改进后模型的性能与准确性,选用Unet、ResNet以及原模型进行比较,使用精确率、召回率和训练时间等对模型进行综合评估。改进后的VGG16网络模型精度达到93.6%,且训练时间较原模型减少了18%,具有轻量化运算的优点,模型可以满足基本的表层裂缝识别需求,且具有较好的鲁棒性。

复杂环境下基于自监督LSTM网络的导航误差建模补偿

针对复杂环境下惯导系统存在交互影响和导航误差难以辨识的问题,提出了一种基于自监督长短期记忆(LSTM)网络智能组合模型的导航误差补偿方法。模型中的自监督温变速率模块不受到温度传感器精度的限制,从而实时计算更精确的温变速率,进一步提升了模型导航误差辨识的能力。在实验部分,基于多种复杂环境下的实验数据,通过消融实验验证了自监督模块的有效性。以飞行数据的北向速度为例,补偿前后的最大速度绝对误差分别为1.607 m/s和0.357 m/s。实验结果说明了所提方法可以减小复杂环境下的速度和位置误差,从而提升惯性导航精度.

一种风向监督双流神经网络--以一维Burgers方程求解为例

针对一维Burgers方程下单一建模方式难以充分考虑不同阶段风向对系数的影响比重,无法有效获得各节点间的关联信息的问题,本文提出了一种风向监督双流神经网络分别预测上下风向的有限差分系数。同时设计了一种风向判断模块,实现了对预测得到有限差分系数的权重融合。通过风向监督双流神经网络,并结合先验知识对学得的系数分配一定的权重,以突出上下风向对预测结果的不同影响,可以有效实现对不同风向上的点分别进行预测,使得空间结构特征信息挖掘更加充分,从而提高差分系数预测的精度。在比传统数值求解方法网格分辨率粗4~8倍的同时,提高了谷歌团队工作的精度,以此提高了计算的速度。

基于异构图神经网络的半监督网站主题分类

互联网网站数量快速增长使现有方法难以准确分类特定网站主题,如基于URL的方法无法处理未反映在URL中的主题信息,基于网页内容的方法受到数据稀疏性和语义关系捕捉的限制。为此,提出一种基于异构图神经网络的半监督网站主题分类方法HGNN-SWT。该方法不仅利用网站文本特征来弥补仅使用URL特征的不足,还利用异构图对网站文本和词语的稀疏关系进行建模,通过处理图中的节点和边关系来提高分类性能。同时引入基于随机游走的邻居节点采样方法,考虑节点的局部特征和全局图结构,并提出特征融合策略,捕捉网站文本数据的上下文关系和特征交互。通过在自制的Chinaz Website数据集上的实验,证明了HGNN-SWT方法在网站主题分类任务中相较于现有方法具有更高的准确率。

卷积神经网络的半监督层位追踪方法

层位追踪是地震资料解释的关键步骤,通常由解释人员以人机交互方式进行,效率较低。卷积神经网络可以构建地震数据和训练标签的非线性映射关系从而完成层位追踪,由于人工解释结果获取困难,仅由少量标签训练的模型泛化能力较差。为此,提出一种基于卷积神经网络的半监督层位追踪方法,将层位追踪转化为层位断层间区域的图像分割。首先使用自编码器对无标签数据进行训练,之后将部分参数迁移至有监督学习网络后使用少量标签数据进行有监督学习,最后对整个工区的地震数据进行预测,提取分割结果边缘作为层位追踪结果。合成数据和实际数据的测试结果均表明,相较于有监督学习层位追踪方法,该方法具有较少的错误分割,由分割边界提取的层位与人工层位解释结果的误差较小,具有更好的泛化能力。

融合残差网络的自监督社交推荐算法

基于图神经网络的社交推荐算法,通过社交图和交互图的信息来学习用户和项目的嵌入,得到最终的推荐结果。但是现有算法主要利用静态的社交图结构,无法挖掘用户之间潜在的链接关系,同时也没有解决用户与项目交互行为中的噪声问题。提出了一种融合残差网络的自监督社交推荐算法。采用变分超图自编码器对社交网络进行链接预测,得到重构的社交图,以此来挖掘隐藏在用户间的积极链接关系;利用注意力机制为原始社交图和重构后的残差社交图分配不同的注意力系数,得到更加精确的用户表征;为了缓解数据中的噪声问题,构建了自适应的超图全局关系提取器,在该提取器的协作下利用局部嵌入信息和全局嵌入信息创建自监督信号,从而优化局部的嵌入表示,进而缓解噪声影响。该算法在Ciao、Epinions和Yelp三个数据集上与NGCF、LightGCN、MHCN等基线模型进行对比实验。在Ciao数据集上,Recall@10提升了17.1%~48.5%,NDCG@10提升了1.4%~37.9%;在Epinions数据集上,Recall@10提升了8.3%~56.2%,NDCG@10提升了3.7%~29.8%;在Yelp数据集上,Recall@10提升了9.1%~53.3%,NDCG@10提升了11.2%~66.6%。实验结果表明,该算法相较于基准模型有良好的推荐性能。

在线深度神经网络的弱监督概念漂移检测方法

流数据作为大数据的重要形式广泛存在于实际问题中,由于流数据中数据分布变化产生概念漂移,容易导致模型的泛化性能下降,且在实际应用问题中,数据标记成本较高,难以获得强监督的信息.针对以上问题,本文提出一种基于在线深度神经网络的弱监督概念漂移检测(Weakly supervised conceptual drift detection method based on online deep neural network,WSCDD)方法.该方法设计了一种在线深度神经网络模型,采用Hedge反向传播方法在线学习网络深度,并通过设计Dropout层在模型预测时引入随机性,利用蒙特卡罗方法量化深度神经网络模型的预测不确定性,通过自适应滑动窗口技术检测弱监督环境下概念漂移的发生,并使模型适应新的概念.实验结果表明,该方法可以准确检测数据流中概念漂移的发生,在漂移发生后能够快速收敛到新的数据分布,提高了学习模型的泛化性能.

基于无监督学习的异质网络多尺度离群点挖掘研究

现有的异质网络多尺度离群点挖掘算法忽略了数据点之间的顺序关系,无法充分利用数据点在异质网络中的排列顺序信息,从而导致聚类精度下降。对此,提出一种基于无监督学习的异质网络多尺度离群点挖掘方法,对异质网络的多节点、多边特点进行分析。利用季节-趋势时序分解法提取异质网络数据特征。根据数据特征,结合K-means聚类算法与排序算法,将数据点的排序信息添加至聚类过程中,以实现对异质网络数据离群点的挖掘。实验结果表明,利用该方法进行网络数据节点聚类的准确率均能达到80%以上;并且实现了多尺度离群点挖掘后,能够精准地识别出离群点,为后续的网络通信维护提供了良好的保障。

一种基于半监督学习的网络异常流量检测方法

针对网络流量数据存在标记样本获取困难、实际数据类别不平衡等问题,提出一种合成数据增强的半监督网络异常流量检测方法(SEASAND)。SEASAND利用无标记数据辅助模型学习,只需少量的有标签数据即可达到较高识别准确率,降低了训练成本。考虑一致性正则和熵最小化原则,通过混合采样解决网络流量数据不平衡的问题,并采用混合样本算法对样本进行二次数据增强,提高了对无标记数据的利用效率。最后利用一维残差网络Resnet1D 18对数据增强后的数据集进行训练。SEASAND在KDDCup9910、UNSW-NB15、CICIDS2017数据集上进行仿真实验,结果表明,与相关算法对比,SEASAND在少样本、多分类问题上具有较好的性能,降低了对有标记样本量的需求。

基于改进生成对抗网络的半监督语义分割

为了解决对抗式半监督语义分割网络在训练过程中稳定性较差,传统语义分割网络难以对像素之间远距离依赖关系建模等问题,提出了一种结合谱归一化生成对抗网络和坐标注意力机制的半监督语义分割网络.利用谱归一化使对抗网络判别器满足利普西茨连续性,从而提高了网络训练过程的稳定性且避免了梯度消失的问题;在分割网络中融入坐标注意力机制,使网络能够获取远距离像素之间的依赖关系,并扩大感受野.与基准模型相比,在PASCAL VOC 2012增强数据集中采用1/50、1/20和1/8标记数据集时,MIoU分别提升了2.2%、1.4%和1.8%;在Cityscapes城市街景数据集中采用1/8、1/4和1/2标记数据集时,MIoU分别提升了1.9%、2.1%和1.3%.实验结果证明,与其他基于对抗学习的半监督语义分割网络相比,该算法在半监督语义分割任务中具有较好的稳定性和准确性.

基于自监督异质图神经网络的图分类框架

图数据以各种各样的形式广泛存在着,图分类任务对于许多问题有重要指导意义。然而图分类任务依然面临很多挑战,包括如何充分利用图结构蕴含的语义信息、进一步降低计算复杂度及获取标签的成本。提出一种超节点异质网络的构建方法,并由此提出可应用于图分类问题的新型框架GChgnn。该框架通过引入双视角的图表示机制以及自监督的对比学习,实现了:1)对大规模图分类任务目标间的相似性进行度量;2)借鉴图匹配方法,通过跨图思想提高相似性度量的准确度,并弥补其无法给出图嵌入显式表达式的不足;3)规避了在网络中设计复杂的卷积与池化算子。通过在一些公开数据集上的测试证明,该框架的综合效果优于现有的解决图分类问题的其他方法。

半监督场景下多视角信息交互的图卷积神经网络

在当前数据来源多样化且人工标记难度大的现实生活中,半监督场景下多视角数据的分类算法在各个领域中都具有重要的研究意义.近年来,基于图神经网络的半监督多视角分类算法研究已经取得了很大的进展.但是现有的图神经网络算法大多是在分类阶段进行多视角互补信息的融合,反而忽略了训练阶段同一样本不同视角间互补信息的交互.针对上述问题,提出半监督场景下多视角信息交互的图卷积神经网络算法MIGCN(multi-view interaction graph convolutional network).该方法通过在不同视角上训练的图卷积层之间引入Transformer Encoder模块,使得同一样本在训练阶段都可以通过注意力机制自适应的在不同视角间获取互补性信息,进而加强自身的训练;除此之外,还通过引入一致性约束损失让不同视角最终特征表达的相似关系尽可能一样,促使图卷积神经网络在分类阶段更加合理的利用多视角特征之间的一致性和互补性信息,进一步提升多视角融合特征的鲁棒性.最后,在多个真实世界多视角数据集上的实验表明,相比于基于图的半监督多视角分类模型,MIGCN可以更好地学习到多视角数据的本质特征,进而提升半监督多视角分类的准确性.

自监督混合图神经网络的会话推荐模型

基于会话的推荐旨在利用匿名会话预测用户行为。现有基于图神经网络(GNN)的会话推荐算法大多仅针对当前会话提取用户偏好,却忽略了来自其他会话的高阶多元关系从而影响推荐精度。此外,由于会话推荐所采用的短时交互序列包含的信息非常有限,使其更容易受到数据稀疏性的影响。针对上述问题,提出了自监督混合图神经网络会话推荐模型(SHGN)。该模型首先通过将原始数据构建为三个视图来描述会话与物品关系,然后通过多头图注意力网络捕获会话内部物品的低阶转换信息,提出了残差图卷积网络捕获物品和会话的高阶转换信息;最后融合自监督学习(SSL)作为辅助任务,通过最大化不同通道学习到的会话嵌入的互信息,对原始数据进行数据增强从而提升推荐性能。为了验证该方法的有效性,在Tmall、Diginetica、Nowplaying、Yoochoose四个基准数据集上与SR-GNN、GCE-GNN、DHCN等主流基线模型进行了对比实验,实验结果在P@20、MRR@20等性能指标上均取得了一定提升。