融合随机森林与SHAP的恶意加密流量预测模型

加密流量保护用户隐私信息的同时也会隐藏恶意行为,尽早发现恶意加密流量是抵御不同网络攻击(如分布拒绝式攻击、窃听、注入攻击等)和保护网络免受入侵的关键手段.传统基于端口、深度包检测等恶意流量检测方法难以对抗代码混淆、重新包装等复杂攻击,而基于机器学习的方法也存在误报率高和决策过程难以理解的问题.为此,提出一种恶意加密流量检测高可解释性模型EPMRS,以弥补现有研究在性能与可解释性上存在的局限性.在数据去重,重编码及特征筛选等数据预处理的基础上,基于随机森林构建恶意加密流量检测模型,并与逻辑回归、KNN、LGBM等10种主流机器学习模型进行5折交叉验证的实验对比;基于SHAP框架从整体模型、核心风险特征交互效应及样本决策过程三个不同的层面,全面增强恶意加密流量检测模型的可解释性.EPMRS在MCCCU数据集的实证结果表明,EPMRS对未知加密恶意流量的检测准确率达到99.996%、误识别率为0.0003%,与已有工作相比,性能指标平均提升了0.287175%~7.513175%;同时,通过可解释性分析识别出了session(会话)、flow_duration(流持续时间)、Goodput(有效吞吐量)等为影响恶意加密流量检测的核心风险因素.

基于时空特征的恶意加密流量检测

加密技术保护了用户的隐私,但也使得恶意攻击可以隐藏一定的攻击特征,增加了检测难度。针对传统的检测方法存在的对于加密字段无法进行有效检测和过于依赖专家经验难以建立对应特征库等缺点,提出了一种不依赖专家经验、自动提取数据的时空特征的恶意加密流量检测方法 CNN-MHGRU。基于网络流量的数据结构,结合卷积神经网络(Convolutional Neural Networks,CNN)和门控循环单元(Gate Recurrent Unit,GRU)的时空特征提取能力,并加入多头注意力机制,使得GRU能够更好地处理长序列数据之间的联系。在公开数据集上进行二分类和多分类实验,CNN-MHGRU模型的准确率分别达到99.92%和92.98%,在对未知恶意加密流量二分类检测实验中准确率达到了99.89%,在整体上均优于实验对比模型。

支持数据隐私保护的恶意加密流量检测确认方法研究

传统恶意加密流量检测技术需要对其进行无差别解密,会增加隐私泄露的风险。而利用对流量特征进行的提取与整体分析思路构建的检测手段能够支持数据隐私保护功能。文章以此为研究对象,利用随机森林算法对流量特征进行识别,并在聚类分析的矩阵计算下提供对数据隐私保护的支持,可为此种流量检测确认方法的研究与应用奠定理论基础。

基于混合神经网络的恶意加密流量识别方法

传统的针对网络恶意加密流量识别方法在实际应用中,受到人为经验干预较大,影响恶意加密流量识别的结果。文章提出一种基于混合神经网络的恶意加密流量识别方法。首先对流量数据进行预处理,将其中的时间戳、端口号作为分类依据进行分组,通过流量特征提取算法和分类器构建混合神经网络模型,分析PCAP网络加密流的文件形式,模型经过预处理和训练之后,将提取特征输入神经网络第二层中进行识别,通过优化模型内部的识别算法,利用分类器输出结果进行检测,得到最终的恶意加密流量识别结果。为验证方法有效性,专门设计方法性能测试实验。实验结果表明,设计的基于混合神经网络的恶意加密流量识别方法精确率和召回率都远远高于其他检测方式,F值也一直保持98%的检测精度,稳定性高于三种传统的识别方法。

融合一维Inception结构与ViT的恶意加密流量检测

在互联网加密化背景下,传统恶意流量检测方法在加密流量上的特征区分度较差,为更好地从加密流量中检测出恶意流量,设计一个融合一维Inception-ViT的恶意加密流量检测模型。基于流量数据的时序性特点,通过一维Inception结构对GoogLeNet中的Inception结构进行改进,使用适用于序列数据的一维卷积替换二维卷积,并添加池化操作去除一些冗余信息的干扰。同时,融合ViT模型,将经过一维Inception结构处理后的数据输入到ViT模型中,利用多头注意力突出重要特征,增强特征区分度以提升模型检测结果。为验证一维Inception-ViT模型各模块的有效性,与6种变体模型进行对比,实验结果表明,一维Inception-ViT模型性能最好,平均召回率和平均F1值指标分别达到了99.42%和99.39%。此外,与其他8种现有模型进行比较,一维Inception-ViT模型具有更好的检测效果,同时在恶意加密流量Neris和Virut细粒度分类上,与性能最好的基准模型相比,一维Inception-ViT模型能够有效减少样本检测混淆,可更准确地对恶意加密流量进行识别。

基于视觉注意力网络的恶意加密流量检测

近年来,以恶意加密流量为主要手段的网络违法犯罪活动层出不穷,从加密流量中检测出恶意流量能够有效发现网络攻击行为并确认恶意流量种类,对公安机关防御、鉴别、打击攻击类网络犯罪活动具有应用价值。针对传统检测方法流量呈现不直观以及忽略图像局部信息和长距离依赖等问题,提出一种基于视觉注意力网络的恶意加密流量检测模型。模型将流量转化为图像直观反映出流量的二维结构,再输入视觉注意力网络进行特征的提取和流量分类。实验结果表明,模型在恶意加密流量上的检测精度和区分度较高,可有效提高公安机关打击网络攻击行为的效率。

基于可变长序列的恶意加密流量检测方法

引入组合恶意加密流量数据集,结合随机森林对各个特征的重要性进行对比,构建可变长二维特征序列,提出一种针对可变长序列的恶意加密流量检测方法.该方法采用双向门控循环单元-卷积神经网络(BiGRU-CNN)深度学习模型,通过引入掩码层,有效解决变长序列问题,能够同时提取流量数据中时间和空间的多重特征,最终实现对恶意加密流量的二分类检测.实验结果表明,该方法与基于卷积神经网络(CNN)、长短期记忆网络(LSTM)等单一模型相比,精确率、召回率和F 1值均有所提升,准确率达到94.61%.

基于时空主成分分析的恶意加密流量检测技术

恶意加密流量检测对关键信息基础设施的可靠运行至关重要,也是应对DDoS攻击等网络威胁的有效手段。利用时空主成分分析技术,构建了时间维度和空间维度的网络流量变化模型,实现恶意加密流量的实时检测和追踪溯源。在时间维度,利用历史积累的网络流量监测信息进行主成分分析,构建瞬时流量预测模型与实际监测流量之间的平方预测误差,判定网络中出现恶意加密流量的时刻。在空间维度,利用历史积累的各国家和地区的网络流量监测数据,构建区域流量预测模型与实际监测流量之间的平方预测误差,对恶意加密流量的来源地进行追踪溯源。最后,设计了一种可用于现网部署的算法实现流程,并分析了相比其他已有算法带来的能力提升。

支持数据隐私保护的恶意加密流量检测确认方法

为解决基于机器学习的恶意加密流量检测易产生大量误报的问题,利用安全两方计算,在不泄露具体数据内容的前提下实现网络流量内容和入侵检测特征间的字符段比对。基于字符段比对结果,设计入侵检测特征匹配方法,完成关键词的精准匹配。为保证所提方法的有效执行,提出用户终端输入随机验证策略,使恶意用户终端难以使用任意数据参与安全两方计算进而躲避检测确认。对所提方法的安全性和性能进行了理论分析,并采用真实部署和仿真实验相结合的方式进行验证。实验结果表明,所提方法能显著提升检测效果,且资源消耗低。

基于机器学习的TLS恶意加密流量检测方案

首先介绍了安全传输层(TLS,transport layer security)协议的特点、流量识别方法;然后给出了一种基于机器学习的分布式自动化的恶意加密流量检测体系;进而从TLS特征、数据元特征、上下文数据特征3个方面分析了恶意加密流量的特征;最后,通过实验对几种常见机器学习算法的性能进行对比,实现了对恶意加密流量的高效检测。

基于人工智能的恶意加密和暗网流量检测解决方案

流量检测是用于分析网络运行状态和发现网络安全威胁事件的重要手段,其中对于恶意加密流量和暗网流量的检测更是网络流量检测的重点和难题。本文通过人工智能检测技术与传统安全检测技术相结合,基于人工智能检测模型对全网实时加密流量进行检测,实现对恶意加密流量和暗网流量的全场景监控,具有极高的可行性和广阔的应用前景。

基于图神经网络的SSL/TLS加密恶意流量检测算法研究

为实现SSL/TLS加密恶意流量的精准检测,针对传统机器学习方法过分依赖专家经验的问题,提出一种基于图神经网络的恶意加密流量检测模型。通过对SSL/TLS加密会话进行分析,利用图结构对流量会话交互信息进行表征,将恶意加密流量检测问题转化为图分类问题。生成的模型基于分层图池化架构,通过多层卷积池化的聚合,结合注意力机制,充分挖掘图中节点特征和图结构信息,实现了端到端的恶意加密流量检测方法。基于公开数据集CICAndMal2017进行验证,实验结果表明,所提模型在加密恶意流量二分类检测中,准确率高达97.1%,相较于其他模型,准确率、召回率、精确率、F1分数分别提升了2.1%,3.2%,1.6%,2.1%,说明所提方法对于恶意加密流量的表征能力和检测能力优于其他方法。

恶意加密流量检测综述

随着隐私保护和数据安全需求的增加,互联网流量加密化已是大势所趋,这使得恶意流量的检测面临一定的挑战,如何在不解密数据包的情况下完成恶意加密流量的检测已成为研究人员关注的热点问题。本文梳理了近年来的恶意加密流量检测方法,将其分为基于负载特征和基于行为模式特征的方法,并简述实验所用数据集现状和评价指标,以期为研究人员提供参考。

一种基于多模型融合的隐蔽隧道和加密恶意流量检测方法

高级持续威胁APT攻击为了躲避检测,攻击者往往采用加密恶意流量和隐蔽隧道等策略隐匿恶意行为,从而增加检测的难度。目前大多数检测DNS隐蔽隧道的方法基于统计、频率、数据包等特征,这种方法不能很好地进行实时检测,从而导致数据泄露,因此,需要根据单个DNS请求进行检测而不是对流量进行统计后再检测,才能够实现实时且可靠的检测,当系统判定单个DNS请求为隧道流量,便可做出响应,进而避免数据泄露。而现有的加密恶意检测方法存在无法完整提取流量特征信息、提取特征手段单一、特征利用少等问题。因此,文章提出了基于多模型融合的隐蔽隧道加密恶意流量检测方法。对于DNS隐蔽隧道,文章提出了MLP、1D-CNN、RNN模型融合的检测方法并根据提出的数学模型计算融合结果,该方法能够对隐蔽隧道实时监测,进一步提高检测的整体准确率。对于加密恶意流量,文章提出了1D-CNN、LSTM模型的并行融合的检测方法,并行融合模型能够更加全面地提取特征信息,反应流量数据的全貌,进而提高模型的检测精度。

基于多头注意力的恶意加密流量检测方法

恶意加密流量的识别是网络安全管理的一项重要内容。然而,随着网络用户的增加,网络流量的数量和种类正以指数级增加,这给网络安全管理带来了新的挑战和威胁。传统的恶意加密流量识别方法依赖专家经验,且对恶意加密流量特征区分能力不强,不适用目前复杂网络的场景。本文提出了基于多头注意力的恶意加密流量检测方法,通过多头注意力,流量特征可以被映射到多个子空间并进行高阶流量特征的提取,通过一维卷积神经网络进一步提取数据包内部的空间特征。实验结果表明,该方法在CTU数据集上对正常、恶意加密流量的二分类取得了优异的检测效果。

基于Stacking与多特征融合的加密恶意流量检测

加密技术保护网络通信安全的同时,大量恶意软件也采用加密协议来隐藏其恶意行为。在现有基于机器学习的TLS加密恶意流量检测模型中,存在单模型检测算法对多粒度特征适用性差和混合流量检测误报率高的问题。提出基于Stacking策略和多特征融合的非解密TLS加密恶意流量检测方法。分析加密恶意流量特征多粒度的特点,提取流量的流特征、连接特征和TLS握手特征。对所提取的特征通过特征工程进行规约处理,从而减少计算开销。对规约处理后的3类特征分别建立随机森林、XGBoost和高斯朴素贝叶斯分类器模型学习隐藏在流量内部的规律。在此基础上,使用流指纹融合处理后的多维特征,利用Stacking策略组合3个分类器,构成DMMFC检测模型来识别网络中的TLS加密恶意流量。基于CTU-13公开数据集对构建的模型进行性能评估,实验结果表明,该方法在二分类实验上识别召回率高达99.93%,恶意流量检测的误报率低于0.10%,能够有效检测非解密的TLS加密恶意流量。

基于多粒度表征学习的加密恶意流量检测

现有加密恶意流量检测方法中,基于统计特征的方法存在特征提取依赖专家经验和特征之间相互独立的问题,基于原始输入的机器学习和深度学习方法存在信息不全、随机字段、单一粒度的问题,对加密流量交互行为的语义表征不足.为解决上述问题,本文提出一种基于多粒度表征学习的加密恶意流量检测方法MGREL(MultiGranularity REpresentation Learning).该方法将加密会话分为字段级和包级两个粒度分别处理.在字段级粒度中,基于词向量进行局部行为建模,提取握手报文并选取关键字段,缓解信息不全导致的语义缺失问题,将字段的字节值表示为词向量,同时增加报文类型与握手类型作为位置前缀,解决位置语义缺失的问题,采用Multi-head Attention计算字段间的交互,再通过Bi LSTM得到报文级语义;在包级粒度中,基于时空进行全局行为建模,提取包的时空状态信息并采用LSTM模型得到流级语义.将两个粒度下得到的局部行为语义和全局行为语义融合,得到加密流量的表征,解决单一粒度表征能力不足的问题.最后,通过对比实验验证本文所提方法MGREL在检测加密恶意流量方面表现最好.

基于CNN CBAM-BiGRU Attention的加密恶意流量识别

对网络流量进行加密有助于保护数据安全和用户隐私,但是加密也隐藏了数据的特征,提高了恶意流量识别的难度。针对传统机器学习方法依赖专家经验、现有深度学习方法对加密流量特征表征能力不足等问题,提出一种在不解密的前提下自动提取空间特征和时序特征以进行加密恶意流量识别的CNN CBAM-BiGRU Attention模型。该模型分为空间特征提取与时序特征提取两部分:空间特征提取选用不同大小的一维卷积核,为了防止空间特征丢失,修改卷积层参数代替池化层进行特征压缩和去除冗余,再利用CBAM块对提取到的不同尺寸的空间特征进行加权,使得模型能够关注到区分度高的空间特征;时序特征提取部分利用双向门控循环单元来表征数据包之间的时序依赖关系,然后利用Attention来突出会话中重要的数据包。在此基础上,将两部分特征向量进行融合,利用Softmax分类器进行二分类和多分类。在公开数据集上进行实验,结果表明,该模型在二分类任务中的加密恶意流量识别准确率达到99.95%,在多分类任务中整体准确率达到99.39%,在Dridex与Zbot类别的加密恶意流量识别中F1值相比1D_CNN、BiGRU等模型有显著提高。

面向加密恶意流量的噪声标签检测方法

对于基于数据驱动的加密恶意流量检测模型的训练及其评估,处理有噪声的数据集仍然是一项挑战,提出了一种基于KRPD-DT的噪声标签检测方法,使用差分训练的思想同时训练2个相同的模型,提取样本在2个模型中训练的损失,根据干净样本和噪声样本在训练行为上的差异性检测出噪声样本.同时,为了放大样本间损失上的差异,提出了基于KLIEP-RPD的相对噪声权重估计方法,估计每个样本的相对概率密度,并把它作为样本损失行为的权重.该方法在对CIC-DoHBrw2020数据集清洗过后,有效地恢复了恶意DoH流量检测模型的性能,实验验证了该方法具有不错的稳定性,并超过了其他几种噪声检测方法.

多特征融合的煤矿网络加密恶意流量检测方法

针对煤矿网络面临由恶意软件所产生的安全传输层协议(TLS)加密恶意流量威胁和检测过程加密流量误报率高的问题,提出了一种基于多特征融合的煤矿网络TLS加密恶意流量检测方法。分析了TLS加密恶意流量特征多元异构的特点,提取出煤矿网络TLS加密恶意流在传输过程中的连接特征、元数据和TLS加密协议握手特征,利用流指纹方法构造煤矿网络TLS加密流量特征集,并对该特征集中的特征进行标准化、独热编码和规约处理,从而得到一个高效样本集。采用决策树(DT)、K近邻(KNN)、高斯朴素贝叶斯(GNB)、L2逻辑回归(LR)和随机梯度下降(SGD)分类器5个子模型对上述特征集进行检验。为提高检测模型的鲁棒性,结合投票法原理将5个分类器子模型结合,构建了多模型投票(MVC)检测模型:将5个分类器子模型作为投票器,每个分类器子模型单独训练样本集,按照少数服从多数原则进行投票,得到每个样本的最终预测值。实验验证结果表明:所构建的特征集降低了样本集维度,提高了TLS加密流量检测效率。DT分类器和KNN分类器在数据集上表现最好,达到了99%以上的准确率,但是它们存在过拟合风险;LR分类器和SGD分类器子模型虽然也达到了90%以上的识别准确率,但这2个子模型的误报率过高;GNB分类器子模型表现最差,准确率只有82%,但该子模型具有误报率低的优势。MVC检测模型在数据集上准确率和召回率达99%以上,误报率为0.13%,提高了加密恶意流量的检出率,加密流量检测误报率为0,其综合性能优于其他分类器子模型。