KDDCUP99数据集的数据分析研究

kddcup99数据集的网络连接数据量很大,各特征属性的取值范围较广,决策类型的种类也很多。因此,如果直接在原数据集上进行数据预处理或是数据挖掘都将是一件十分困难的事情。通过对kddcup99进行数据分析,提出一种对其按照service属性的不同进行分块的新思路,在不失真的前提下,将大问题转化成小问题,从根本上解决了数据集过大的难题。

基于KDDCUP99数据集的入侵检测系统的设计与实现

KDDCUP99数据集中网络连接特征属性种类多,提取难度大,给研究人员将数据集应用到真实网络环境中造成很大困难。同时因为数据集产生年代久远,其中的攻击手段和特征属性对于当下复杂的网络环境已经过时,因此迫切需要提取新的网络连接特征,应用新型攻击手段,制作出更符合真实网络环境的数据集。通过对数据集制作方法的深入研究,给出了提取网络连接特征的具体方法,进而设计出一套基于此数据集的入侵检测系统。同时也为今后的研究中,制作新的入侵检测数据集提供了参考。

一种大数据环境下的新聚类算法

提出了一种新的聚类算法NGKCA,该算法克服了经典聚类算法检测率和稳定性的不足,适用于解决大数据环境下的聚类问题。NGKCA聚类算法包括4个阶段:首先利用谱聚类NJW算法对大数据集进行列降维和数据归一化处理,其次引入对初始值不敏感的粒子群算法对数据集进行行降维从而选出临时的聚类中心集,接着通过全局Kmeans算法对最佳聚类中心集进行聚类以获取聚类中心点,最后使用粒子群算法对聚类中心点进行调整进而获取最终的聚类划分。在一些著名的机器学习数据集和国际标准的网络安全数据集KDDCUP99上进行实验,结果表明:提出的算法比谱聚类、Kmeans、粒子群、全局Kmeans等常见算法具有更好的稳定性和更高的检测率,与全局Kmeans算法相比具有更优的时间复杂度。

集成学习算法的研究与应用

集成学习算法的思想就是集成多个学习器,并组合它们的预测结果,以形成最终的结论。典型的学习模型组合方法有投票法,专家混合方法,堆叠泛化法与级联法,但这些方法的性能都有待进一步提高。提出了一种新颖的集成学习算法--增强的集成学习算法(ReinforcedEnsemble)。ReinforcedEnsemble集成算法由两大部分组成:ReinforcedEnsemble特征提取算法与ReinforcedEnsemble基分类器。通过实验,将ReinforcedEnsemble算法与其他集成学习算法进行了性能比较。实验结果表明,所提出的算法在多项指标上均达到最优。

基于KPCA入侵检测特征提取技术研究

详细介绍了基于KPCA入侵检测系统特征提取的工作原理,并在MATLAB环境下利用KDDCUP99数据集进行了基于KPCA特征提取的仿真实验,结果表明KPCA能对样本能进行很好的降维,并可保持较高的检测率,适用于入侵检测的数据源较复杂和其中存在一些非线性特征的网络入侵检测系统。

基于Jpcap的入侵检测数据源获取方法

网络入侵检测系统(NIDS)是当今网络攻防战中保护网络安全的有力手段之一。国内外众多研究者的目光也都聚焦于此,在检测模型、检测方法、实际运用等方面都取得了巨大成就,但在众多的研究成果中,关于入侵检测测试数据的获取方法却一直鲜有涉足。至今,KDDCUP 99’数据集仍然是用于入侵检测系统测试实验的较好的数据源,但它是一个静态数据源,这使得在KDDCUP 99’数据集测试下效果很好的NIDS在动态网络状态下效果不理想。基于这一问题,提供了一种通过JAVA类包Jpcap捕获网络IP数据包,提取其中信息,建立一个新的具有KDDCUP 99’数据集部分特征的数据源的方法。

基于排挤遗传算法的入侵检测方法

传统遗传算法在入侵检测系统中构造的规则单一,导致检测率低,为了构造更加精确和完备的入侵规则,提出了一种基于确定性排挤遗传的规则构造算法,该算法使用确定性排挤来产生下一代种群,能够有效保持种群多样性,获得全部最优解。给出了算法的步骤和仿真,以网络数据集KDDCup99为对象,详细分析了利用该算法来生成入侵规则的具体实现过程,对染色体编码和适应度函数进行了设计和实现。最后通过实验证明了此算法的有效性,可以较好地获得入侵检测规则。

基于改进遗传算法的网络入侵检测

为了获得完备的入侵检测规则,使用一种改进遗传算法来生成规则,该算法使用排挤和梯度运算来获取局部和全局最优解,详细分析了利用该算法生成入侵规则的具体实现过程,对染色体编码,适应度函数以及遗传算子进行了设计和实现;在网络数据集KDDCup99上通过实验证明了此算法的有效性。

简化粒子群优化结合SOM的网络入侵检测方法

针对互联网规模的不断扩大,网络服务更容易向入侵者和攻击者暴露信息,且攻击手段日趋复杂,提出了简化粒子群优化(SPSO)结合自组织映射(SOM)的网络入侵检测方法。根据特征判别力,使用PCA方法进行选择特征,生成非相关性特征过滤数据集噪声和低方差值特征。通过SOM与高斯混合模型(GAMM)混合方法来模拟正常模式与异常模式,测量每个网络单元的激活概率以检测所有高频率攻击的精确值,并运用概率SOM均值对特征空间进行分类,在此过程中,运用简化粒子群优化(SPSO)算法从分类搜索当前解的邻域内找到更优的解。基于KDDCUP99数据集搭建仿真测试平台,实验结果表明,提出的方法对常见的网络攻击表现出了良好的性能,具有更高的入侵检测准确率(ACC)。

基于网络入侵检测数据集的关联规则挖掘

关联规则广泛应用于网络入侵检测,抽取KDDCup99数据集的重要特征属性,应用Excel 2007数据挖掘模块功能得出与入侵类型相关的特征项,对于入侵检测方法的进一步研究具有借鉴意义。

可信网络连接中的可信度仿真评估

可信网络连接(TNC)是对可信平台应用的扩展,也是可信计算机制与网络接入控制机制的结合。针对当前TNC研究中缺乏对网络连接进行定量评估的问题,提出了一种网络连接可信度仿真评估方法。该方法根据网络连接属性与评估值之间存在的非线性映射关系,利用BP网络模型及LM优化算法对网络连接可信度进行评估。仿真结果表明该方法具有较好的预测评估准确率。

应用混沌变异机制混合反向学习人工鱼群算法

提出了一种应用反向学习和Tent混沌映射变异的改进人工鱼群算法.选择部分精英个体执行反向学习,引导种群向全局最优解逼近,有利于均衡算法的勘探与开采能力.当种群多样性下降到一定程度,并且公告板多次无法得到更新时,保留部分精英个体,其他个体执行Tent混沌映射变异操作.在4个Benchmark函数上的测试表明该算法求解精度、收敛能力较AFSA有较大提高.

基于数据挖掘Weka平台的拒绝服务攻击关联分析

关联规则广泛应用于网络入侵检测,抽取KDDCUP99数据集的重要特征属性,运用Weka软件的关联规则挖掘算法,对拒绝服务攻击类型中不同属性特征进行分析,得到了back攻击类型中不同属性特征间的联系,对提高入侵检测的效率和准确率有极好的作用。

一种融合Kmeans和KNN的网络入侵检测算法

网络入侵检测算法是网络安全领域研究的热点和难点内容之一。目前许多算法如KNN、TCMKNN等处理的训练样本集都比较小,在处理大样本集时仍然非常耗时。因此,提出了一种适应大样本集的网络入侵检测算法(Cluster-KNN算法)。该算法分为离线数据预处理(数据索引)和在线实时分类两个阶段:离线预处理阶段建立大样本集的聚簇索引;在线实时分类阶段则利用聚簇索引搜索得到近邻,最终采用KNN算法得出分类结果。实验结果表明:与传统的KNN算法相比,Cluster-KNN算法在分类阶段具有很高的时间效率,同时在准确率、误报率和漏报率方面与其它同领域入侵检测方法相比也具有相当的优势。Cluster-KNN能够很好地区分异常和正常场景,且在线分类速度快,因而更适用于现实的网络应用环境。

聚类分析在DoS攻击检测和防护中的研究和应用

网络入侵检测数据集的特征属性是衡量网络入侵状况的重要指标,对其进行分析研究可以深入了解网络入侵现状及其规律。使用Weka软件的聚类分析挖掘算法,把拒绝服务攻击类型中按照特征属性的相似性分为六类,并分析了各类的特点。

基于高斯朴素贝叶斯的网络安全态势感知技术研究与应用

网络安全态势感知技术是一种基于环境的、动态的、整体的数据融合方法,可以从宏观角度把数据融合起来,是网络安全强有力的监控技术和保障技术。通过机器学习算法发现数据之间的相关性,可以发现数据之间潜在的联系。高斯朴素贝叶斯是机器学习中较为通用的一种算法,通过对KDDCUP99数据集的训练和测试,得到的模型有效地对网络安全测试数据进行了预测。

决策树入侵检测模型中基于改进PIO的特征选择算法

在基于决策树的入侵检测模型中,入侵检测数据集中冗余和不相关的特征字段影响分类器的性能,存在训练效率低下的问题。提出一种改进的鸽子启发优化(pigeon-inspired optimization,PIO)算法(称为Jaccardcrossover PIO,JCPIO)来优化减少入侵检测数据集的特征字段。JCPIO使用PIO算法实现特征字段的选择优化,其中,通过Jaccard相似度定义鸽子速度,对鸽子个体进行离散二值化,通过在landmark算子操作中引入交叉操作,增加解空间的多样性,找到全局最优解。实验结果表明,JCPIO在保证入侵检测模型准确性的前提下,将原始数据集中的数据量减少了82.9%,增加了模型的训练效率;与传统的特征选择算法相比,识别模型的准确率提高了2.6%~5.5%,误报率降低了6.43%~14.33%。

基于变分自编码高斯混合模型的入侵检测方法

随着网络的不断更新迭代,网络安全形势也愈发纷繁复杂。网络入侵检测作为防护网络安全的一种重要手段,近些年来也一直被广泛关注。然而,为复杂和高维数据开发有效的网络入侵检测方法仍然是一个挑战。对于高维数据的处理,研究者提出了结合压缩网络和生成式模型的深度自编码高斯混合模型(DAGMM),基于对该算法的研究,本文改进了该算法在编码时不能很好地抓住数据特性的问题,提出了变分自编码高斯混合模型。利用KDDCUP99数据集进行了实验验证,实验结果表明,与DAGMM方法相比较,模型的精确率提高大概3%,进而验证了本文算法的有效性。

一种基于鸽群优化算法的入侵检测技术

群体智能在解决非确定性多项式(NP)问题或搜索空间过大的问题时有着显著优势。将鸽群优化(Pigeon Inspired Optimization,PIO)算法应用于入侵检测系统的特征选择中。提出基于Sigmoid的PIO(SPIO)和基于Cosine余弦相似度的PIO(CPIO)算法对入侵检测数据集KDDCUP99进行特征选择,并用机器学习的方法进行实验,建立模型并评估结果。

基于CanpoySMOTE和自适应学习的入侵检测方法研究

提出了一种基于Canopy与人工合成少数类别过采样技术(CSMOTE)和自适应增强学习(AdaBoostM1)的入侵检测分类方法,以有效减少入侵检测模型因训练数据集攻击类型不均衡而导致的分类误差,提高分类准确率。通过Canopy聚类消除训练集中的孤立点或噪音点,减少训练集噪声;并在预处理时通过SMOTE增加少数类别的样本数量,构造类间平衡的平衡数据集,然后在平衡数据集上用AdaBoosM1训练得到分类器。与在原始训练集上训练的分类器相比,该方法在保持整体准确率高的情况下,少数类别U2R攻击的准确率提升20%,R2L攻击的准确率提升5%,同时平均漏报率降低9%,实验结果表明该方法可以有效提升少数类别准确率,降低平均漏报率,能有效地解决网络入侵检测少数类误分类问题。