基于Spark-ML+Conv-LSTM的混合入侵检测系统

为了提高网络入侵检测的准确率,提出了基于Spark-ML分类器和卷积LSTM(Conv-LSTM)网络的两阶段混合入侵检测系统(IDS)。采用Spark-ML分类器构建异常流量检测模块,结合Conv-LSTM网络建立恶意攻击检测模块,兼顾了网络流量的特征提取和入侵类别的深度分析,实现了全局和局部潜在威胁特征的准确识别。通过ISCX 2012数据集进行验证,验证结果表明:所提出的混合IDS能够在97.29%的情况下准确地识别网络入侵,在10倍交叉验证测试中优于其他检测方法,并且具有较高的精确度和较低的误报率。

Spark下的并行多标签最近邻算法

随着大数据时代的到来,大规模多标签数据挖掘方法受到广泛关注。多标签最近邻算法MLKNN是一种简单高效、应用广泛的多标签分类方法,其分类精度在很多应用中都高于其他常见的多标签学习方法。然而随着需要处理的数据规模越来越大,传统串行ML-KNN算法已经难以满足大数据应用中时间和存储空间上的限制。结合Spark的并行机制和其基于内存的迭代计算特点,提出了一种基于Spark并行框架的ML-KNN算法SML-KNN。在Map阶段分别找到待预测样本每个分区的K近邻,随后Reduce阶段根据每个分区的近邻集合确定最终的K近邻,最后并行地对近邻的标签集合进行聚合,通过最大化后验概率准则输出待预测样本的目标标签集合。串行和并行环境下的对比实验结果表明,SML-KNN在保证分类精度的前提下性能与计算资源呈近似线性关系,提高了ML-KNN算法对大规模多标签数据的处理能力。