基于主成分分析和深度自编码高斯混合模型的无监督异常数据检测方法研究

在异常数据检测中,由于数据量过大和数据特征维度过高,往往会导致数据标定困难、数据冗余、算法效率降低等。针对以上问题,将主成分分析(PCA)特征选择算法与深度自编码高斯混合模型(DAGMM)相结合,提出一种新的无监督异常数据检测方法PCA-DAGMM。该方法首先利用PCA特征选择算法对数据进行预处理,去除对分类效果增益较小的冗余数据,降低运算成本;然后将特征选择后的数据输入到DAGMM模型中进行训练。基于kddcup99数据集和CIC-IDS-2017数据集进行实验,并与多种特征选择算法进行对比,实验结果表明,PCA-DAGMM方法可以有效优化分类器性能,提高分类器训练效率,适用于解决网络流量异常检测问题,F1指数在kddcup99数据集和CIC-IDS-2017数据集上比DAGMM模型分别提高了4.37%和1.06%,训练时间减少了14.43%和8%。

基于变分自编码高斯混合模型的入侵检测方法

随着网络的不断更新迭代,网络安全形势也愈发纷繁复杂。网络入侵检测作为防护网络安全的一种重要手段,近些年来也一直被广泛关注。然而,为复杂和高维数据开发有效的网络入侵检测方法仍然是一个挑战。对于高维数据的处理,研究者提出了结合压缩网络和生成式模型的深度自编码高斯混合模型(DAGMM),基于对该算法的研究,本文改进了该算法在编码时不能很好地抓住数据特性的问题,提出了变分自编码高斯混合模型。利用KDDCUP99数据集进行了实验验证,实验结果表明,与DAGMM方法相比较,模型的精确率提高大概3%,进而验证了本文算法的有效性。