基于主成分分析和深度自编码高斯混合模型的无监督异常数据检测方法研究

在异常数据检测中,由于数据量过大和数据特征维度过高,往往会导致数据标定困难、数据冗余、算法效率降低等。针对以上问题,将主成分分析(PCA)特征选择算法与深度自编码高斯混合模型(DAGMM)相结合,提出一种新的无监督异常数据检测方法PCA-DAGMM。该方法首先利用PCA特征选择算法对数据进行预处理,去除对分类效果增益较小的冗余数据,降低运算成本;然后将特征选择后的数据输入到DAGMM模型中进行训练。基于kddcup99数据集和CIC-IDS-2017数据集进行实验,并与多种特征选择算法进行对比,实验结果表明,PCA-DAGMM方法可以有效优化分类器性能,提高分类器训练效率,适用于解决网络流量异常检测问题,F1指数在kddcup99数据集和CIC-IDS-2017数据集上比DAGMM模型分别提高了4.37%和1.06%,训练时间减少了14.43%和8%。