基于优化SMOTE算法的非平衡大数据集分类研究

在处理非平衡大数据集中,提出一种基于优化SMOTE方案的分类算法研究,在临近样本插值分类中引入分簇聚类的理念,具体分为安全样本、危险样本和干扰样本,并重点对安全样本做插值处理。对插值后的数据样本做区间化处理,能够改善插值后数据过于集中的状况,提高样本分布的均匀度。算法性能验证结果表明,分类算法的规模成长性更好,具有更强的数据集扩展能力,在多数据集性能分类对比实验中,提出的改进算法的MATLAB仿真性能具有明显优势。

基于不平衡数据的网络流量异常检测方法研究

为有效解决不平衡数据影响的问题,确保面对大规模网络流量数据异常检测的实时性,提出了基于不平衡数据的网络流量异常检测方法。通过优化SMOTE(合成少数类过采样)算法对含不平衡数据的网络流量数据进行平衡处理,将得到的数据集通过核主成分分析方法实现特征提取后,输入到卷积神经网络中。通过卷积和池化过程进一步实现网络流量数据深度特征提取,依据Softmax分类层对网络流量特征进行分类,利用训练好的卷积神经网络预测模型实现不平衡数据的网络流量异常检测。通过实验验证,该方法展现出了良好的效率和稳定性。在迭代次数为40次时,实现最佳不平衡数据处理结果,能够对异常数据进行精准识别。