基于分层欠采样和Bi-GRU的恶意行为检测模型

为解决类不平衡和样本重叠问题,提出一种基于分层欠采样和Bi-GRU的恶意行为检测模型(SSU-BG)。数据预处理及特征模型的构建;基于欧氏距离算法统计出高频样本的最高密度点及类内平均距离,根据样本分布特点将高频类样本依次划分为稀疏区、稀疏区边界区及稠密区3个区域,根据抽取出样本标签数在稠密区内划分出不同层次圆环,计算每个类的不均衡度,计算其均值作为整个样本的采样比例,按照此时的采样比例在稀疏区边界区的圆环域和稠密区进行分层随机欠采样;将文本向量输入训练好的Bi-GRU模型中。实验结果表明,该模型改善了整体检测效果,提高了恶意评论检测率。

不平衡数据集下基于自适应加权Bagging-GBDT算法的磁盘故障预测模型

针对磁盘数据集中正负样本数目严重不平衡导致基于机器学习的分类算法易出现故障预测准确率低的问题,本文提出一种基于自适应加权Bagging-GBDT算法的磁盘故障预测模型.首先,提出基于聚类的分层欠采样方法对健康磁盘样本进行多次抽样,解决随机欠采样方法易丢弃潜在有用样本的问题;其次,将每次采样后样本与全部故障磁盘样本组合得到多个样本子集,通过训练这些子集建立多个预测精度较高的GBDT子分类模型;最后,根据待测点邻域样本类别自适应确定各子模型权重,据此通过加权硬投票集成最终的磁盘故障预测模型.在8组KEEL不平衡数据集上实验结果表明,与现有典型不平衡学习算法相比,少数类的召回率平均提升了9.46%;同时在磁盘公开数据集和某调度系统磁盘数据上对比验证了该方法在故障预测率上的先进性.