不均衡训练集下短信过滤系统kNN方法的研究

不良短信的泛滥,严重影响了社会风气,干扰了人们正常的生活秩序,研发不良短信过滤技术具有相当的实用价值。应用中科院计算所研制开发的ICTCLAS分词系统,结合TFIDF词权度量指标提取关键词,实现短信文本到特征向量的转换,然后采用kNN方法实现短信的类别判断,从而实现不良短信的过滤。另外,针对训练集分布不均衡的情况,应用基于密度的改进方法,较为有效地处理了原来分类结果倾向于大类别样本的情况。实验表明,改进后的方法的准确率约79.18%,比原方法提升了约1.23%。该方法能够比较有效地过滤不良短信,具有一定的实用价值。

基于网络社区结构的训练集非均衡程度度量方法

在机器学习和数据挖掘实际应用中,针对分类训练集的选取,通常要求训练集中每一类所包含的数据在数量上要尽可能的"均衡".本文以非均衡训练集与分类学习效率关系研究为依据,给出了"均匀度"和"内聚度"两种类型的训练集非均衡程度因素的概念;"均匀度"是用来描述训练集类之间(between-class)的非均衡程度,其含义是指训练集不同类之间数据数量的非均衡程度;"内聚度"是用来描述训练集类内部(within-class)的非均衡程度,指训练集中不同类在空间分布上的线性相关程度,通过训练集数据之间的相关程度,构建出训练集的网络结构,运用一种能体现训练集内聚性的网络拓扑结构的指标-网络社区结构作为度量,提出了基于网络社区模块结构的非均衡训练集度量方法,并指出了高均匀度和高内聚度是选取"优良"分类训练集的关键因素.通过对UCI标准训练集的实验,结果验证本方法作为选取训练集标准的有效性.

一种KD树集成偏标记学习算法

针对样本集不均衡造成分类器精度不足的问题,提出一种KD树均衡训练集的集成偏标记学习算法。按照伪标签划分样本,采用KD树检索的方式均衡训练集,再采用多个分类器投票方式实现消岐,最终运用集成学习的方法实现分类。在公开数据集上的仿真实验结果表明,该偏标记学习算法在分类上具有较好的表现力。

基于加权支持向量机的网络入侵检测研究

在网络入侵检测中,数据类别不均衡训练集的使用将产生分类偏差,主要原因在于对每个训练样本的错误分类的惩罚系数是相等的。加权支持向量机对每个错误分类样本的惩罚系数是不一样的,这对小样本来说提高了分类精度,克服了常规SVM算法不能灵活处理样本的缺陷。但这是以大样本分类精度的降低以及总分类精度的下降为代价的。实验结果证明,将加权支持向量机用于网络入侵检测中是可行的、高效的。