向量空间法中单词权重函数的分析和构造

文本分类是文本挖掘的基础与核心 ,是近年来数据挖掘和网络挖掘的一个研究热点 ,在传统的情报检索、网站索引体系结构的建立和 Web信息检索等方面占有重要地位 .深入分析了一种简单而常用的经典文本分类模型——向量空间模型 ( vector space model,VSM)——的实质 ,找出了其分类精度低的原因 ,提出了一种利用特征筛选中的评估函数代替 IDF函数进行权值调整的方法 ,并对采用各种不同评估函数进行权值调整的性能进行了理论分析和实验比较 ,提出了一种构造新的高性能评估函数的新颖方法 .

一种新型的文本无监督特征选择方法

结合文档频数DF（Document Frequency）和特征相似度FS（Feature Similarity）方法，提出一种新的无监督特征选择方法DFFS。该方法利用文档频数过滤掉90％的特征之后，再借助特征相似度移除尽可能多的冗余特征。采用K-均值方法，对比DFFS方法与其他3种常用特征选择方法（DF，TC，TS）的聚类性能。实验一：当特征数量由6000减少到1047时，DF方法的聚类性能急剧下降，而DFFS方法则有提高，甚至当特征数量进一步减少到350时，DFFS方法也没有下降。实验二：在保持10％～2％的特征时，DFFS方法优于其他3种方法，特别是在只保留2％的特征时，DFFS方法的明显优于其他方法。