用于文本挖掘的特征选择方法TFIDF及其改进

文章使用TFIDF特征选择方法对数据源进行预处理,建立了空间矢量模型,为文本分类提供了便利的数据结构.通过分类结果测试该特征选择方法的精确度.根据实验结果分析TFIDF的优缺点,并提出改进的方法.

基于改进TFIDF的文本特征选择方法

分析几种常见的特征选择评价函数,将权值计算函数应用于特征选择,提出一种新的基于改进TFIDF的文本特征选择评价函数,即TFIDF-Dac。它从提高特征项的类区分能力角度考虑,将特征项在类间的分布信息引入公式,弥补了传统的TFIDF的不足。实验测试表明,使用改进的特征选择方法能够有效提高文本分类的准确度。

基于关联规则的检索结果聚类优化

根据元搜索引擎以线性列表的方式为用户提供检索结果的现象,提出一种基于关联规则的检索结果聚类优化方法,在经过分词处理后,提取检索结果中标题和摘要的主要关键词集,从而建立关联词矩阵(AWM)及基于TFIDF函数表示的结果特征向量,实现基于AWM的FCM聚类。仿真实验结果表明,该方法能够提高运行效率及聚类的有效性。