基于高阶N-gram的单词聚类和规则获取算法研究

本文首先提出一种由低阶N－gram语言模型构造高阶N-gram语言模型的方法,并进而应用使用该方法构造成功的5-gram模型研究并实现了单词聚类和规则获取的算法。

基于数据挖掘的文本自动分类仿真研究

研究文本分类优化问题,文本是一种半结构化形式,特征数常高达几万,特征互相关联、冗余比较严重,影响分类的准确性。传统分类方法难以获得高正确率。为了提高文本自动分类正确率,提出了一种数据挖掘技术的文本自动分类方法。利用支持向量机对于特征相关性和稀疏性不敏感,能很好处理高维数问题的优点对单词对分类的贡献值进行计算,将对分类贡献相近单词合并成文本向量的一个特征项,采用支持向量机对特征项进行学习和分类。用文本分类库数据进行测试,结果表明,数据挖掘技术的分类方法,不仅加快了文本分类速度,同时提高文本分类准确率。