SVM词库智能更新技术在搜索分类中的应用

为了研究搜索引擎的文本预分类准确率,从词库对搜索引擎的影响角度出发,提出了基于支持向量机的词库智能更新技术。利用网络爬虫丰富的数据源作为生僻词来源,用基础词库结合语法库对网络爬虫获取的文本语料进行分析处理,同时不断充实临时词库;利用支持向量机判定文本的所属类别,确定生僻词的类别标识;根据临时词库中的生僻词的统计数量,将生僻词加入到词库,达到扩大词库的目的。将扩展后的词库应用于搜索引擎的搜索意图识别实验中,实验结果表明,扩展后的词库可以减少句子拆分的错误率并提高搜索主题分类的准确率。