基于修正SVM-KNN组合算法的汉语专有名词自动抽取

专有名词的自动抽取是文本挖掘、信息检索和机器翻译等领域的关键技术。本文研究了组合SVM和KNN两种分类器进行汉语专有名词自动抽取的方法。对样本在空间的不同分布使用不同的分类方法,当测试样本与SVM最优超平面的距离大于给定的阈值时使用SVM分类,否则使用KNN;在实际训练语料中,常常是负类样本数远多于正类样本数,而传统KNN方法对不平衡训练集存在敏感性,所以提出了用归一化的思想对传统的KNN方法进行修正。实验表明,用SVM与修正的KNN组合算法进行汉语专有名词抽取比单一的SVM方法以及原始的SVM-KNN方法更具优越性,而且这种方法可以推广到其他非平衡分布样本的分类问题。