互信息特征选择法在《中图法》内容相似类目中的运用及改进——以E271和E712.51为例

针对内容相似的两个类目间存在大量共同特征而难以自动区分的特点,提出一种改进的互信息特征选择法,以提高两类文本自动分类的效果。以《中国图书馆分类法》中E271(中国陆军)和E712.51(美国陆军)两个类别的书目信息作为文本分类的对象,首先针对传统互信息特征选择法未考虑负相关特征、类间集中度和类内分散度等问题,引入改进的互信息特征选择法DNCF_MI;其次,针对DNCF_MI未区分不同特征对类别的贡献程度等不足,引入领域无关特征和领域相关特征,提出一种改进的互信息特征选择法DNCF_DI_MI;最后,使用knn分类器进行分类,并采用宏平均F1值和微平均F1值对分类结果进行评价。实验结果表明,本文提出方法的宏平均F1值和微平均F1值比传统互信息特征选择法分别提升24.1%和28.5%,比DNCF_MI均提升4.5%,证明本文方法对内容相似类目的分类更有效。