中文分词器对图书评论和情感词典匹配程度的影响

【目的】比较由不同中文分词器带来的语料和情感极性词典匹配程度的差异。【方法】采用6款分词器对自主构建的图书评论语料库进行分词,结合常见情感词典编写程序对输入的语料进行处理,统计语料对情感词典、否定词表和程度词表的覆盖率与匹配次数,计算低频词的比率和中性语料的比率。【结果】针对不同的情感词典,分词器在语料–词典匹配度、词典低频词比例以及中性语料占比方面表现出不同程度的差异。【局限】实验语料不足,没有基于词典和规则进行句子级的测试。【结论】本研究将有助于从事涉及到基础情感词典的各种研究在选择中文分词器时减少随意性。