带标注语料库的分词不一致研究综述

目前，带标注语料库因为标注质量等原因严重影响了汉语的自动分词和测评，而其中影响较大的就是语料库中分词的不一致。本文总结并分析了前人对于分词不一致的各种研究，廓清了分词不一致的概念，提出分词不一致最好按照所属类别统一处理，同一类型的词应该处理成相同的切分形式。