“人”“机”分词差异及规范词典的收词依据──对645条常用词未见于《现汉》的思考

在《现代汉语频率词典》根据使用度高低统计出来的常用词语8548条中，有645条不见于《现代汉语词典》。对这645条词语进行分析，发现《频率词典》在分词上有看重言语实际的凝固程度与复现率，看重词的语法功能差异两个特点。这两点体现了“机器分词”的性质和要求。《现汉》的分词则基本上还是考虑词语意义的完整性和使用上的独立性，这种分词原则可以说是“人的分词”。两种不同的分词原则，必然会产生不尽相同的分词结果。以此框彼，或以彼框此，都有失准衡，词汇研究须注意区分两种研究类型的不同标准、方法和目的。《现汉》作为规范词典，在收词上要充分吸收“机器分词”的成果，特别要把词的频度作为一个重要参数加以利用。