基于词语条件信息量的新词发现

随着互联网用户群体的不断发展,每天都会有海量的文本产生,会产生很多新词,本文提出一种基于词语信息量特征的新词发现方法,使用CRF(条件随机场)进行新词发现的实验,测试中,实验结果表明取得一定的效果。