基于词激活力的自动词发现

在使用计算机处理中文信息时,对词语的自动化发现技术有迫切的需求。因为在互联网时代,词语集合的更新换代非常之快,词语以非常快的节奏产生和消亡,这直接影响着对中文信息自动化处理的准确度和可靠性。为了解决这个难题,本文提出一种基于词激活力模型的中文词语发现方法。该方法将海量汉语语料建模成为有序的汉字序列,建立词激活力模型,分析字与字之间的联系程度,从而对任意两个汉字是否构成词语进行估计。在大规模语料集上的数据实验表明,该方法能够有效地对预料中的潜在词语进行自动化发现,达到了预期目标。