基于规则和分类模型的核心目标词识别研究

核心目标词识别是对一条待测句子,识别出句子中能够激起核心语义场景的目标词.文章把核心目标词识别任务分成基于规则过滤识别阶段和基于分类模型识别阶段.利用预先构建的词元表对待测句子中的词进行筛选,识别出候选目标词,使用基于分类模型的识别方法,构建分类特征模板,最终确定句子的核心目标词.文章在汉语框架网的标注语料集上进行测试,实验结果表明,相比于基于规则过滤识别阶段,基于分类模型识别阶段识别率有显著地提升.

基于构成模式和条件随机场的企业简称预测

针对目前企业营销的不断深入,企业简称被各大新闻广泛使用,而作为新词又难以被有效识别的问题,提出一种基于构成模式和条件随机场(CRF)的企业简称预测方法。首先,从语言学的角度对企业全称和简称的构成规律进行了总结,并采用词库以及规则相结合的方式对Bi-gram算法进行改进,提出CBi-gram算法,实现了对企业全称的结构化切分,并提高了企业全称中核心词识别的准确性。然后,依据上述切分结果对企业类型进行再次细分,并通过人工总结和规则自学习的方法形成不同企业类型下的简称规则集。最后再基于规则生成企业的候选简称集,降低了不适用的规则对于不同类型的企业在生成简称过程中产生的噪声。另外,为了弥补单纯基于规则在解决全称缩写和简写缩写混合的局限性,引入CRF,从统计的角度对简称进行预测,并选取词、音调以及词在全称组成成分中的位置作为模型特征,进行模型训练,以实现两种方法的相互补充。实验结果显示,该方法具有较高的准确率,输出的企业简称集基本覆盖了企业的常用简称范围。