基于条件随机场的有标记联合结构自动识别

文章介绍了条件随机场的基本原理,基于识别有标记联合结构的需要,根据有标记联合结构的语言学特征结合条件随机场的特性确定了条件随机场的7词位标注集、具有18个复杂特征的模板、增加4个语言学特征的模板。使用北京大学《人民日报》语料和清华大学973树库语料,基于复杂特征的特征模板和增加语言学特征的特征模板在含有嵌套的联合结构、无嵌套联合结构和最长联合结构语料上进行了实验,开放测试的调和平均值最高分别达到了88.21%,87.85%和84.42%。

基于清华汉语树库的有标记联合结构统计分析

详细统计和分析有标记联合结构的内部语言学和外部语言学特征。内部特征方面主要考察该结构的词性序列分布、短语序列分布;外部特征方面主要考察该结构的句法功能分布和左右边界特征词。这些考察一方面为从量化的角度研究该结构提供相对精确的数据,另一方面为计算机自动识别该结构提供语言学知识。