中心词驱动的汉语统计句法分析模型的改进

在对Dan Bikel基于Collins中心词驱动概率句法分析模型实现的句法分析器进行深入研究分析的基础上,对其进行了两个方面的改进。一是通过提供N-best词性候选序列,改进原模型在词性方面的处理,改善了句法分析的结果;二是在该模型中引进单独的基本名词短语识别,从而降低句法分析的复杂度,提高了效率,其中,针对中文的特点,通过对BaseNP的概念进行一系列的扩展,深入研究了基于不同层次概念的BaseNP对句法分析的影响并探讨更适合中文句法分析的BaseNP定义。利用改进的句法分析模型进行中文句法分析实验,实验结果表明,改进模型可以缩短分析时间26%,提高F值4.4个百分点,交叉括号平均减少18%。

基于GLR算法的新型概率句法分析器

为了提高句法分析器的分歧能力和分析准确率,结合上下文无关概率模型PCFG和头驱动概率模型HDSM各自的优点,提出了一种新型的概率模型PCFG_HDSM,并基于GLR算法,实现了一个新型的汉语句法分析器。在词性标注阶段,通过对助词的详细标注使部分歧义在规则阶段就被去除掉,提高了系统消歧的能力。经过开放测试,准确率和回归率分别达到82.8%、74.7%,与其他分析器分析结果比较有了较大提高,证明新模型PCFG_HDSM确实提高了分析器的分歧能力。