不同水平留学生汉语交集型与组合型切分歧义识别实验研究

通过对初、中级水平留学生汉语交集型与组合型切分歧义识别实验研究发现:两种类型切分歧义识别的汉语水平和链长主效应都十分显著,初级识别错误率、修改率均高于中级。对于交集型切分歧义而言,链长越长,识别错误率越低;组合型链长1、2识别错误率无显著差异,但链长为3时识别错误率显著提高;链长为1时,初级与中级识别错误率相当,链长为2、3时,初级识别错误率高于中级。文章从两类切分歧义特点、汉语水平与链长、动态语境与修改意识等方面分析了造成这些差异的原因,并提出了相应的教学建议。

基于语境信息的汉语组合型歧义消歧方法

组合型歧义切分字段一直是汉语自动分词的难点,难点在于消歧依赖其上下文语境信息。本文采集、统计了组合型歧义字段的前后语境信息,应用对数似然比建立了语境计算模型,并考虑了语境信息的窗口大小、位置和频次对消歧的影响而设计了权值计算公式。在此基础上,1.使用语境信息中对数似然比的最大值进行消歧;2.使用语境信息中合、分两种情况下各自的对数似然比之和,取值大者进行消歧。对高频出现的14个组合型分词歧义进行实验,前者的平均准确率为84.93%,后者的平均准确率为95.60%。实验证明使用语境信息之和对消解组合型分词歧义具有良好效果。

一种自组织的汉语组合型歧义消歧方法

组合型歧义切分字段一直是汉语自动分词的难点。用人工校验后的分词语料提供的搭配实例作为组合歧义字段的初始搭配知识,提出使用搭配统计表的多元最大对数似然比进行消歧;继而根据实验确定了歧义字段的上下文窗口、窗口位置区分、权值估计等要素;在此基础上采用自组织方法自动扩充搭配集,使消歧信息趋于稳定;最后,对提出的方法进行了实验,实验表明,该算法能有效提高消歧准确率。

利用上下文信息解决汉语自动分词中的组合型歧义

组合型歧义切分字段一直是汉语自动分词研究中的一个难点。该文将之视为与WordSenseDisambiguation(WSD)相等价的问题。文章借鉴了WSD研究中广泛使用的向量空间法,选取了20个典型的组合型歧义进行了详尽讨论。提出了根据它们的分布“分而治之”的策略,继而根据实验确定了与特征矩阵相关联的上下文窗口大小、窗口位置区分、权值估计等要素,并且针对数据稀疏问题,利用词的语义代码信息对特征矩阵进行了降维处理,取得了较好的效果。笔者相信,这个模型对组合型歧义切分字段的排歧具有一般性。