基于统计的语言处理模型的局限性

本文通过介绍和评论基于统计的语言处理模型的工作原理和有关的应用实例 ,从语言学理论的角度来说明统计模型的局限性。通过讨论N元语法模型及其在词类标注上的应用 ,展示基于统计的语言处理模型的工作原理及其应用。讨论了语言结构的递归性特点和语言学知识的结构依赖性特点 ,指出递归嵌入会使得统计规律被任意数目的嵌入词语打乱 。

对《科学》和《自然》上两个递归实验的质疑:基于对汉语母语者的测试

递归假说(Hauser,Chomsky&Fitch 2002)认为狭义的语言官能(FLN)只包括计算机制递归并为人类所独有。Fitch&Hauser(2004)对棉顶狨猴的实验支持了递归假说,而Gentner等人(2006)对欧椋鸟的实验否定了该假说。然而,两个实验使用了无意义的人工语音序列(AB)2和A2B2模式作为基线训练刺激材料,存在方法论的缺陷,主要体现为声音语符列内部离散单位的切分无法确定,从而无法划分其语法结构,因此也无从得知非人类的动物是否学会了中心内嵌递归的上下文无关文法。使用汉语中音节序列为(AB)~2和A^2B^2模式的词语对汉语母语者的测试表明,母语者主要是采用了迭代的规则加工这两种模式,而不是中心内嵌递归的上下文无关文法。