基于汉语孤岛现象的大语言模型语言能力评估

基于概率来预测下一词的生成式大语言模型因其在语言生成方面的出色性能,使得不少人认为这种模型本质上就是人类语言官能的模型。然而,基于语法规则研究语言的学者则认为,大语言模型并不能洞察人类语言官能的本质。研究以汉语孤岛效应为切入点,评估了以GPT-2和Gemma 2为代表的大语言模型对这一语言现象的理解能力。我们设计了两组实验。实验一通过量化孤岛效应的影响因子,测试了汉语母语者对孤岛效应的认知。结果表明,母语者能够清晰地察觉出汉语中的孤岛效应,准确判别出汉语不合语法的句式。实验二通过计算最小对比对中违反孤岛和遵守孤岛句子的概率,测试了以上两种模型对孤岛效应的反应。结果表明,GPT-2和Gemma 2虽然可以甄别出两类句子在概率分布上存在差异;但其并不理解概率分布较低,即违反孤岛限制的句子,实际上是母语者根本不会产出的句子。对比以上两组实验,我们认为尽管大语言模型在语言生成方面表现出色,但在理解和判断特定语言现象方面仍然存在局限性,尚未达到人类语言能力水平。