如何测试ChatGPT的语义理解与常识推理水平?——兼谈大语言模型时代语言学的挑战与机会

ChatGPT等大语言模型在语义理解和常识推理方面表现优秀,其技术奥秘在于模型开发者在对词语进行向量表示时,遵循分布式语义学原理,采用了“嵌入”这种代数方法。但是,经典的测试语言运用等智能水平的“图灵测试”,难以识别欺骗和回避等作弊手段,因此,计算机科学家设计了“新图灵测试”,其中的威诺格拉德模式挑战与语言学关系密切。这一模式以代词消歧为测试点设计句子对和问题,但是经过大规模语料训练的语言模型可以凭借词汇上的统计相关性,而不是靠真正理解句子的意义来给出正确答案。为克服这一缺陷,学者们又发展出WinoGrande数据集,提高了数据的规模和难度,确保它们无法通过网络搜索等手段来得到正确答案。我们用威诺格拉德模式设计了无偏向双重句子对测试ChatGPT,展示了大语言模型在语义理解和常识推理方面已达到接近人类的水平。当然,从具身模拟假说来看,大语言模型不可能像人一样富有体验性地理解人类自然语言。最后,我们呼吁:语言学家应该积极参与构建WinoGrade测试集之类的工作,在人工智能时代扩展自身的学术研究领域。

为什么要给语言建造一座宫殿?——从符号系统的转喻本质看语言学的过度附魅

本文受当代人本主义哲学关于“哲学家建造一座理念的宫殿,却住在茅屋里”等论断的启发,提出问题:“我们在茅屋里说话,为什么要为语言建造一座宫殿?”文章认为,现代语言学竭力堆砌理论、大肆为语言修筑宫殿的附魅行为,主要归咎于它坚信两个教条:意义的组合性原理和句法-语义同态原理。诸如空语类或轻动词、语壳结构或DP结构等假设概念和相应的理论方案,莫不是为了更好地体现这两个原理。但是,参照人类手势语的形式(结构)与意义(功能)之间的关系及其转喻机制,可以发现人类语言本质上是一种转喻性的符号系统,其形式与意义之间未必具有完全的对应关系和可归约性。因此,不需要为它假设这么多的空语类或轻动词等隐变量,以及语壳结构或DP结构等看不见的句法结构。总之,本文旨在为语言祛魅,希望语言学研究能够让语言呈现出其本来的朴素面貌。

人工智能大飞跃背景下的语言学理论思考

当今以深度学习为核心的人工智能催生了科学研究的第五范式,本文呼吁,语言学研究也要拥抱数据/计算密集型的第四/五范式,并通过介绍和评论人工智能研究与技术开发过程中,有关专家对于跟语言学有关的问题的见解,来支持上述倡议。本文主张或赞成的主要观点为:(1)语言的主要功用是交际,思考往往是内心的对话与问答。(2)语言和思维并不完全等同,基于语言运用的智能水平的图灵测试并不完全有效。(3)语法这种智能并不是人类独有的,语法的原理还适用于语言之外的躯体、物品及其图像等组合性系统。(4)现有能力超强的大规模语言模型不能用作人与机器人交谈的技术界面,有效的语言运用必须是一种具身智能,包括具身认知的词语接地和环境可供性等内容;相应地,必须考虑不同类型的具身性图灵测试。(5)ChatGPT的成功说明了大模型、大数据和强算力能够捕获语言的统计规律和运用模式,语言学要采用数据/计算密集型的第四/五范式来探索语言的统计结构。

双重否定结构自动识别研究

双重否定结构是一种“通过两次否定表示肯定意义”的特殊结构,直接影响自然语言处理中的语义判断与情感分类。该文以“??P==>P”为标准,对现代汉语中所有的“否定词+否定词”结构进行了遍历研究,将双重否定结构按照格式分为了3大类,25小类,常用双重否定结构或构式132个。结合动词的叙实性、否定焦点、语义否定与语用否定等理论,该文归纳了双重否定结构的三大成立条件,并据此设计实现了基于规则的双重否定结构自动识别程序。程序实验的精确率为98.80%,召回率为98.90%,F1值为98.85%。同时,程序还从96281句语料中获得了8640句精确率约为99.20%的含有双重否定结构的句子,为基于统计的深度学习模型提供了语料支持。

中国大学生反事实思维及其表达的乐观主义倾向

本文首先介绍反事实思维及其表达(反事实条件句)的有关研究和争论,然后对从大学生的半结构化访谈中整理出的114个反事实条件句,从产出方式(引导与否)、前提性质(加法、减法、替换)、结论性质(上行、下行、持正)和归因偏向(外部、内部)4个维度进行考察,探讨了前提与结论、归因与前提等不同维度之间的关系。文章发现:在自然话语中,学生们主动进行反事实假设的情况较少,也比较困难;并且,在反事实推理的表达中,常常伴有表达低可能性的词语,来谨慎地表达自己对因果关系的不确定性。通过对前提性质与结论性质之相关性的考察,发现大学生反事实思维与表达的乐观主义倾向;通过归因偏向与前提性质之相关性的考察,发现学生们更容易对不作为(没有做某事)进行反事实思维。最后,文章从认识论和方法论角度,对反事实思维及其表达的效用和局限进行了讨论。

“语义网—本体知识—知识图谱”和语言研究

本文根据相关文献介绍语义网和本体知识及知识图谱的背景知识,说明语言学知识可以在网络文本的信息处理中发挥作用,从而展示语言学研究可能的应用领域。文章先简介网络的发展历史:从本地的局部网络到异地的更大网络,再到遍及全球的互联网,以及互联网之间的通信协议和数据交换标准。然后介绍语义网的基本的体系结构和功能、资源前提及其可能的应用。接着介绍跟语义网相关的几个关键术语和概念,特别是本体知识和词汇本体知识;再介绍语义网的思想在维基百科中的运用,说明词条分类和归类的复杂性。最后介绍知识图谱及其在人工智能系统中的运用。

历史音变面面观——《历史语言学:方音比较与层次》评介

1全书概况 近日，细读了侍建国先生的新著《历史语言学：方音比较与层次》，很有收获。下面谈谈我的感想和意见，一方面希望向有同样兴趣的学者推介这本言之有物的学术新著，另一方面也希望以笔谈方式与建国先生交换两人共同感兴趣的学术问题。

ChatGPT等大型语言模型对语言学理论的挑战与警示

本文首先简介ChatGPT怎样颠覆自然语言处理的工作范式和语言学的有关信条,然后介绍Piantadosi (2023)怎样通过对比现代大型语言模型的工作机理与生成语言学的研究路径,得出以下这个极具批判性和震撼力的结论:现代机器学习已经颠覆并绕过了乔姆斯基方法的整个理论框架。为了便于大家的阅读与理解,本文围绕着下面三个问题来介绍和评述Piantadosi (2023):1)现代语言模型能不能看作是一种语言理论 2)现代语言模型及其工作原理能不能禁得住语言学家的质疑 3)现代语言模型及其表现能不能反驳乔姆斯基的语言学主张?最后,文章指出,面对现代大型语言模型在语言运用上的出色表现,我们应该摒弃鸵鸟法、权威法和先验法,采用正视问题、勇于怀疑、不断试错与验证的科学法。

语言官能的神经基础及其属性

乔姆斯基继承了笛卡尔的语言天赋观念,但坚持语言和心智的统一。生成学派的语言官能假说曾遭多方学者的质疑,但是批评者没有解释清楚或回避了人的语言能力从何而来的问题。神经生物学的进展表明人脑中存在模块化而又互相连接的语言神经网络,支持了语言官能假说,但这不意味着人的大脑中天生具有"关于规则系统的潜在知识"。

朱德熙先生的汉语词类研究

在朱德熙先生的汉语语法研究中,词类研究是最重要的部分之一,不但在理论探讨上作出了重要贡献,而且在具体问题上也有不少创获。然而,朱德熙先生的词类理论内部也有一些不协调,这主要是由于朱德熙先生没有把自己的原则贯彻到底,只要把这些原则贯彻到底,就会得到更为完善的词类理论和词类体系。

从语言的“多声性”看“假装”句的解读歧异

新闻标题“王思聪假装在奋斗”能否推出“王思聪在奋斗”?12位接受调查的研究者对这个句子的语义解释及动词“假装”的叙实性有3种不同的意见:(1)“王思聪在奋斗”为真,即“假装”为叙实动词;(2)“王思聪在奋斗”为假,即“假装”为反叙实动词;(3)“王思聪在奋斗”真假不定,即“假装”兼属叙实动词与反叙实动词。文章引入巴赫金的“多声性”概念,并用话语评价理论介入子系统中的“借言”及其类型作为理论框架,分析了上述标题的新闻文本的正文;特别是离析出“指导性声音”及其所引用的“支持性声音”和“反对性声音”,说明话语中相关的多种声音之间的对话和辩论。接着,从语言的“多声性”及其辩论性(对话性)、未完成性(开放性)的角度,剖析上述标题句子包含的多种声音及其辩论关系和对话的未完成性,以此说明“假装”句语义解读的歧异性和开放性的根源在于,“假装”句恰好处于不同声音和不同意识相互交往的连接点上,所以并不一定揭露真相或昭示真理(或判定真假),由此进一步讨论“假装”的概念结及其语用上的多域性。

从语言表达看疫情下人们的因果认知与反思归因

本文以Pearl&Mackenzie(2018)提出的“因果关系之梯”为框架,考察和分析新冠疫情下,人们对各种疫情防控政策、措施及其效果的因果认知与反思归因。特别是通过相关的语言表达,来提取和分析人们对疫情及干预措施的种种观察与认识,揭示人们怎样洞察干预行为与防控效果之间的因果关系并做出推论;特别是从反事实表达(比如,“假如我们当时[不]采取社交隔离措施,其结果会怎样”等)上,来窥测不同地区的人们对于疫情防控措施及其效果的因果认知与反思归因、责任追究意识与道德风险考量。

在人类生境约束下思考语言的设计原理和运作机制

文章述评了霍凯特提出的人类语言的13种设计特征,并重点讨论其中的语言符号离散性和二元构型特征。从自然语言处理的角度看,离散性使语言符号的形式与意义之间存在着语义鸿沟,需要把自然语言的词向量化为连续性数值才可以进行计算,这种运算的结果可以从语言学上进行解释。由于语言系统和生物系统在二元构型上存在相似性,可以将自然语言处理的一些模型运用于生物分子研究领域。根据托马塞洛关于人类沟通的起源和合作性心理平台的学说,任何诉诸语言本身有某种繁复而自足的深层结构的幻想都是不切实际的,语言学家应该把语言置于人类生境(即人类进化与生存的现实境况)下,来思考语言的设计原理和运作机制,从而对语言的结构方式和功能效用有更加切实的了解,进而开辟一种更具人文主义情怀的语言学研究进路。

“真(的)”的主句现象及其内嵌条件研究

本文通过语料调查,发现副词"真(的)"存在主句现象:一般情况下只能出现于主句中,而不能用于关系从句、宾语小句等内嵌环境中。但在语用和会话等特定因素的影响下,"真(的)"会出现主句现象内嵌,即"真(的)"能出现在内嵌结构和从属环境中。我们考察了10类不允许"真(的)"主句现象内嵌的动词,5类允许"真(的)"主句现象内嵌的动词,并说明原因。通过从语义预设和语用预设等角度分析,我们发现"真(的)"的主句现象及内嵌句法位置的不同与语义诠释密切相关:出现在主句动词之前,表示肯定主要动词代表的行为动作,以回应对方的质疑;内嵌于宾语从句时,表示确定某人有做某事的能力,或确定某人确实做了某事;修饰动词词组时,是对其代表的动作行为的确定,表示某人做某事是真的不是假装的。本文通过语境和省略测试,发现"真(的)"与动词共现时的一般规律。

现代汉语VVOON型合成复合词的句法语义特点研究

文章对现代汉语“提出问题者”一类VVOON型合成复合词的句法语义特点进行研究,通过详细的实例论证说明了此类复合词的两大特点:第一,OO可以由限定词短语DP充当;第二,VV论元结构中的主体论元可以以显性或隐性的形式出现。这两个特点都说明了VVOON型复合词具有“短语入词”的特性。更重要的是,对VVOON型复合词形成机制的分析结论可以帮助我们进一步讨论OOVVN型复合词的成因及其句法语义特点。

现代汉语“给VP”结构的及物性分析

现代汉语"给VP"结构的一系列句法、语义和语用限制应归结于信息结构的要求。本文采用功能类型学中的"及物性"理论讨论"给VP"的句法、篇章允准机制,揭示"给VP"结构依赖于特定句式和特定VP类型的原因。"给VP"在句法配置上呈现双论元结构,受事表现出"完全受影响"的倾向;主要动词VP要求完成体,具有"动作—结果"义;在语气方面排斥否定性的句法环境等。上述特征均满足"高及物性"句式的判断条件。将"给VP"结构认定为高及物性句式,还可以解释该结构在句式上的限制条件。最后,"给VP"在语篇中大部分用于编码前景信息。"给VP"结构的语义特点和语篇分布情况都表明"给VP"结构是一个高及物性句式。

作为方法论策略的零形式和零成分

本文在袁毓林(2010)的基础上,从语言研究的方法论策略的角度,检讨生成语法在零成分和空语类方面的处理办法;指出只要在理论内部必要并有句法语义上的动因或者效应,就可以尝试性地设立空语类;并且,让所假设的空语类在评价程序下接受检验。还着重讨论了在汉语语法分析中能不能确立零形式和零成分,指出描写汉语语法暂时没有必要建立零形式和零成分。

汉语——藏缅语同源的两个词汇有阶分布证据

文章考察了汉——藏对应和汉——彝对应的核心词汇有阶分布,确定高阶词汇比例大于低阶词汇比例,从而进一步说明汉语和藏语同源以及汉语和彝语同源。也就是说,汉语和藏缅语的同源关系可以得到进一步的确认。

从动作的重复和持续到程度的增量和强调

本文考察表达动作的重复或持续意义的成分在语义变化中的主观化现象。主要考察两类成分,一类是副词"更""还""再""又",另一类是汉语普通话和方言中的持续体标记"着""在"等。研究发现,从动作的重复和持续可以发展为表示性质或状态的程度的增量,还可以发展为对命题的强调,并可能进一步发展出惊讶、质疑、否定等语气。在这一过程中,主观性的程度逐步加深。通过对比发现,表达持续义的成分比表达重复义的成分在主观化的道路上走得更远,这可能是因为持续比重复的语义强度更高。

词汇本体知识及其在信息检索中的应用

本文介绍信息检索、语义搜索、本体知识、词汇本体知识等基本概念及其相互之间的关系,特别是Ontology这个概念的内涵从哲学本体论到信息技术的本体知识的演进、本体知识的构造与类别、跟汉语相关的词汇本体知识库的建设、本体知识特别是词汇本体知识对于信息检索和语义搜索的作用。希望向自然语言处理及其应用研究的学者展示词汇本体知识的特殊的资源价值;同时,也为语言学研究人员提供一些通向当代语言信息处理技术的路径,为汉语词汇学的研究注入面向工程应用的活力。