如何测试ChatGPT的语义理解与常识推理水平?——兼谈大语言模型时代语言学的挑战与机会

ChatGPT等大语言模型在语义理解和常识推理方面表现优秀,其技术奥秘在于模型开发者在对词语进行向量表示时,遵循分布式语义学原理,采用了“嵌入”这种代数方法。但是,经典的测试语言运用等智能水平的“图灵测试”,难以识别欺骗和回避等作弊手段,因此,计算机科学家设计了“新图灵测试”,其中的威诺格拉德模式挑战与语言学关系密切。这一模式以代词消歧为测试点设计句子对和问题,但是经过大规模语料训练的语言模型可以凭借词汇上的统计相关性,而不是靠真正理解句子的意义来给出正确答案。为克服这一缺陷,学者们又发展出WinoGrande数据集,提高了数据的规模和难度,确保它们无法通过网络搜索等手段来得到正确答案。我们用威诺格拉德模式设计了无偏向双重句子对测试ChatGPT,展示了大语言模型在语义理解和常识推理方面已达到接近人类的水平。当然,从具身模拟假说来看,大语言模型不可能像人一样富有体验性地理解人类自然语言。最后,我们呼吁:语言学家应该积极参与构建WinoGrade测试集之类的工作,在人工智能时代扩展自身的学术研究领域。

语义理解与常识推理的机器表现和人类基线之比较——怎样评估ChatGPT等大型语言模型的语言运用能力?

本文讨论怎样通过跟人类基线的比较,来合理地评估ChatGPT等现代大型语言模型的语言运用能力。首先,用代词指称歧义和否定辖域问题测试ChatGPT,展示语言大模型在语义理解和常识推理方面的优秀表现;接着简介维诺格拉德模式挑战及其升级版本WinoGrande数据集,还介绍了我们对于这种类型的测试题和机器表现的评估方式的改进方案(把仅触发词不同的“句对”扩展为锚定词也不同的“句偶”,把机器表现跟人类被试的表现进行比较);然后介绍我们怎样用“句对”和“句偶”测试ChatGPT和人类被试,并且把人类和机器的表现进行对比,从而得出语言大模型的语言运用能力接近人类的结论。

汉语让转复句的预期类型与常识发现研究

自然语言有关表达中潜藏了丰富的预期和常识,让转复句“虽然A,但是B”格式是其中的代表。从语言学知识应用于人工智能的角度来看,挖掘语言中的常识有助于构建常识库,支持常识推理。研究过程是通过构建“取反→简化→补全→泛化→联结”的形式化操作流程,提取让转复句中蕴涵的预期信息,证明语用信息也能通过形式化方式提取。根据格式中“A”和“¬B(非B)”是否存在因果关联,让转复句中的预期可分为基于直觉推理的预期、基于经验的预期和基于百科知识的预期三类。根据“A”和“¬B”的语义关联性及推理方式,基于直觉推理的预期可进一步分为属性类推、属性对比、量级类推、属性继承、属性值保持和属性值趋同六类;按照时间和空间两个维度,基于经验的预期可分为基于预测类经验的预期和基于共现类经验的预期两类。其中,基于经验的预期和基于百科知识的预期可以归纳为常识,收集并构建常识库。最后举例介绍了怎样利用本文抽取的小型常识库进行智能问答和溯因推理。

双重否定结构自动识别研究

双重否定结构是一种“通过两次否定表示肯定意义”的特殊结构,直接影响自然语言处理中的语义判断与情感分类。该文以“??P==>P”为标准,对现代汉语中所有的“否定词+否定词”结构进行了遍历研究,将双重否定结构按照格式分为了3大类,25小类,常用双重否定结构或构式132个。结合动词的叙实性、否定焦点、语义否定与语用否定等理论,该文归纳了双重否定结构的三大成立条件,并据此设计实现了基于规则的双重否定结构自动识别程序。程序实验的精确率为98.80%,召回率为98.90%,F1值为98.85%。同时,程序还从96281句语料中获得了8640句精确率约为99.20%的含有双重否定结构的句子,为基于统计的深度学习模型提供了语料支持。

基于生成词库论和论元结构理论的语义知识体系研究

该文讨论如何构造合适的汉语语义描写体系并建设相应的语义知识库,从而为文本语义的计算机自动分析提供可靠的资源。文章提出的技术路线是:在生成词库论和论元结构理论的指导下,分别描写名词的物性结构和动词、形容词的论元结构(包括物性角色或论元角色集合及其句法配置格式集合),标定名词、动词和形容词的情感评价色彩,揭示相关名词、动词和形容词的物性角色和论元角色之间的关联和推导关系,从而形成比较完整的关于名词、动词和形容词的实体指称、概念关系和情感评价等多层面的语义知识。最后,还展示了这种多层面的语义知识在语义自动计算中的运用案例。

“语义网—本体知识—知识图谱”和语言研究

本文根据相关文献介绍语义网和本体知识及知识图谱的背景知识,说明语言学知识可以在网络文本的信息处理中发挥作用,从而展示语言学研究可能的应用领域。文章先简介网络的发展历史:从本地的局部网络到异地的更大网络,再到遍及全球的互联网,以及互联网之间的通信协议和数据交换标准。然后介绍语义网的基本的体系结构和功能、资源前提及其可能的应用。接着介绍跟语义网相关的几个关键术语和概念,特别是本体知识和词汇本体知识;再介绍语义网的思想在维基百科中的运用,说明词条分类和归类的复杂性。最后介绍知识图谱及其在人工智能系统中的运用。

为什么要给语言建造一座宫殿?——从符号系统的转喻本质看语言学的过度附魅

本文受当代人本主义哲学关于“哲学家建造一座理念的宫殿,却住在茅屋里”等论断的启发,提出问题:“我们在茅屋里说话,为什么要为语言建造一座宫殿?”文章认为,现代语言学竭力堆砌理论、大肆为语言修筑宫殿的附魅行为,主要归咎于它坚信两个教条:意义的组合性原理和句法-语义同态原理。诸如空语类或轻动词、语壳结构或DP结构等假设概念和相应的理论方案,莫不是为了更好地体现这两个原理。但是,参照人类手势语的形式(结构)与意义(功能)之间的关系及其转喻机制,可以发现人类语言本质上是一种转喻性的符号系统,其形式与意义之间未必具有完全的对应关系和可归约性。因此,不需要为它假设这么多的空语类或轻动词等隐变量,以及语壳结构或DP结构等看不见的句法结构。总之,本文旨在为语言祛魅,希望语言学研究能够让语言呈现出其本来的朴素面貌。

人工智能大飞跃背景下的语言学理论思考

当今以深度学习为核心的人工智能催生了科学研究的第五范式,本文呼吁,语言学研究也要拥抱数据/计算密集型的第四/五范式,并通过介绍和评论人工智能研究与技术开发过程中,有关专家对于跟语言学有关的问题的见解,来支持上述倡议。本文主张或赞成的主要观点为:(1)语言的主要功用是交际,思考往往是内心的对话与问答。(2)语言和思维并不完全等同,基于语言运用的智能水平的图灵测试并不完全有效。(3)语法这种智能并不是人类独有的,语法的原理还适用于语言之外的躯体、物品及其图像等组合性系统。(4)现有能力超强的大规模语言模型不能用作人与机器人交谈的技术界面,有效的语言运用必须是一种具身智能,包括具身认知的词语接地和环境可供性等内容;相应地,必须考虑不同类型的具身性图灵测试。(5)ChatGPT的成功说明了大模型、大数据和强算力能够捕获语言的统计规律和运用模式,语言学要采用数据/计算密集型的第四/五范式来探索语言的统计结构。

基于规则的汉语名名组合的自动释义研究

该文以现代汉语(特别是网络搜索词)中的名名组合为主要研究对象,探索一种基于规则的汉语名名组合的自动释义方法。其研究步骤为:(1)利用《现代汉语语义词典》中名词的语义类别,来建立名名组合的语义类组合模式;(2)在"生成词库论"中物性角色思想的指导下,用名名组合中某个名词的施成角色或功能角色作为释义动词,来揭示这两个名词之间的语义关系;(3)以语义类组合模式为单位构建名名组合的释义模板,并汇集成名名搭配数据库;(4)利用《知网》资源,来获取具体名词的施成角色和功能角色,建立汉语名词知识库。在这两个数据库的基础上,我们初步实现了一个汉语名名组合的自动释义程序。

中国大学生反事实思维及其表达的乐观主义倾向

本文首先介绍反事实思维及其表达(反事实条件句)的有关研究和争论,然后对从大学生的半结构化访谈中整理出的114个反事实条件句,从产出方式(引导与否)、前提性质(加法、减法、替换)、结论性质(上行、下行、持正)和归因偏向(外部、内部)4个维度进行考察,探讨了前提与结论、归因与前提等不同维度之间的关系。文章发现:在自然话语中,学生们主动进行反事实假设的情况较少,也比较困难;并且,在反事实推理的表达中,常常伴有表达低可能性的词语,来谨慎地表达自己对因果关系的不确定性。通过对前提性质与结论性质之相关性的考察,发现大学生反事实思维与表达的乐观主义倾向;通过归因偏向与前提性质之相关性的考察,发现学生们更容易对不作为(没有做某事)进行反事实思维。最后,文章从认识论和方法论角度,对反事实思维及其表达的效用和局限进行了讨论。

名词词义描写和研究需要什么样的语义学知识?

该文主要讨论名词的词义描写和研究问题。首先通过对几种主要的词汇语义学理论(包括结构主义语义学、生成主义语义学、概念语义学和自然语义元语言理论)进行介绍和评述,指出它们在对名词进行语义刻画方面存在缺陷和不足;然后,重点引入生成词库理论的物性结构的描写方式,阐明它与前几种理论的区别及其自身的特点;最后,在生成词库理论的基础上,展示物性结构知识在有关名词分析中的四个研究案例(词语缺省、隐喻义生成、供用句、中动句)和在自然语言处理中的可能应用。

语言官能的神经基础及其属性

乔姆斯基继承了笛卡尔的语言天赋观念,但坚持语言和心智的统一。生成学派的语言官能假说曾遭多方学者的质疑,但是批评者没有解释清楚或回避了人的语言能力从何而来的问题。神经生物学的进展表明人脑中存在模块化而又互相连接的语言神经网络,支持了语言官能假说,但这不意味着人的大脑中天生具有"关于规则系统的潜在知识"。

怎样利用语言知识资源进行语义理解和常识推理

该文讨论怎样利用语言知识资源来帮助机器进行语义理解和常识推理。首先,指出人类生活在常识和意义世界中,人工智能机器人必须理解自然语言的意义,能够在此基础上进行常识推理。接着,简单梳理了基于知识和基于统计两种自然语言处理路线各自的优长和短缺。然后,说明完全绕开知识的统计方法和深度学习,都不能真正理解概念和语言。该文通过具体案例说明,《实词信息词典》已经配备了有关词项的语义角色关系及其句法配置信息;把这种语言知识加入知识图谱和内容计算中,可以为人工智能提供理解和解释从而造就一种可解释的人工智能。由于"物性角色"描述了名词所指事物的百科知识,可用以回答相关事物是什么(形式角色)、有哪些部件(构成角色)、用什么做的(材料)、怎么形成的(施成)、有什么用途(功用)等常识性问题。

朱德熙先生的汉语词类研究

在朱德熙先生的汉语语法研究中,词类研究是最重要的部分之一,不但在理论探讨上作出了重要贡献,而且在具体问题上也有不少创获。然而,朱德熙先生的词类理论内部也有一些不协调,这主要是由于朱德熙先生没有把自己的原则贯彻到底,只要把这些原则贯彻到底,就会得到更为完善的词类理论和词类体系。

历史音变面面观——《历史语言学:方音比较与层次》评介

1全书概况 近日，细读了侍建国先生的新著《历史语言学：方音比较与层次》，很有收获。下面谈谈我的感想和意见，一方面希望向有同样兴趣的学者推介这本言之有物的学术新著，另一方面也希望以笔谈方式与建国先生交换两人共同感兴趣的学术问题。

从语言的“多声性”看“假装”句的解读歧异

新闻标题“王思聪假装在奋斗”能否推出“王思聪在奋斗”?12位接受调查的研究者对这个句子的语义解释及动词“假装”的叙实性有3种不同的意见:(1)“王思聪在奋斗”为真,即“假装”为叙实动词;(2)“王思聪在奋斗”为假,即“假装”为反叙实动词;(3)“王思聪在奋斗”真假不定,即“假装”兼属叙实动词与反叙实动词。文章引入巴赫金的“多声性”概念,并用话语评价理论介入子系统中的“借言”及其类型作为理论框架,分析了上述标题的新闻文本的正文;特别是离析出“指导性声音”及其所引用的“支持性声音”和“反对性声音”,说明话语中相关的多种声音之间的对话和辩论。接着,从语言的“多声性”及其辩论性(对话性)、未完成性(开放性)的角度,剖析上述标题句子包含的多种声音及其辩论关系和对话的未完成性,以此说明“假装”句语义解读的歧异性和开放性的根源在于,“假装”句恰好处于不同声音和不同意识相互交往的连接点上,所以并不一定揭露真相或昭示真理(或判定真假),由此进一步讨论“假装”的概念结及其语用上的多域性。

词汇本体知识及其在信息检索中的应用

本文介绍信息检索、语义搜索、本体知识、词汇本体知识等基本概念及其相互之间的关系,特别是Ontology这个概念的内涵从哲学本体论到信息技术的本体知识的演进、本体知识的构造与类别、跟汉语相关的词汇本体知识库的建设、本体知识特别是词汇本体知识对于信息检索和语义搜索的作用。希望向自然语言处理及其应用研究的学者展示词汇本体知识的特殊的资源价值;同时,也为语言学研究人员提供一些通向当代语言信息处理技术的路径,为汉语词汇学的研究注入面向工程应用的活力。

从比较选择到建议：兼论成分隐含在语义演变中的作用

"不如"在上古汉语中从表示比较的动词发展为表示选择的动词,并进一步发展为表示建议的副词。近代汉语中的"还是"、上古汉语中的"其"以及山东方言中的"胜"等也是从比较、选择发展为表示建议的。可见,从比较、选择到建议,是汉语中的一条语义演变路径。这类语义演变背后的一个机制是:构式中部分成分因语境明确而隐含,从而造成另外的部分突显,因此带来了构式意义的变化。

词典释义中虚词的语义功能与语用条件辨析——以语气副词的释义为例

《现代汉语词典》在对一些虚词的释义中,有时讲的实际上是虚词的语用条件,而不是虚词真正的语义功能。这样的释义是不够妥当的。文章以一些语气副词的释义为例,指出当前词典释义中存在的问题,并认为更好的释义方式是首先讲清虚词的语义功能,如果有需要,再指明其语用条件。

唐诗一字平上两读而义同以及义别义同兼备问题研究

本文对唐诗中具有平上义同以及平上义别又义同兼备的两类字群的音义关系和用法作了论析,认为:1.平上义同的字有22个,原来在上古只有一读(10字平声,12字上声),表示本义和引申义,后来在字义未变的情况下又取得了二读(10字上声,12字平声),于是形成了平上两读而义同的音义关系。2.另一类字群(10字)原来在上古也只有一读(平声8字,上声2字)表示本义和引申义,后来有一部分引申义和假借义取得了二读(上声或平声),于是形成了平上两读而义别又义同的音义关系。3.这两类字群的用法发端于中古前期,唐代得以继承和发展,主要是为了适应律诗平仄用字的需要。4.诸字音读到现代变化较大,一是诸字同义两读变为一读(平或上),二是部分字音由上变去或由上变平,于是唐代这两类字群的音义关系不复存在,但是阅读唐诗仍需依据诸字当时的音义关系,才不致误释音义,错定平仄,谬解诗律。