如何测试ChatGPT的语义理解与常识推理水平?——兼谈大语言模型时代语言学的挑战与机会

ChatGPT等大语言模型在语义理解和常识推理方面表现优秀,其技术奥秘在于模型开发者在对词语进行向量表示时,遵循分布式语义学原理,采用了“嵌入”这种代数方法。但是,经典的测试语言运用等智能水平的“图灵测试”,难以识别欺骗和回避等作弊手段,因此,计算机科学家设计了“新图灵测试”,其中的威诺格拉德模式挑战与语言学关系密切。这一模式以代词消歧为测试点设计句子对和问题,但是经过大规模语料训练的语言模型可以凭借词汇上的统计相关性,而不是靠真正理解句子的意义来给出正确答案。为克服这一缺陷,学者们又发展出WinoGrande数据集,提高了数据的规模和难度,确保它们无法通过网络搜索等手段来得到正确答案。我们用威诺格拉德模式设计了无偏向双重句子对测试ChatGPT,展示了大语言模型在语义理解和常识推理方面已达到接近人类的水平。当然,从具身模拟假说来看,大语言模型不可能像人一样富有体验性地理解人类自然语言。最后,我们呼吁:语言学家应该积极参与构建WinoGrade测试集之类的工作,在人工智能时代扩展自身的学术研究领域。

唐作藩教授对中国语言科学研究和发展的贡献——为唐作藩先生九十华诞而作

唐作藩教授是中国当代著名的音韵学家、语言学家和语文教育家,从事教学与研究工作六十余年,取得了丰硕的学术成果。文章评述了他在音韵学、汉语史、古代汉语、方言学和词典编纂以及古代汉语教学方面的学术贡献。

汉语让转复句的预期类型与常识发现研究

自然语言有关表达中潜藏了丰富的预期和常识,让转复句“虽然A,但是B”格式是其中的代表。从语言学知识应用于人工智能的角度来看,挖掘语言中的常识有助于构建常识库,支持常识推理。研究过程是通过构建“取反→简化→补全→泛化→联结”的形式化操作流程,提取让转复句中蕴涵的预期信息,证明语用信息也能通过形式化方式提取。根据格式中“A”和“¬B(非B)”是否存在因果关联,让转复句中的预期可分为基于直觉推理的预期、基于经验的预期和基于百科知识的预期三类。根据“A”和“¬B”的语义关联性及推理方式,基于直觉推理的预期可进一步分为属性类推、属性对比、量级类推、属性继承、属性值保持和属性值趋同六类;按照时间和空间两个维度,基于经验的预期可分为基于预测类经验的预期和基于共现类经验的预期两类。其中,基于经验的预期和基于百科知识的预期可以归纳为常识,收集并构建常识库。最后举例介绍了怎样利用本文抽取的小型常识库进行智能问答和溯因推理。

双重否定结构自动识别研究

双重否定结构是一种“通过两次否定表示肯定意义”的特殊结构,直接影响自然语言处理中的语义判断与情感分类。该文以“??P==>P”为标准,对现代汉语中所有的“否定词+否定词”结构进行了遍历研究,将双重否定结构按照格式分为了3大类,25小类,常用双重否定结构或构式132个。结合动词的叙实性、否定焦点、语义否定与语用否定等理论,该文归纳了双重否定结构的三大成立条件,并据此设计实现了基于规则的双重否定结构自动识别程序。程序实验的精确率为98.80%,召回率为98.90%,F1值为98.85%。同时,程序还从96281句语料中获得了8640句精确率约为99.20%的含有双重否定结构的句子,为基于统计的深度学习模型提供了语料支持。

从语言工程看“中心扩展条件”和“并列条件”

沈家煊先生近年来提出汉语词类包含模式,主要立论依据是传统的汉语词类体系中关于名、动、形等的处理方式有一个困境:要么违背语言学理论中的"中心扩展条件"、"并列条件",要么违背理论构建时应该遵循的"简约"原则。如果采用词类包含模式去看待汉语词类,就可以摆脱这个困境。文章从树库语料的分析出发来说明语言事实中确实存在违反"中心扩展条件"和"并列条件"的情况,并将原因归结为言语使用中的"简约"(或"经济")原则使然。换言之,言语交际中的简约,造成语言理论模型的无法简约。

历史音变面面观——《历史语言学:方音比较与层次》评介

1全书概况 近日，细读了侍建国先生的新著《历史语言学：方音比较与层次》，很有收获。下面谈谈我的感想和意见，一方面希望向有同样兴趣的学者推介这本言之有物的学术新著，另一方面也希望以笔谈方式与建国先生交换两人共同感兴趣的学术问题。

《語言自邇集·異讀字音表》的探究與校理——威妥瑪《語言自邇集》異讀字研究之一

一、校理的緣起、經過和意義英國傑出的漢學家、語言學家威妥瑪(Thomas Francis Wade)所著《語言自邇集》(1867年初版)是一部教西洋人學習北京話口語的漢語課本,第一次用自創的威妥瑪拼音方案忠實記録和詳盡描寫了19世紀中期北京話口語的語音、詞彙和語法.

ChatGPT等大型语言模型对语言学理论的挑战与警示

本文首先简介ChatGPT怎样颠覆自然语言处理的工作范式和语言学的有关信条,然后介绍Piantadosi (2023)怎样通过对比现代大型语言模型的工作机理与生成语言学的研究路径,得出以下这个极具批判性和震撼力的结论:现代机器学习已经颠覆并绕过了乔姆斯基方法的整个理论框架。为了便于大家的阅读与理解,本文围绕着下面三个问题来介绍和评述Piantadosi (2023):1)现代语言模型能不能看作是一种语言理论 2)现代语言模型及其工作原理能不能禁得住语言学家的质疑 3)现代语言模型及其表现能不能反驳乔姆斯基的语言学主张?最后,文章指出,面对现代大型语言模型在语言运用上的出色表现,我们应该摒弃鸵鸟法、权威法和先验法,采用正视问题、勇于怀疑、不断试错与验证的科学法。

构式语法理论研究中需要澄清的一些问题

"形式和意义的配对",并非构式的本质特点,这是任何事物都具有的共性。构式必须是一个结构体,语素是最小的音义结合体,其音和义之间只有象征关系,没有内在的结构性的组成关系,所以不能视为构式,把语素也看作构式将会使构式的形式"不同质"。学界还存在着新兴的"构式主义"与传统的"原子主义"之争,本文认为"构式主义"更符合实际的语言生活,并陈述了理由。本文最后指出,构式语法理论引导人们关注构式的整体性,关注语句结构背后的认知机制,这很有理论意义和实用价值,不过鉴于构式理论尚未表现出明显的方法论价值,目前尚不宜对此理论作过高的评价。

语言官能的神经基础及其属性

乔姆斯基继承了笛卡尔的语言天赋观念,但坚持语言和心智的统一。生成学派的语言官能假说曾遭多方学者的质疑,但是批评者没有解释清楚或回避了人的语言能力从何而来的问题。神经生物学的进展表明人脑中存在模块化而又互相连接的语言神经网络,支持了语言官能假说,但这不意味着人的大脑中天生具有"关于规则系统的潜在知识"。

语言特区中创新形式的限度

语言特区中的语言创新,除了句法创新之外,还包括词法、词汇语义、音系和文字等层面的创新。所有的创新形式都具有各自的限度,必须遵守相应的规律。具体来说,句法创新无法突破普遍语法,一定能够在其内部得到解释;词法创新无法突破词法框架,所有词都可于其中获得定位;词汇语义创新无法突破知识本体,必须位于其概念关系架构之中;音系创新无法突破音位组配规则,只能选择规则允许的音节;文字创新无法突破造字法则,均需以有限的几种造字方法为依据。各种规则法则构建出了系统网络,而语言创新只能发生在网络中的空缺位置上,是有规律、有限度、可预测的。

朱德熙先生的汉语词类研究

在朱德熙先生的汉语语法研究中,词类研究是最重要的部分之一,不但在理论探讨上作出了重要贡献,而且在具体问题上也有不少创获。然而,朱德熙先生的词类理论内部也有一些不协调,这主要是由于朱德熙先生没有把自己的原则贯彻到底,只要把这些原则贯彻到底,就会得到更为完善的词类理论和词类体系。

自闭症儿童普通话发音声学研究

本研究通过分析自闭症儿童和典型发展儿童的语音参数,探讨自闭症儿童的发音特点。被试模仿标准播音员发音,内容覆盖了普通话的声母、韵母、声调以及一篇短文。本研究提取并分析了单音节时长、五度调值、元音共振峰,以及句子发音的语速和最大音强标准差参数。研究表明,相较于典型发展儿童自闭症儿童的语音参数个体差异较大,且部分自闭症儿童的各语音声学参数的稳定性不如典型发展儿童。本研究结果可用于自闭症儿童的发音康复训练以及训练效果评估。

《李宇明语言传播与规划论文集》序

我跟宇明相识是在21世纪80年代中,最早是在《汉语学习》刊物上认识他的。收到《汉语学习》1985年第6期,宇明的《说＂VP看＂》一文立刻吸引了我的眼球,因为我于1959年在《中国语文》10月号上发表的处女作《现代汉语中一个新的语助词＂看＂》就是谈这个＂看＂的。看完他的文章,

简评“了1”的语义研究

本文述评了普通话词尾"了1"的一部分代表性研究,并提出几项新见解。助词性"了1"的语义研究可分为单一意义派、特征分解派、功能划分派,我们认为该词编码了动态变化义和相对已然义。对于补语性"了1",我们主张它的语法化程度介于补语和助词之间,这加剧了普通话句法结构的复杂度。

从百科知识到语言知识——认知的语言关联及其相对性

本文以语言规则的提取为例来说明百科知识变为语言知识的关联条件及其相对性。随着研究的深入,昨天放在词库中的片段,今天或许就可以用规则处理。"布鞋、棉鞋、草鞋、皮鞋、铜鞋、银鞋、……"这些组合都不需要放入词库。在很多貌似没有规则的背后,只要我们启用足够的百科知识,找出语言关联的平行周遍条件,规则就是存在的。在英语中的百科知识,在汉语中如果存在语言关联,就是语言知识。这就是语言关联的相对性。昨天的百科知识,如果找出了规则,就成为今天的语言知识,这也是语言关联的相对性。语言关联的本质是要区分平行周遍条件和平行不周遍条件。

唐诗一字平上两读而义同以及义别义同兼备问题研究

本文对唐诗中具有平上义同以及平上义别又义同兼备的两类字群的音义关系和用法作了论析,认为:1.平上义同的字有22个,原来在上古只有一读(10字平声,12字上声),表示本义和引申义,后来在字义未变的情况下又取得了二读(10字上声,12字平声),于是形成了平上两读而义同的音义关系。2.另一类字群(10字)原来在上古也只有一读(平声8字,上声2字)表示本义和引申义,后来有一部分引申义和假借义取得了二读(上声或平声),于是形成了平上两读而义别又义同的音义关系。3.这两类字群的用法发端于中古前期,唐代得以继承和发展,主要是为了适应律诗平仄用字的需要。4.诸字音读到现代变化较大,一是诸字同义两读变为一读(平或上),二是部分字音由上变去或由上变平,于是唐代这两类字群的音义关系不复存在,但是阅读唐诗仍需依据诸字当时的音义关系,才不致误释音义,错定平仄,谬解诗律。

符号的任意性:认知相对性的语言基础

语言符号的任意性问题一直存在诸多争议,尤其受到来自认知语言学象似性等语言现象的挑战。文章从语言系统的可行性方面论述了任意性的必要性,具体而言,能指和所指的匹配关系具有任意性,语言符号编码过程中能指范畴化具有相对任意性,所指范畴化也有相对任意性。能指范畴化的相对性和所指范畴化的相对任意性是语言相对性的基石,由于语言相对性和认知相对性有关系,任意性原则也是认知相对性的必要基石。

高诱《淮南子注》中的动结式研究

该研究利用判断动结式的三条综合标准,以东汉高诱《淮南子注》为研究对象,结合东汉时期的其他文献,如《汉书》《论衡》《太平经》等,针对其中部分V1V2式进行了研究,发现其中有的V2满足三条标准,且V1都是及物动词,由它们构成的26例V1V2式可以视为动结式。此外,还有15例V1V2式可以视为动趋式,它们属于广义的动结式。

严式词源统计法与共享创新法——语言(方言)谱系分类的方法分析

共享创新法和词源统计法是亲属语言(方言)谱系分类中最常用的两种方法。基于对语言接触的调查研究,核心词比语音、语法特征更为稳定,不易在语言或方言间扩散。因此,基于严格语音对应的100核心同源词比例的严式词源统计法更适合亲属语言(方言)的谱系分类。核心同源词的确定依赖于语言(方言)间严格的语音对应以及在此基础上得到的核心一致对应词集。共享创新法如果能够排除借用和语言类型上的平行变化,仍然是谱系分类的一种重要方法。