大规模语料库 现代汉语分词的有效工具——《大规模现代汉语分词语料库构建及应用》荐读

由南京农业大学黄水清和王东波教授编写、南京大学出版社出版的《大规模现代汉语分词语料库构建及应用》一书正式问世了!该书以“新时代人民日报分词语料库”(New Era People’s Daily Segmented Corpus,以下简称NEPD)为研究对象。NEPD收录了2015年1—6月、2016年1月、2017年1月、2018年1月、2022年1月共10个月《人民日报》上刊发的全部文章,构建了迄今规模最大的精加工现代汉语通用分词语料库,超过3000万字符量,向全世界学术界开放供免费获取。

基于语料库对现代汉语“刷”字的义项分布研究

本文将现代汉语中“刷”字的义项分布情况作为研究对象,采用语料库的方法对“刷”字的义项分布进行定性分析和定量分析,对现代汉语中“刷”字的义项分布进行了重新概括描写,提议在《现代汉语词典》等中文类词典对“刷”字现有释义的基础上增收“依靠、凭借”、“大量使用、花费”两个新的义项。

北京大学现代汉语语料库基本加工规范

北京大学计算语言学研究所已经完成了一个有2700万汉字的现代汉语语料库的基本加工。加工项目除词语切分和词性标注外,还包括专有名词（人名、地名、团体机构名称等）标注、语素子类标注以及动词、形容词的特殊用法标注。这项大规模语言工程的顺利完成得益于事先制订并不断完善的规范。发表《北京大学现代汉语语料库基本加工规范》是为了抛砖引玉,更广泛地向专家、同行征询意见,以便进一步修订。

大规模现代汉语标注语料库的加工规范

北京大学计算语言学研究所在开发了《现代汉语语法信息词典》等语言资源的基础上 ,又在实施另一项大型语言工程 ,即对大规模的现代汉语原始语料进行多级加工 ,目前的加工项目包括词语切分、词性标注 (包括动词和形容词的特殊用法 ) ,并标出专有名词以及短语型的地名、机构名称等等。规划中的语料库规模约为 2 70 0万字。现在已经完成了 1 40 0万字的任务 ,而且质量很高。要建成高质量的标注语料库 ,必须制订出完备的加工规范。本文介绍制订加工规范的原则和执行加工规范的经验。

北京大学现代汉语语料库基本加工规范(续)

北京大学计算语言学研究所已经完成了一个有 2 70 0万汉字的现代汉语语料库的基本加工。加工项目除词语切分和词性标注外 ,还包括专有名词 (人名、地名、团体机构名称等 )标注、语素子类标注以及动词、形容词的特殊用法标注。这项大规模语言工程的顺利完成得益于事先制订并不断完善的规范。发表《北京大学现代汉语语料库基本加工规范》是为了抛砖引玉 ,更广泛地向专家、同行征询意见 ,以便进一步修订。

语料库加工中的规范问题——谈《信息处理用现代汉语词类标记集规范》

本文就制定《信息处理用现代汉语词类标记集规范》阐述我们对于规范问题的看法和做法。规范不是强制的 ,只规范加工结果 ,不规范加工过程。《规范》研制的目的在于为中文信息处理研究提供一套可以作为国家规范的现代汉语词类标记集体系 ,以便各个中文信息处理系统能够使用规范统一的词类标记集。这个《规范》试图解决词类标记的统一问题 ,该《规范》的特点是 :继承性 ,单功能性 ,通用性和可扩充性。本文还主要讨论了关于研制规范的一些原则性问题和小类标记问题 ,最后给出基于《规范》的词性标注在真实语料中的覆盖实验数据。

语料库视野下的现代汉语“狗”字义项分布研究

利用北大CCL语料库丰富的语料对"狗"字在现代汉语中的义项分布情况进行了重新分析,发现《现代汉语词典》(第6版)动物词"狗"漏收了"低下、低贱";"坏";"坏人,骂人的话";"奉承,巴结";"中国的十二生肖之一"等5个义项。

现代汉语单音节动词的名词化——基于语料库的研究

现代汉语语法研究中的一个共识是单音节动词无法发生名词化。从认知语法视角观察,名词化是作为一般认知能力的组聚和概念物化作用的结果,与单音节或双音节并无必然联系。同时,单音节动词无法名词化的观点也得不到语言事实的支持。在规模为800余万字的自建语料库中考察《现代汉语词典》中收录的1 351个单音节动词发现,单音节动词能够在各种构式中发生名词化。在以认知语法为代表的广义构式语法框架中,这些名词化的形式和意义应归结于其所在的结构还是归结于其本身并不重要。

基于语料库的现代汉语疑问句使用情况调查

基于国家语委现代汉语语料库,对20世纪20—30年代和70—80年代的疑问句进行定量统计分析,发现:两个时段四类疑问句使用频率的排列顺序同为:特指问>是非问>正反问>选择问;两个时段同类疑问句使用的频率略有不同:带"吗"类是非问句的使用频率有所下降,语调是非问的使用频率却升高了;"非疑问形式+呢?"问句在两个时段的使用频率均很高;叹词问句有扩大增多的趋势,带"何"反问句则呈现萎缩减少的趋势。在此基础上提出:对疑问句进行分类和研究时要参考各类疑问句的实际使用频率及其真实语料;考虑将"非疑问形式+呢"问句列为第五种疑问句;叹词疑问句至少有6种类型是前人未曾论及的,应根据其使用频率考察其代表性进行研究。

基于语料库的现代汉语课程改革探析

具有实证和量化特点的语料库的迅速发展,在语言研究和语言教学领域发挥了重要作用,为现代化课程的改革提供了新的契机。本文拟探求基于语料库的现代汉语课程的教学内容及教学方法的改革,并就现代汉语在对外汉语汉字教学中的语料库方法的运用加以分析,为语料库研究方法与汉语教学相结合作以新的探索。

翻译与现代汉语中数量词的使用:基于历时语料库的分析

在向语言"明确化"发展过程中,现代汉语白话文数量词的使用频率在"五四"后短时间内迅速增加,这一变化受翻译影响。以数量词"一个"为例,本文基于历时类比语料考察其成因,分析发现:频率和用法上,原创汉语和翻译汉语中数量词的使用存在关联。"一个"模仿和复制了翻译汉语中的表达形式,使用频率增加、使用范围扩展和词汇组合能力增强。英汉平行语料库的考察也表明翻译是促进"一个"频率增加、用法扩展的重要原因之一。

现代汉语语料库中感叹句使用情况的统计分析

以国家语委研制的现代汉语语料库中的感叹句为研究对象,对检索出的20世纪20-30年代和70-80年代的感叹句进行了定量分析。结果显示:第一,感叹句以无标记感叹句为主,所占比重超过一半以上。第二,在有标记的感叹句中,标记之一是感叹成分,其中语气词的感叹程度最高,典型的感叹语气词是"吧"、"啊"、"呀"、"啦"、"呢";标记之二是标记词,典型标记词是副词"多么、真"和疑问代词"什么"。第三,标记词中的代词标记词又以疑问代词为主,在感叹句中,疑问代词比指示代词占优势。

基于大规模文本语料库的现代汉语基层词相对词频定位法研究

在现代汉语基层词研究中,完形性是提取基层词的根本标准,词频通常只被视为基层词分级的工具。但本研究发现,在受到客观限制,完形性标准不能充分发挥作用时,利用词义范畴不平衡的特点,"相对词频"可以成功定位具有完形性的准基层词,并通过属性验证和异常值分析,实现对基层词的提取。经检验,该定位法比以往研究中的提取方法更为准确、客观、高效,还可以通过异常值检测到义类词典的范畴划分偏误。

基于语料库的《现代汉语词典》常用词词性及义项考察——以“知觉”、“担当”为例

以"知觉"和"担当"两个常用词为例,使用国家语委语料库的相关语料,调查分析上述词语的词性及其义项。再将调查结果与《现代汉语词典》相关条目进行对比,指出其在词语的词性划分与义项概括方面可能存在的不足之处,为该词典的进一步修订提供参考建议。

浅议建立与现代汉语课程配套的口语语料库的意义

目前现代汉语课程不同程度地存在着重理论轻实践、重记忆轻运用、重书面轻口语的现象,且教材中的语料都是文字记录的形式,师生都需要音像形式的口语语例。这些决定了与现代汉语课程配套的口语语料库建设的必要性。口语语料库可以用音像的形式来补充现有教材语料纯书面形式的不足;促进现代汉语课程课堂教学改革,让大学生的汉语口语能力得到提高;让一部分学生关注母语的鲜活状态,激发他们对汉语口语研究的热情。

现代汉语语料库研制

现代汉语语料库是通用型语料库，采用系统选材方式，共选取１９１９年至今的现代汉语语料７０００万字。本文着重介绍了该库的总体设计原则、选材原则以及汉语语料库的有关规范问题。国外语料库开发通常包括五个阶段：规划（ｐｌａｎｎｉｎｇ）、设计（ｄｅｓｉｇｎ）、选材（ｓｅｌｅｃｔｉｏｎ）、建库（ｃｒｅａｔｉｏｎ）和标注（ａｎｎｏｔａｔｉｏｎ）。现代汉语语料库参照国外语料库开发规范，结合汉语特点进行研制。

语料库视野下的现代汉语“想”字义项分布研究

"想"字在以《现汉》为代表的汉语词典中共有6个义项。文章运用语料库的方法,采用定量与定性相结合的形式,对"想"字在现代汉语中的义项分布情况进行了重新描写,建议在《现汉》等词典释义的基础上增收"考虑""想法"2个新义项。

现代汉语通用语料库的建库原则和设想

一 建立现代汉语通用语料库的必要性和可能性 长期以来我们在语言研究领域内采用的是传统的“内省”和“举例”的方法。这种方法在很大程度上要依赖语言学家的识见和经验。尽管我们的语言学家多数人治学是很严谨的,但是智者千虑必有一失,偶而的疏漏是在所难免的。例如我们平时觉得在现代汉语里“楼”是绝少单用的,一般总是说“大楼”、“红楼”、“一楼”、“二楼”等等,“国”也是绝少单用的,一般总是说“

语料库视野下的现代汉语“思”字义项研究

采用定性与定量相结合的方法,对现代汉语"思"字的义项分布进行了研究。发现除了《现代汉语》第6版中已收录的6个义项外,"思"字还有另外2个新义项,即"悲伤;哀愁"和"回想,回忆"两个义项,并从客观依据和理论依据两方面对其进行了分析论证,证明了引进语料库技术对汉语中型语文性词典的编纂是迫切且必需的。