北京大学现代汉语语料库基本加工规范

北京大学计算语言学研究所已经完成了一个有2700万汉字的现代汉语语料库的基本加工。加工项目除词语切分和词性标注外,还包括专有名词（人名、地名、团体机构名称等）标注、语素子类标注以及动词、形容词的特殊用法标注。这项大规模语言工程的顺利完成得益于事先制订并不断完善的规范。发表《北京大学现代汉语语料库基本加工规范》是为了抛砖引玉,更广泛地向专家、同行征询意见,以便进一步修订。

北京大学现代汉语语料库基本加工规范(续)

北京大学计算语言学研究所已经完成了一个有 2 70 0万汉字的现代汉语语料库的基本加工。加工项目除词语切分和词性标注外 ,还包括专有名词 (人名、地名、团体机构名称等 )标注、语素子类标注以及动词、形容词的特殊用法标注。这项大规模语言工程的顺利完成得益于事先制订并不断完善的规范。发表《北京大学现代汉语语料库基本加工规范》是为了抛砖引玉 ,更广泛地向专家、同行征询意见 ,以便进一步修订。

大规模汉语语料库中任意n的n-gram统计算法及知识获取方法

本文提出并实现了一种大规模汉语语料库中字、词级任意ｎ的ｎ－ｇｒａｍ统计算法，本算法可以一次性统计出所有不大于任意ｎ（本文ｎ取为２５６）的字、词级ｎ－ｇｒａｍ，可将传统ｎ－ｇｒａｍ统计时的指数空间开销变为线性的，且与所统计的元数无关。基于这种ｎ－ｇｒａｍ的统计，本文还进行了汉语信息熵的计算及字、词级知识获取的研究。

汉语语料库大规模统计与小规模统计的对比

本文以上海市中小学语文教材语料库作为对比统计样本,对比统计了大规模汉语语料库与小规模汉语语料库在覆盖率及分布率两个方面的数据,统计分析表明:1.高频字比率随着文本规模的增大而下降。2.总字次数同平均出现次数及总字种数,呈正相关关系。3.在覆盖率方面大规模统计与小规模统计以及单个的小文本统计三者之间都存在着很大的差异。4.在字种数方面,单个的小文本统计与合计文本统计之间有较大差异,而大规模统计与小规模统计之间相差不大。5.从分布率来看,上海市语文教材不同文本之间的共用字是很少的,不能笼统地说,认识500多个汉字就能认识文本中80%的汉字。

基于汉语语料库的性别词汇研究初探

性别是影响语言运用的重要因素之一。语言和性别的关系研究在社会语言学领域一直长盛不衰。在国内性别词汇的研究虽然前人多有著述,但是根据笔者的了解大都是采用寻章摘句的定性研究。本文另辟蹊径运用基于语料库的方法对汉语当中的性别词汇,特别是语气词、感叹词、强势词、弱化手段进行了定量定性相结合的研究,证实了前人不少的研究成果,同时也有不少新的发现。

汉语语料库对对外汉语教学中语法研究的作用

语料库是存放语言素材或语料文本的仓库,是按照语域分类收集并经过特殊编码的自然语篇总集,编码即对词语进行类别和功能的定义以及对以小句为单位的文法结构进行分析。这些由大量实际使用的语言信息组成的真实材料，是语言统计的基础，是分析和研究语言规律和特征，开发软件，编纂辞书的可靠依据，更是语言教学中绝好的第一手资料。

留学生汉语语料库杂谈

该文为陈小荷教授2020年11月15日在北京外国语大学"学习者语料库建设与应用研讨会"上的发言稿。陈教授回顾了20世纪90年代初原国家教委、国家汉办和北京语言学院的"八五"科研规划项目"汉语中介语语料库系统"。该项目1995年11月15日通过专家鉴定。作为项目结项成果的"汉语中介语语料库",涉及9所高校1,635位外国学生写作的5,774篇共计352万字的汉语篇章材料。该语料库记录了23项共计132,000余条语料背景属性。最终结项的语料库为总库中抽样选取的1,731篇共计104万字的语料样本。课题组对这些文本分别进行了字、词、句、篇等层级的标注。该语料库由储诚志、陈小荷两位先生主持负责。从国际范围来看,该语料库也称得上最早建成的中介语语料库之一。本刊由衷感谢陈小荷教授同意刊发其发言稿。

清华大学ZW大型通用汉语语料库的研究

随着计算语言学研究方法与观念的更新和发展,特别是语料库语言学的兴起,作为语言学研究的得力工具与基础性设施的语料库研制已引起人们的重视。本文介绍“清华大学ZW大型通用汉语语料库”的研究。 一。

“汉语语料库及语料库语言学圆桌会议”在香港召开

2011年5月6日至8日,由香港教育学院语言资讯科学研究中心主办的"汉语语料库及语料库语言学圆桌会议"在香港教育学院召开,来自美国、英国、法国、新加坡、中国大陆、以及中国香港、澳门和台湾地区的高校和科研单位的40余名专家学者参加了会议。这次会议的主题是:在网络资讯和中文国际化背景下,全球华语面临大交流、大融合、大发展的新形势和新挑战,总结汉语语料库建设和应用的历史经验,交流语言教学、自然语言理解及人工智能。

现代汉语语料库中感叹句使用情况的统计分析

以国家语委研制的现代汉语语料库中的感叹句为研究对象,对检索出的20世纪20-30年代和70-80年代的感叹句进行了定量分析。结果显示:第一,感叹句以无标记感叹句为主,所占比重超过一半以上。第二,在有标记的感叹句中,标记之一是感叹成分,其中语气词的感叹程度最高,典型的感叹语气词是"吧"、"啊"、"呀"、"啦"、"呢";标记之二是标记词,典型标记词是副词"多么、真"和疑问代词"什么"。第三,标记词中的代词标记词又以疑问代词为主,在感叹句中,疑问代词比指示代词占优势。

整合资源 走向共享——香港“汉语语料库及语料库语言学”圆桌会议述评

由香港教育学院语言资讯科学研究中心主办的＂汉语语料库及语料库语言学＂圆桌会议于2011年5月6日～8日在香港教育学院召开。来自美国、英国、法国、新加坡、日本、中国大陆和香港台湾高校及科研院所的专家学者40余人参加了会议。

浅析汉语语料库中的英语外来词

改革开放以来,随着中国的迅速崛起,与外界沟通的需求与日俱增。在交流的过程中,大量新事物、新思想、新文化和＂新语言＂涌入人们的日常生活。英语外来词作为＂新语言＂的特征之一,是一道独特的风景线,也是构建汉语语料库时要考虑的重要因素。

现代汉语语料库研制

现代汉语语料库是通用型语料库，采用系统选材方式，共选取１９１９年至今的现代汉语语料７０００万字。本文着重介绍了该库的总体设计原则、选材原则以及汉语语料库的有关规范问题。国外语料库开发通常包括五个阶段：规划（ｐｌａｎｎｉｎｇ）、设计（ｄｅｓｉｇｎ）、选材（ｓｅｌｅｃｔｉｏｎ）、建库（ｃｒｅａｔｉｏｎ）和标注（ａｎｎｏｔａｔｉｏｎ）。现代汉语语料库参照国外语料库开发规范，结合汉语特点进行研制。

国内外汉语语料库建设发展概述

国内汉语单语语料库的发展最为迅猛,双语语料库(特别是平行语料库)和口语语料库的发展还有待提高;国外汉语语料库建设比较单薄,但还是吸引了一大批专家学者的目光。尽管现有的汉语语料库在使用权限、使用稳定性、语料选取等方面还存在各种问题,但各种单语语料库、双语语料库(特别是平行语料库)和口语语料库必定会呈现更红火的局面,而学习者中介语语料库的发展也将为汉语二语习得的实践和研究提供更大的帮助。

语料库在翻译教学中的“洪荒之力”:以COCA和古代汉语语料库为例

文章以"洪荒之力"的翻译为例子,探讨了单语语料库,包括母语语料库与外语语料库在翻译教学领域的潜在价值与优势。母语单语语料库能帮助译者在解码阶段更好地确定词义,外语单语语料库则能在赋码阶段更便捷地提供地道的译法。此外,语料库本质上所具有的描述性在很大程度上能降低教学内容与方法的规限性。作为一项先进的教研工具,语料库具有其独特的优势,必将推动翻译教学乃至整个翻译学科的发展。

用于机器翻译的汉语语料库——中文应做到形式化、公理化、算法化、自动化

机器翻译利用汁算机模拟人的翻译过程,是一种智能处理过程,由于计算机本身没有自动思维能力,很大程度上靠人提供的一套推理机制及巨型的浯料库进行工作。类似下图:

汉语语料库满足社会需求的思考

国家级现代汉语语料库建设是我国语言工作的重要组成部分 ,是服务社会的重要基础工程。语料库建设需将满足社会需求放在重要地位 ,力求体现国际性、动态性、层次性、拓展性的特点。国家大型语料库应该功能强大 ,现在和将来都能满足全球的需要。

汉语语料库加工技术

实现对大规模真实文本的处理是计算语言学今后的一个时期的战略目标。基于语料库的语言研究是计算语言学一个重要领域，这是由于语料库是最理想语言知识资源。为从语料库获取语言知识，必须在各个层次上对汉语语料库进行加工。本文讨论了汉语语料库的加工技术，即对语料库进行词法、句法和语义等方面的标注。其中。

现代汉语语料库选材专家审定会在京召开

国家语委文字应用管理司于1993年9月21日至24日在北京主持召开了现代汉语语料库选材专家审定会。国家语委的有关领导和在京的语言学界、计算机科学界的专家学者20多人出席了会议。与会专家一致认为,该语料库的选材是国内规模最大的一次,选材论证充分,系统性强,质量较好,具备了语料录入的条件。选材是建立现代汉语语料库的一项基础工作,选材的科学性直接影响该库今后的使用价值。为此,国家语委曾于去年4月召开了现代汉语语料库选材原则专家论证会,就语料的通用性,描述性,选材分类、比例,清单制定,样本抽取等问题进行了深入细致的论证,并根据专家意见制订了《现代汉语语料库选材原则》。选材工作由国家语委文字应用管理司主持,具体选材任务分别由中国社会科学院语言研究所、北京师范大学和中国人民大学三个课题组承担,目前已完成7000万字的语料选材、清单制定和样本制作工作。与会专家对选材清单和语料样本进行了认真详细的审定,

现代汉语语料库专家论证会在京召开

国家语委文字应用管理司于1991年12月16日—19日在北京召开了现代汉语语料库第一次专家论证会。有关领导、专家及计算机公司的代表共30余人参加了会议。与会代表就现代汉语语料库总体设计、选材原则,汉语语料库的规范和标准。