大规模现代汉语标注语料库的加工规范

北京大学计算语言学研究所在开发了《现代汉语语法信息词典》等语言资源的基础上 ,又在实施另一项大型语言工程 ,即对大规模的现代汉语原始语料进行多级加工 ,目前的加工项目包括词语切分、词性标注 (包括动词和形容词的特殊用法 ) ,并标出专有名词以及短语型的地名、机构名称等等。规划中的语料库规模约为 2 70 0万字。现在已经完成了 1 40 0万字的任务 ,而且质量很高。要建成高质量的标注语料库 ,必须制订出完备的加工规范。本文介绍制订加工规范的原则和执行加工规范的经验。

《现代汉语语法信息词典》的新进展

:《现代汉语语法信息词典》是面向汉语信息处理的基本语言知识库。 1995年 11月底通过技术鉴定。 5年来 ,北大计算语言学研究所在应用、推广的同时 ,仍把重要的力量投入词典本身的发展。至目前为止 ,词典收词已由 5万条增加到 7.3万条 ,并且全部完成了归类 ;为了处理未定义词 ,还开发了一个全新的语素库 ;词语语法属性描述中的瑕疵得到了进一步的修正 ,新增了 2 0多个语法属性项目和大量的实例。

汉语词的概率语法属性描述

现代汉语词的语法属性研究”是中国国家哲学社会科学基金在“九五”期间支持的语言学科重大课题“信息处理用现代汉语词汇研究”中的一个子课题 ,本文首先介绍这个子课题的主要研究内容 ,即以《现代汉语语法信息词典》的己有成果为基础 ,以大规模真实语料的统计数据为依据 ,用概率值重新描述词的语法属性。然后介绍这个子课题已经取得的成果 。

综合型语言知识库及其前景

北京大学计算语言学研究所自1986年起,历时25年建成综合型语言知识库(CLKB)。CLKB包括6个语言知识库、10项规范与标准、基础软件工具集和4个应用系统,它们相互支撑,形成一个有机整体。CLKB的系列化的语言知识涵盖词、词组、句子、篇章各单位和词法、句法、语义各层面,从汉语向多语言辐射,从通用领域深入到专业领域。尽管CLKB已形成阶段性成果,但它仍在发展中。该文重点介绍CLKB的语言知识库,也探讨其发展方向。

现代汉语名词语法属性的计量研究初探

以《现代汉语语法信息词典》中语法属性的概率化描述为目标,基于1998年上半年《人民日报》标注语料,对名词语法属性的概率化进行了初步的实验研究。首先,考察了名词与数词、名词与量词搭配的相关属性,引进"分散度"概念,利用它对"数名"结构进行了定量分析;其次,考察了名词受不同量词修饰的分布情况。最后,把实验结果与《现代汉语语法信息词典》的相应属性进行了比照和分析,在属性概率化的同时也对其正确性进行了验证。

《现汉》与《语法信息词典》词类对应分析

词类标注问题历来受到中文信息处理、汉语语法和词汇学界的共同关注,学者们已提出多种词类标记体系,彼此间存在较大差异,但迄今尚无人对大规模词类标注工程进行系统比较。该文以《现代汉语词典》第5版和《现代汉语语法信息词典》两个大型词典词类标注工程为比较对象,基于所提出的词类对应算法,自动找出两部词典词类标注上的差异,进而对形成差异的原因进行分析。分析结果表明,两部词典词类标注一致性较高(83.5%完全相同),而存在差异的地方可归结为三类主要原因:词类迁移;词类判断标准不一致;收录义项不同。

《汉语高频词语法信息词典》的研制

北京大学计算语言学研究所自 2 0 0 3年 1月起承担了国家重点基础研究973项目《汉语高频词语法信息词典》的研制任务 ,至 2 0 0 3年 9月已完成。本文详细介绍《汉语高频词语法信息词典》

词汇计量研究与常用词知识库建设

面向自然语言处理的词汇语义研究应该以词汇的计量研究为基础。该文在评述汉语词汇计量研究的主要成果以后,提出一个汉语常用词知识库的建设任务,并给出常用词表的构造性定义、词表常用性的定量评价方法以及"部件词"的概念,最后介绍现代汉语常用词知识库的总体设计和已经做的工作。期望常用词知识库的建设能为汉语词汇语义学研究、为中文信息处理事业的发展做出贡献。

建设综合型语言知识库的理念与成果的价值

积20余年之努力与锤炼,北京大学计算语言学研究所完成的一项科研成果"综合型语言知识库"于2007年2月通过了教育部组织的技术鉴定。鉴定结论认为"其规模、深度、质量和应用效果在我国语言工程实践中是前所未有的。该成果是以汉语为核心的多语言知识库建设中最全面、最重要的研究成果,总体上达到了国际领先水平"。本文在介绍以《现代汉语语法信息词典》为基础的综合型语言知识库的规模、构成、内容、品质和发展历程之后,陈述建设综合型语言知识库的理念,期望与读者分享在计算语言学和自然语言处理这一交叉学科领域内治学的心得与研发的经验。同时也对这项成果的应用实例进行分析,评估它的应用潜力,期望它在以汉语为核心的多语言信息处理事业的发展中起到铺路填坑或者投石问路的作用。

论现代汉语语法的特点

在以往对汉语语法特点探讨的基础上,文章认为现代汉语语法有三大根本特点:汉语是分析型语言,缺乏严格意义上的形态变化;汉语是重语用的语言,语法跟语境的关系密切;汉语是重韵律的语言,节律对句法结构有制约作用。三个特点的关系是"一体二用"。

面向自然语言处理的机器词典的研制

北京大学计算语言学研究所积30余年之努力,研制了一部面向自然语言处理的机器词典,即《现代汉语语法信息词典》(以下简称GKB)。基于GKB,又衍生了一系列成果,进而集成为综合型语言知识库。文章扼要介绍GKB及相关成果,并总结从事大型语言工程的实践经验,期望这些经验不仅对语言工程的实践者,而且对探索学科交叉融合的学者都有参考价值。

词义构成视角下的当代汉语词义演变类型研究

当代汉语词义演变在词义构成的三个方面都有体现。词汇意义方面主要为扩大和转移,缩小和虚化的情形较少;色彩意义方面表现为感情色彩的贬降或扬升、形象色彩的突显和强化、书面语体色彩的减弱与通用化;语法意义方面以转类为主,一些程度副词的新用法值得关注。

综合型语言知识库及其在语言教学中的应用

自然语言处理研究的目标是让计算机学会理解和运用人类的自然语言,这就必须给计算机配备一个包含自然语言的词汇、句法、语义知识的语言知识库。北京大学计算语言学研究所(ICL/PKU)自1986年起,历时26年,研制出面向自然语言处理的"综合型语言知识库"。综合型语言知识库中的语言知识所具有的周遍性、格式化、显性化等特点,使得它能够在汉语语言教学领域发挥作用。

计算语言学浅介

计算语言学是文理交叉的新兴学科,以自然语言(汉语、英语等)的计算机处理(包括分析和生成)为研究内容,其最高境界是自然语言的机器理解,从而在人机之间实现自然语言的交互。本文简单介绍计算语言学和自然语言处理的研究对象、内容和当前的主攻方向。语言知识库是支撑自然语言处理研究的重要基础。本文也介绍了作者及其同仁在语言知识库建设方面所作的努力。最后,展望了自然语言理解研究的前景。

《现代汉语语法信息词典》的概率化改造及其应用

针对《现代汉语语法信息词典》不能准确描述真实语料的缺陷,设计了构建概率型语法信息词典名词库的存储结构,提出利用统计模型概率化词语属性的方法,建立完整的名词概率化语法信息词典,设计并实现了概率型语法词典应用于语法词典自纠错的算法,实验证明其具有自纠错能力。

当代汉语词汇新义研究

当代汉语词汇中出现了大量新义。新义在词汇意义、色彩意义和语法意义三个方面呈现出不同的特点。新义与原义的关系,在词汇意义方面表现为相含、相关、相合、相似和辗转;在色彩意义方面表现为色彩的一致与不一致;在语法意义方面,表现为词性的一致和不一致。新义的三个构成方面互相联系,互相影响,三者之间存在共变关系。词汇新义折射出当代社会的某些特征。

关于《现代汉语词典(第5版)》词类标注的说明

本文对《现汉》标注词类的有关问题作了较为详细的说明。全文分为三个部分。第一部分介绍《现汉》标注词类所采用的词类系统和各类词的语法特点;第二部分讨论词与非词的区分,指出《现汉》是在区分词与非词的基础上给单字条目和多字条目标注词类的,并对如何区分词与非词作了具体的说明;第三部分讨论疑难问题,就几个容易产生分歧的问题提出了处理办法和这样处理的理由。

不一致性:《现代汉语词典》词类标注亟需解决的问题

通过对《现汉》自5版以来词类标注问题有关研究文献和第7版中部分具有语义对称关系的词条词类标注情况的考察发现,存在的主要问题有:1)兼类词数量和比例偏低;2)具有语义对称关系的词条词类标注不尽一致,甚至相互矛盾。《现汉》在词类标注方面之所以出现上述问题,其根本原因在于词类标注理论前后的不一致和词类标注实践与词类标注理论的不一致。词类既然是词在语法功能上的分类,而词的语法功能又是在使用中浮现出来的,那么在划分词类和判断兼类时不仅应坚持语法功能标准,在词类标注实践中还应始终贯彻这一标准,并通过基于语料库的使用模式调查如实反映词目词类信息,以尽可能确保词典词类标注的准确性、系统性和全面性。