语言学研究中的树库建设及其应用

树库是一种经过句法标注的语言资源,其中包含丰富的词汇、句法和语义知识。因此,近年来基于树库的语言学研究逐渐增多。文章概述了当前树库研究的建库方法和应用范围,内容涉及树库的标注、存储和检索以及树库在计算语言学和理论语言学中的应用。最后指出了现有研究的不足和亟待解决的问题,以及如何拓展基于树库的语言学研究。

句式结构树库的自动构建研究

句式结构树库是以句本位语法为理论基础构建的句法资源,对汉语教学以及句式结构自动句法分析等研究具有重要意义。目前已有的句式结构树库语料主要来源于教材领域,其他领域的标注数据较为缺乏,如何高效地扩充高质量的句法树库是值得研究的问题。人工标注句法树库费时费力,树库质量也难以保证,为此,该文尝试通过规则的方法,将宾州中文树库(CTB)转换为句式结构树库,从而扩大现有句式结构树库的规模。实验结果表明,该文提出的基于树库转换规则的方法是有效的。

蒙古语文语言政策文本树库的构建及其句法特征统计

语言政策作为国家政策的重要组成部分,在维护国家统一,促进社会和谐稳定发展中发挥着重要的作用。收集蒙古语文语言政策文本,进行句法计量研究属于语言政策研究和句法研究领域的新研究,也可以为蒙古语依存树库建设提供更多的数据,具有应用和研究价值。本文在阐述蒙古语文语言政策文本树库的加工处理及校对完善步骤的基础上对所构建的含有18,607个句子的树库语料句长、句类和句型进行了统计分析。

藏语短语结构标注树库构建方法研究

本文通过对涵盖各类体裁的10000个藏语句子进行短语结构的分类和标注,构建了一个比较完备的藏语短语结构标注树库,并采用统计和规则相结合的方法,以形式化的方式对藏语短语的组合形式和结构规则进行了全面描述,较为详细地归纳了各类短语结构的句法语义信息,制定了藏语短语结构树库的标注体系。在此基础上,采用深度学习的方法分析藏语短语模型,能够为全面分析藏语短语的句法信息,自动识别和提取藏语的各类短语结构提供有力支持。

基于树库转换的藏语依存句法树库构建方法

构建藏语依存树库是实现藏语句法分析的重要基础,对藏语本体研究和信息处理具有重要价值。基于此,该文提出了一种基于树库转换的藏语依存树库构建方法。该方法首先扩充了前期构建的藏语短语结构树库,然后根据藏语短语结构树和依存树的特征设计树库转换规则,实现藏语短语结构树到依存结构树的初步转换,最后对自动转换结果进行人工校验,得到了2.2万句藏语依存树。为了对转换结果做出量化评价,该文抽取了依存树库中5%的依存树,对其依存关系进行校验和统计,最终依存关系的准确率达到89.36%,中心词的准确率达到92.09%。此外,该文使用基于神经网络的句法分析模型验证了依存树库的有效性。在该模型上,UAS值和LAS值分别达到83.62%和81.90%。研究证明,使用半自动的树库转换方法能够有效地完成藏语依存树库构建工作。

短语结构到依存结构树库转换研究

为基于真实语料进行句法分析,构建了大规模的短语结构树库和依存结构树库,并尝试在两种结构的树库之间进行转换.讨论了宾州中文树库(Penn Chinese Treebank,CTB)中短语结构树库和依存结构树库的关系,并基于现代中文依存文法制定了中心子节点过滤表,依据该表将短语结构的CTB转换为依存结构树库.在CTB中随机抽取200句语料,转换正确率达到了99.50%.基于该转换得到的依存结构树库可以进一步进行中文依存关系解析的研究.

汉语树库的构建

本文讨论了汉语树库构建的若干基础问题，包括一个适合于自动分析和人工标注的汉语句法标记集、汉语树库加工处理规范和人机互助的树库加工模型，介绍了一个已经实现的汉语自动句法标注系统，和在此基础上进行的一些树库构建实验，最后提出了构建大规模汉语树库的设想。

中文CCG树库的构建

组合范畴语法(CCG)是一种类型驱动的语法,可以高度词例化(lexicalized)并兼顾句法和一定程度上语义的表达,可为深层次的文本分析提供有效支持。将CCG应用于真实文本分析需要编制大规模的词库,为了避免为此付出的昂贵人力和资源,一个经济有效的解决方案是利用现有短语句法树库来自动生成CCG树库。该文提出在清华中文树库的基础上自动生成CCG树库的方法,在预定义的中文句型和基于清华树库的动词子范畴框架的支持下,通过标准转换算法,得到一个包含32 737句、超过35万词次的中文CCG树库。该树库通过手工和自动评价验证,又与已有文献所报告的多语种CCG树库构建工作比较,均证明该文所述方法的有效性。

融合越南语语言特征与改进PCFG的越南语短语树库构建

短语树库是自然语言处理的研究和实际应用的重要资源,就越南语而言目前也缺乏这类树库资源,不利于汉越双语信息处理工作.提出一种融合越南语语法特征与改进PCFG(概率上下文无关文法)的越南语短语树库构建方法,能够自动分析出越南语的短语结构树,从而可解决了越南语短语树库的自动构建问题.首先通过分析越南语的语言特征,制定出越南语的语言特征集;然后利用Inside-Outside算法从人工标注的少量越南语短语树获取PCFG模型中的语法规则集;最后将语法特征集作为语法规则集的补充融入PCFG模型,用得到的新模型最终完成越南语短语树库的构建.实验结果表明,新的PCFG模型针对越南语短语树库构建的准确率达到了81.14%,相比传统PCFG模型以及基于最大熵的树库构建方法准确率明显提高了2%~3%.

从树库的实践看句本位和中心词分析法的生命力

树库是一种带句法标注的语料库,它记录着真实文本中每个句子的句法分析结果——句法树。上世纪90年代,自然语言的自动句法分析再次成为国际计算语言学界关注的焦点,一个重要原因是美国宾州树库PTB的建成。根据树库自动归纳出来的概率型上下文无关语法,使英语的句法分析器在性能上显著超越了先前基于规则和合一运算的句法分析器。世界上为各种自然语言构建的树库,不论是短语结构树库还是依存结构树库,都以句子为基本的描述单位。依存语法是一种词例化语法,它不采用短语结构的语法概念,而直接描写句子中词与词之间的依存关系,即认为句子中任何两个具有依存关系的词中必有一个是中心词(支配词),而另一个是被支配词。因此,依存语法直接体现了一种语言的句法层面和语义层面之间的天然联系。这充分说明,黎锦熙先生在《新著国语文法》中倡导的句本位语法体系和中心词分析法具有鲜活的生命力。它们不仅在我国解放前后的中学语文教学中数十年长盛不衰,而且至今仍在指导着树库的建设和应用。

面向图解树库的标注工具开发与优化

一个高效便捷的标注工具对树库建设起到至关重要的作用,该文在现有的基于句式结构的图解标注工具的基础上,针对其不足之处,进行了重新设计,加入词类和义项等标注信息,实现了人机结合的可视化图解标注工具,并从实践角度详细介绍标注工具在树库构建工程中的操作模式和功能。

基于中心驱动模型的宾州中文树库（CTB）句法分析

报告了依托宾州中文树库进行句法分析研究的最新进展。以著名的中心驱动模型为基础，首次在宾州中文树库5．0上进行了句法分析实验。同前人的工作相比，这次实验取得了更加成功的结果，极大缩小了中、英文句法分析的差距。在公共的测试集上对句法分析器的性能进行了评价，对于正确分词和词性标注的句子，句法分析的精确率和召回率分别达到85．89％和85．61％。介绍了模型的实现过程，并进一步分析了模型中决策表和基本名词短语（BNP）两个关键环节在句法分析器中所起到的作用。本文的工作对于研制实用化句法分析系统具有一定参考价值。

从宾州中文树库观察三个汉语语法问题

树库是一种记录每个句子句法分析结果的标注语料库。文章介绍的是美国宾州大学构建的中文树库(CTB)。描写句子的谓词-论元结构是CTB标注的一个重要目标。因此,它在句法标注中刻意强调的是以下三个抽象的语法关系:中心语-补足语关系、中心语-附加语关系和并列关系。在CTB中每个短语节点所支配的括号对或子树只表示上述的一种语法关系。此外,CTB在语法体系上也有很多特点,文章仅选取补足语、汉语的标句词"的(DEC)"以及遵循语杠理论的词性标注准则等三个汉语语法问题来进行讨论。如果我们同意句子的谓词-论元结构描写是树库建设的一个重要目标,那么上述三个问题不仅同这个目标紧密关联,而且将影响到基于树库的自动词性标注和句法分析系统的性能及其后续应用的结果。

基于“树库”的语体比较计量研究——以中央电视台《百家讲坛》《面对面》为例

《百家讲坛》《面对面》在词长、插入语、谓语、小句宾语、复句等方面的计量特征和显著差异,证明了访谈体比演讲体具备更多的典型口语语体的特征,这一方面验证了人们的语感,一方面也支持了"二分法"和"三分法"中对两类语体的相关归类。《百家讲坛》《面对面》在名词、代词、形容词、时态附加语、句末附加语等方面的计量差异,则与演讲体重在说明论证、访谈体重在叙述交流的交际本质直接相关。

语篇标注与宾州语篇树库

经过标注的语料库可用于语言学研究、语言教学、语言测试、词典编撰等诸多理论研究和实践应用领域。语篇研究的是比句子更大的语言单位,衔接(cohesion)和连贯(coherence)是语篇的基本要素和重要特征。语篇接受者对其理解的透彻度在很大程度上取决于对语篇连贯性的感知度。研究语篇中句子排列与衔接和连贯,是一种超句法分析。

基于树库的四六级作文语篇关系分析

语篇关系作为衔接机制对语篇结构的完整性与连贯性起重要作用,以语料库语言学方法,收集大学英语四六级作文素材组成小型封闭生语料库,然后利用RST工具标注作文语篇结构组建RST语篇树库,基于树库的数据驱动学习提出中国英语学习者偏好使用的语篇关系集合及相关触发语的选用特征,结论是语篇关系的正误使用与作文分数等级呈正负相关的线性关系。

基于树库的现代汉语短语分布考察

自动句法分析中需要确定短语实例的语法功能。文章试图在大规模汉语树库统计的基础上对汉语短语的语法功能分布进行定量分析,以此评估确定短语实例语法功能的三种方法。首先描述了汉语短语结构类充当11种语法功能的情况,然后对短语功能类充当各种语法功能进行统计与分析,最后使用了核心词来估计定中短语的语法功能。在比较分析了不同方法估计短语实例的语法功能的效果后得出结论:汉语短语的语法功能表现出一定的聚合性,但自动句法分析中以类标记来估计短语语法功能效果欠佳。

短语结构树库向句式结构树库的自动转换研究

该文从短语结构和句式结构的区别与联系入手,设计了一种将短语结构自动转换为句式结构的算法。并以清华短语结构树库(TCT)为测试语料,实现了将大规模短语结构语料向句式结构语料的转换。最后,搭建了一套可扩展的可视化系统,用于不同句法结构语料的可视化查看。这一研究不仅实现了两种结构之间的初步转换,而且极大地丰富了汉语句本位图解树库的语料规模,并为汉语句本位图解树库的后续应用研究奠定了基础。

面向多领域多来源文本的汉语依存句法树库构建

为了支持汉语句法分析研究,目前句法分析领域已经标注了多个汉语依存句法树库。然而,已有树库主要针对较规范文本,而对各种网络文本如博客、微博、微信等考虑较少。为此,该文基于近期研制的标注规范及可视化在线标注系统,开展了大规模数据标注。聘请了15名兼职标注者,并采用严格的标注流程保证标注质量,目前,已经标注了约3万句的汉语依存句法树库,其中包含约1万句淘宝头条文本。该文重点介绍了数据选取、标注流程等问题,并详细分析了标注准确率、一致性和标注数据的分布情况。未来将继续对多领域多来源文本进行标注,扩大树库规模,并以合适的方式公开相应的标注数据。

基于“词——词性”匹配模式获取的古汉语树库快速构建方法

该文针对古汉语文本小、句简短、模式性强的结构特点,提出了一种基于"词-词性"匹配模式获取的快速树库构建方法,将句法标注过程规约为获取候选匹配模式、制定句法转换规则、自动生成句法树和最终人工校对四个步骤。该方法可大大缩减人工标注工作量,节省树库构建的工程成本,且所获取的匹配规则在古汉语教学研究中具有一定的实用价值。