现代汉语语义知识库用于句法分析的研究

汉语在词类这个语言层次上存在着许多歧义结构,仅仅依靠句子中词的词性标记无法正确 获得汉语词之间的句法关系。针对这种情况,在已有的基于规则与概率模型的句法分析器基础上,使用 现代汉语语义知识库作为语义资源,进行了在句法分析中引入语义信息以提高分析正确性的研究。

现代汉语语义资源用于短语歧义模式消歧研究

现代汉语存在着许多歧义短语结构,仅依靠句中词性标记无法获得词与词之间正确的搭配关系。本文研究了大量包含歧义的短语实例,分析了计算机处理汉语结构时面临的定界歧义和结构关系歧义问题,在已有短语结构规则的基础上归纳出了七种结构歧义模式,提出了分析歧义模式的关键是四种基本搭配信息的判断,并实现了基于语义知识和搭配知识的消歧算法。对887处短语进行排歧的实验结果表明,处理短语结构的正确率由82.30%上升到87.18%。

基于配价的汉语语义词典

本文介绍一个主要是基于配价理论开发的汉语语义词典 (Valency_basedChi neseSemanticDictionary ,文中简称VCSD) ,分为四个方面 :第一节简要交代这个研究工作的背景 ;第二节具体阐述一个汉语语义知识的表达框架 ;第三节说明这部语义词典的开发过程及目前达到的规模并展示若干样例 ;

汉语框架语义角色的自动标注

基于山西大学自主开发的汉语框架语义知识库(CFN),将语义角色标注问题通过IOB策略转化为词序列标注问题,采用条件随机场模型,研究了汉语框架语义角色的自动标注.模型以词为基本标注单元,选择词、词性、词相对于目标词的位置、目标词及其组合为特征.针对每个特征设定若干可选的窗口,组合构成模型的各种特征模板,基于统计学中的正交表,给出一种较优模板选择方法.全部实验在选出的25个框架的6692个例句的语料上进行.对每一个框架,分别按照其例句训练一个模型,同时进行语义角色的边界识别与分类,进行2-fold交叉验证.在给定句子中的目标词以及目标词所属的框架情况下,25个框架交叉验证的实验结果的准确率、召回率、F1-值分别达到74.16%,52.70%和61.62%.

基于条件随机场的汉语框架语义角色自动标注

在给定目标词及其所属框架的条件下,汉语框架语义角色标注可以分为语义角色识别和角色分类两个步骤。该文将此任务通过IOB2标记策略形式化为词序列标注问题,以词为基本标注单元,采用条件随机场模型进行自动标注实验。先对语料使用清华大学的基本块自动分析器进行分析,提取出15个块层面的新特征,并将这些特征标记形式化到词序列上。以文献[20]已有的12个词层面特征以及15个块层面特征共同构成候选特征集,采用正交表方法来选择模型的最优特征模板。在与文献[20]相同的语料上,相同的3组2折交叉验证实验下,语义角色标注的总性能的F1-值比文献[20]的F1-值提高了近1%,且在显著水平0.05的t-检验下显著。实验结果表明:(1)基于词序列模型,新加入的15个块层面特征可以显著提高标注模型的性能,但这类特征主要对角色分类有显著作用,对角色识别作用不显著;(2)基于词序列的标注模型显著好于以基本块为标注单元以及以句法成分为标注单元的标注模型。

结合Hybrid Attention机制和BiLSTM-CRF的汉语否定语义表示及标注

阅读理解中否定是一种复杂的语言现象,其往往会反转情感或态度的极性。因此,正确分析否定语义对语篇理解具有重要意义。现有否定语义分析方法存在两个问题:第一,研究的否定词较少达不到应用目的;第二,目前汉语否定语义标注只是标注整个句子,这无法明确否定语义。针对该问题提出基于汉语框架语义知识库(Chinese FrameNet)进行否定语义角色标注方法。在框架语义学理论指导下结合汉语否定语义特征对已由FrameNet继承的否定框架重新构建;为了解决捕捉长距离信息以及句法特征问题,提出一种基于Hybrid Attention机制的BiLSTMCRF语义角色标注模型,其中,Hybrid Attention机制层将局部注意与全局注意结合准确表示句子中的否定语义,BiLSTM网络层自动学习并提取语句上下文信息,CRF层预测最优否定语义角色标签。经过比对验证,该模型能够有效提取出含有否定语义信息,在否定语义框架数据集上F1值达到89.82%。

《信息处理用词汇研究》九五项目结题汇报 现代汉语述语动词机器词典的扩充和槽关系研究

“现代汉语述语动词机器词典的扩充和槽关系研究”是国家社科“九五”重大项目“信息处理用现代汉语词汇研究”中的一个子课题。本文首先概述这个子课题的主要研究内容和研究方法 ,然后介绍这个子课题已经取得的成果 ,最后探讨这个子课题进一步发展的方向。

汉语框架自动识别中的歧义消解

该文研究了汉语框架自动识别中的歧义消解问题,即对给定句子中的目标词,基于其上下文环境,从现有的框架库中,为该目标词自动标注一个合适的框架。该文将此任务看作分类问题,使用最大熵建模,选用词、词性、基本块、依存句法树上的若干特征,并使用开窗口技术和BOW策略,以目前汉语框架语义知识库中的88个词元的2 077条例句为训练、测试语料,进行了3-fold交叉验证实验,最好结果取得69.28%的精确率(Accuracy)。

基于词分布表征的汉语框架排歧研究

框架排歧目的在于根据句子中目标词的上下文环境,从现有的框架库中为该目标词自动标注一个合适的框架.将框架排歧任务看作分类问题,首次将词的低维分布表征信息作为模型特征引入到汉语框架排歧研究中,来探讨仅从词特征出发,不同的特征表示对框架排歧模型的影响.实验选取了88个词元中2 077条例句为数据集,并将目标词周围的词分布表征信息加入到最大熵算法中进行建模.实验结果表明,使用词分布表征信息的框架排歧模型可以达到58.11%的精度,该结果与传统的仅使用词特征时(47.47%)的结果相比有大幅度提高.这说明词分布表征对汉语框架排歧任务是有重要作用的.

基于框架表示学习的汉语框架排歧

为了改善框架排歧模型的性能,区别于传统分类算法人工提取特征的做法,直接从语料中的例句出发,使用神经网络模型给出了一种框架表示学习的算法,并将学习到的框架表示向量用于框架排歧任务,显著提升了框架排歧的性能。该算法充分利用CFN中例句库、词元库,基于hinge-loss的神经网络,学习到能最大区别正确框架与错误框架的框架表示向量。此外,还使用WSABIE算法学习到目标词及其上下文的表示向量,排歧时以上下文表示向量与框架表示向量做余弦夹角来判决。在CFN中88个有歧义的词元上进行3组2折交叉验证(3×2 BCV)实验,框架排歧精度最好达到72.52%,t-检验结果表明该方法性能显著高于其他框架排歧方法。

基于语义依存分析的CFN框架排歧

为大规模自动构建语料库,使计算机能够理解文本信息,提出框架自动识别,框架排歧作为框架识别的子任务,是亟待解决的。框架排歧即根据目标词的上下文信息,从现有的框架库中,自动为该目标词标注一个合适的框架。利用分类算法的思想,使用支持向量机(SVM)中的“一对一”方法建立多个分类器来解决多分类问题。通过向已有的词性与依存句法关系特征之上再加入语义依存分析关系特征来提升框架排歧的准确率。训练语料和测试语料为山西大学建立的汉语框架语义知识库(CFN)中的7个词元,1519条例句,采用5-fold交叉验证。实验取得的最好结果为80.67%,验证了语义依存分析对框架排歧的有效性。

中文阅读理解语料库构建技术研究

阅读理解问答系统指的是能够自动分析一个自然语言文章,并且根据文中的信息为每个问题生成一个答案的系统,具有很高的研究价值。然而,缺乏中文阅读理解语料库已经成为制约汉语阅读理解问答系统发展的主要障碍。本文对于中文阅读理解语料库的构建过程进行了详细的介绍,包括语料选材、编写问句,标注答案句、语料加工和评测机制,尤其是基于汉语框架语义知识库对语料进行了框架元素、短语类型和句法功能三个层面标注的深加工技术。

大数据时代的汉语研究应对

大数据时代对汉语研究提出了新的要求,语言是人类最为重要的交流思想、传递信息的工具,研究好自然语言这一工具是我们打开大数据宝藏必备的钥匙。从语言大数据的机器自动提取与分析来看,汉语研究应该从汉语的实际使用出发,面向语言大数据的处理,进行更为全面地观察,揭示更为精细的使用规则,描写更为细致的语义特征和语义关系,探索新的汉语语义知识表述理论体系。