基于义原同现频率的汉语词义排歧方法

词义排岐是自然语言处理的重点和难点问题之一 .基于语料库的统计方法已被广泛地应用于词义排岐 .大多数的统计方法都受到数据稀疏的困扰 ,对于词义排岐而言 ,由于有大量同义词的存在 ,数据稀疏问题变得更为严重 .充分利用“知网”这个知识源的特性 ,提出了一种基于义原同现频率的词义排岐方法 ,在很大程度上克服了数据稀疏问题 .此外 ,该方法还避免了繁重的人工标注语料的过程 ,通过在一个约 10万字的语料库上获得义原同现频率矩阵 ,并以此作为词义排岐的依据 .实验表明 。

一种自组织的汉语词义排歧方法

长期以来，词义排歧一直被认为是自然语言处理的难题之一。本文用机器可读词典《现代汉语辞海》提供的搭配实例作为多义词的初始搭配知识，采用适当的统计和自组织方法自动扩大搭配集；为保证学习质量，在学习过程中逐渐增大上下文窗口的长度；提出使用搭配统计表的多元最大对数似然比词义排歧算法。最后，对本文提出的方法进行了实验，实验表明这种算法具有较高的正确率。

一种基于神经网络的词义排歧方法

从神经网络的基本原理和自动词义排歧的技术入手,阐明应用神经网络技术进行汉语词义排歧研究的基本方法和步骤,并给出了实验结果和分析。

基于义原同现频率的汉语词义排歧系统

词义排歧在自然语言处理领域占有重要地位。词义排歧的精确率依赖于排歧知识的完备性。但是目前使用的基于词典的和基于语料库的词义排歧方法来获取排歧知识的效果都不令人满意。文中借助《知网》,以义原同现频率矩阵作为排歧知识,在其基础上设计并实现了一个基于义原同现频率的汉语词义排歧系统,大大地提高词义排歧的精确率。

基于改进的Lesk算法的词义排歧算法

英文中的一词多义现象非常普遍,这给英文的词义排歧带来了极大的困难。针对这种情况,提出了一种基于改进的Lesk算法的词义排歧算法,即以语义词典WordNet为基础,借助CBC算法扩充目标词的相似词集合,通过改进的Lesk算法进行词义排歧。算法以英文Senseval-2任务作为测试目标,通过对目标词的义项进行筛选,去除其中一些不常用的义项,实验结果表明,总体排歧正确率达到58.4%。

用于词义排歧的语义剪枝方法研究

词义排歧方法的研究在自然语言处理领域具有重要的理论和实践意义。研究了一种基于知网的语义剪枝算法,来解决自然语言处理过程中的词义排歧问题。其目的是通过语义剪枝系统尽可能地减少歧义词在上下文中错误的或最不可能的义项。语义剪枝以后,形成词和其可能义项的一个列表,尽量将一个词真正正确的义项保留下来。为了对语义剪枝算法进行评价,开发了一个手工标注交互环境,并使用了召回率和简化率2个指标。对窗口的尺寸和分析单元的选取对召回率和简化率的影响进行了研究。

词义排歧方法研究

本文全面总结了40多年来在词义排歧方面的研究成果,分别讨论和比较各种词义排歧的方法:选择最常见义项的方法、利用词类进行词义排歧的方法、基于选择限制的方法、鲁棒的词义排歧方法、有指导的学习方法、自力更生的词义排歧方法、无指导的词义排歧方法、基于词典的词义排歧方法等。这些方法对于自然语言的计算机处理都是非常重要的。

基于改进的VSM的词义排歧策略

为了提高词义排歧的准确率,提出了一种基于改进的向量空间模型(VSM)的词义排歧策略,该模型在提取特征向量的基础上,考虑了语法、词形、语义等因素,计算语境相似度,并引入搭配约束,改进了算法的效果,在开放测试环境下,词义标注正确率可达到80%以上。实验结果表明,该方法对语境信息的描述更加全面,有利于进一步的语义分析。

改进的基于义原同现频率的汉语词义排歧方法

针对传统的基于义原同现频率的汉语词义排歧方法存在“盲目性”的不足,本文根据《知网》中对概念定义的描述,分别计算多义词的每个义项与特征词的第一独立义原、其他独立义原、关系义原、符号义原之间的相关系数;最后通过比较多义词的每个义项与特征词之间的相关系数来决定多义词的义项。经过实验验证,该方法进一步提高了词义排歧的效果。

词义排歧的一种语言模型

《同义词词林》(下简称《词林》)中每个同义词集对应于一个唯一的义类代码。本文的基本假设是 :当这些词在文本中出现时 ,与它们前后同现的那些实词在统计意义上是相似的。初步实验表明 ,尽管根据分布的聚类过程与《词林》编者划分同义词集的机理完全不同 ,对词语进行聚类的结果却和《词林》语义类的平均一致率高达 80 %以上。本研究的意义在于 ,提出一种对语言学家凭语感对词的分类进行定量分析的方法 ,并且为计算机自动词义标注时使用语言学知识奠定了基础。

基于核模糊C均值聚类算法的词义排歧研究

该文建立了一个无监督的词义排歧系统，并将它应用于生物医学领域的语料中。该系统使用未进行人工标注的语料进行机器学习，学习过程只需预先定义标准词义的数量，不需要其他人工干预。该系统使用了一种通常使用于图像识别领域的基于核的模糊C均值算法。该文针对文本应用改进该算法并将其应用在生物医学文本的词义排歧领域，并取得了较好的效果。

汉语词义排歧的另一种方法

针对传统的基于义原同现频率的汉语词义排歧方法存在“盲目性”的不足,笔者根据《知网》中对概念定义的描述,分别计算多义词的每个义项与特征词的第一独立义原、其他独立义原、关系义原、符号义原之间的相关系数;最后通过比较多义词的每个义项与特征词之间的相关系数来决定多义词的义项.经过实验验证,该方法进一步提高了词义排歧的效果.

常识推理在机器翻译词义排歧中的应用

本文针对词义排歧提出了一种利用语言常识进行逻辑推理以筛选出合理词义的形式化标准和方法,将人们在翻译过程中排歧时所进行的逻辑推理归结为一种机械的集合运算,使之易于机器操作.并在此基础上,提出一种利用义项多元组引入词义的语境相关限制信息、以改进现有电子词典使其更加有利于排歧的方案,从方向上指明了这种词典知识获取的途径.

维语句法分析器中的词义排歧问题的研究

本文论述了现代维语短语自动划分标注的基本处理算法、排歧处理、词义排歧中的搭配、现代维语词义排歧算法的语言学依据、现代维语词义排歧算法的实现。通过典型的例子,说明了分析器中存在的问题可以用短语划分标注和词义排歧相结合的方法并扩展到句义排歧方法来解决。

一种改进的词义排歧算法

针对传统基于义原同现频率的汉语词义排歧算法的"盲目性",提出一种"双距离"词义排歧算法,即在计算待排歧词各义项与特征词之间的相关系数时,考虑两个距离因素:特征词与待排歧词之间的空间距离;最近选择该义项的同形歧词与该待排歧词之间的空间距离。实验表明,改进的算法是有效的。

基于规则的多义疑问词“怎么”的词义排歧模型研究

在自然语言处理中,多义疑问词的词义识别尚存改进空间。以"怎么"为例,其可表全称解读(任指)、存在解读(虚指)和疑问解读(询问状况、性状、方式和原因)。目前主流机器翻译系统在处理"怎么"的识别情况上仍需改进。该文从词义排歧的角度出发,尝试总结"怎么"的三类解读所处的句法环境的特征,确立复杂句法环境中其语义表现,进而构建一个基于规则的词义排歧模型,制定词义排歧决策表,为提高机器对该类词的识别率提供一种思路。最后,通过实验验证该决策表,并对其改进。

一种基于无指导的词义排歧方法

介绍了一种利用《同义词词林》和训练语料生成义类代码同现频率矩阵 ,以此作为资源进行真实语料中多义词的词义排歧。由于该方法采用无指导的学习方法 ,可以免除人工标注的开支 。

一种基于贝叶斯分类与机读词典的多义词排歧方法

一词多义是自然语言中普遍存在的现象,词义排歧的成功率是衡量机器翻译、信息检索、文本分类等自然语言处理软件性能的重要指标。提出了一种基于贝叶斯分类与机读词典的多义词排歧方法,通过小规模语料库的训练和歧义词在机读词典中的语义定义来完成歧义的消除。实验表明:基于贝叶斯分类与机读词典的多义词排歧算法在标注语料库规模受限的情况下,能取得较高的排歧准确率。

汉英双语平行语料库的词义标注

本文充分利用当前HowNet资源中概念的可计算性和句子对齐的汉英双语平行语料库信息,将词义排歧的问题转化为两种语言相对应句子词义组合的相似度计算问题,进而利用动态规划法的思想设计出一种在一定的时间复杂度内,有效的标出多义词义项的算法。该方法从以前对每个多义词进行排歧时只考察其上下文环境和对应信息,改变到对句子中所有的词同时考察上下文环境,这样就可以站在句子高度来进行词义标注,最终取得了满意的实验结果。

一个汉语词义自动标注系统的设计与实现

词义排歧在自然语言处理领域占有重要地位。词义排歧的精确率依赖于排歧知识的完备性。但是目前使用基于词典的和基于语料库的词义排歧方法来获取排歧知识的效果都不令人满意。文章将介绍了一个汉语词义自动标注系统，该系统实现了基于语料库的无指导的词义排歧模型，比较成功地解决了排歧知识的获取瓶颈问题。文章将给出系统的总体设计和具体实现，并给出系统测试结果。