一种改进的无监督网络图词义消歧方法研究

词义消歧是一项根据上下文自动选择正确词义的任务,并且成为了计算语言学领域中最重要最有挑战性的难题之一,在各种自然语言处理应用程序中起了至关重要的作用。因此,为了提高词义消歧的准确率,提出一种改进的无监督网络图词义消歧方法。使用《知网》How Net作为知识库,运用一种新的词语间高阶关系的相似性度量方法,来给图的边分配适当的权值。然后,使用中心度计算并且结合相邻词义,来选择最适合目标词的方法。在数据集Senseval-3中进行了具体测试。实验结果显示：提出的方法的准确率达到46.1%,优于相同测试集下其他无监督词义消歧方法。

基于知网义原词向量表示的无监督词义消歧方法

词义消歧一直是自然语言处理领域中的重要问题,该文将知网(HowNet)中表示词语语义的义原信息融入到语言模型的训练中。通过义原向量对词语进行向量化表示,实现了词语语义特征的自动学习,提高了特征学习效率。针对多义词的语义消歧,该文将多义词的上下文作为特征,形成特征向量,通过计算多义词词向量与特征向量之间相似度进行词语消歧。作为一种无监督的方法,该方法大大降低了词义消歧的计算和时间成本。在SENSEVAL-3的测试数据中准确率达到了37.7%,略高于相同测试集下其他无监督词义消歧方法的准确率。

无监督词义消歧研究

研究的目的是对现有的无监督词义消歧技术进行总结,以期为进一步的研究指明方向.首先,介绍了无监督词义消歧研究的意义.然后,重点总结分析了国内外各类无监督词义消歧研究中的各项关键技术,包括使用的数据源、采用的消歧方法、评价体系以及达到的消歧效果等方面.最后,对14个较有特色的无监督词义消歧方法进行了总结,并指出无监督词义消歧的现有研究成果和可能的发展方向.

基于维基百科的自动词义消歧方法

针对传统词义消歧仅基于上下文语境而导致准确率低的问题,提出一种多策略的无监督自动词义消歧方法。利用从维基百科在线中提炼出的丰富语义知识,线性融合上下文语境、背景知识和语义信息3大特征,根据逻辑回归算法学习各特征的权重,选取最大融合值所对应的候选项作为最优词义。在SENSEVAL数据集上取得了85.50%的平均准确率,验证了该方法的有效性。

基于义类的无导词义消歧方法的研究

词义消歧在自然语言处理的许多应用领域都起着十分重要的作用。为了适用于大规模的词义消歧,提出了一种无导的学习方法。基于向量空间模型,结合机读词典和义类词典建立从义项到义类的映射关系,再利用义类知识在语料库中无导学习消歧特征,最后利用这些特征实现词义消歧。

半监督卷积神经网络的词义消歧

为了解决有标签语料获取困难的问题,提出了一种半监督学习的卷积神经网络(convolutional neural networks,CNN)汉语词义消歧方法.首先,提取歧义词左右各2个词汇单元的词形、词性和语义类作为消歧特征,利用词向量工具将消歧特征向量化;然后,对有标签语料进行预处理,获取初始化聚类中心和阈值,同时,使用有标签语料对卷积神经网络消歧模型进行训练,利用优化后的卷积神经网络对无标签语料进行语义分类,选取满足阈值条件的高置信度语料添加到训练语料之中,不断重复上述过程,直到训练语料不再扩大为止;最后,使用SemEval-2007:Task#5作为有标签语料,使用哈尔滨工业大学无标注语料作为无标签语料进行实验.实验结果表明:所提出方法使CNN的消歧准确率提高了3.1%.

基于多知识源的汉语词义消歧方法

针对已有词义消歧研究方法的不足,分析了多种不同结构知识词典的可计算性及其计算复杂度,选择北大计算语言所的《现代汉语语法信息词典》、《现代汉语语义词典》和已经标注了词义的人民日报语料作为词义消歧知识源,研究异构知识源的知识获取与融合方法,并结合统计与规则方法构建词义消歧模型,取得了比较满意的词义消歧实验结果。

基于LDA主题模型的维吾尔语无监督词义消歧

维吾尔语是典型的资源稀缺型语言,由于词义消歧标注语料资源和语义分析工具的不足,导致传统的有监督方法难以实现.针对该问题,将篇章文本的词义消歧问题类比为文本主题分类问题,在LDA(latent Dirichlet allocation)主题模型的基础上提出了一种维吾尔语无监督词义消歧模型.为强化主题模型对歧义词语义项的分类性能,加入了3个数据预处理过程:去除停用词,过滤有效词和强化同义词词频权重.实验结果表明,在随机抽取的63组测试样本集中,该模型的词义消歧准确率达到65.08%,在篇章文本采样词任务中词义消歧准确率达到61.2%.

词义消歧相关术语简介

词义消歧是计算语言学领域的基础性关键研究课题。本文介绍了与词义消歧相关的一些重要术语概念,包括词义消歧、词义区分、基于词典的词义消歧方法、有监督的词义消歧方法、词义标注语料库等。

基于无导词义消歧的语义查询扩展

一个构造良好的查询是信息检索质量的基本保证,语义查询扩展技术解决了传统信息检索系统不能很好理解用户查询意图的问题,在提高检索查全率的同时保证了检索准确率.本文以查询关键字之间的语义关联为切入点,辅以隐式反馈技术获取消歧上下文,以WordNet本体库和WordNet Domains扩展库作为消歧数据源,使用基于局部上下文和基于图论的两类无导词义消歧方法进行查询关键字到本体概念的映射,最后基于概念词汇关联完成基于语义的查询扩展.综合WordNet本体库和WordNet Domains扩展库中的各项知识源对查询词义进行判定,保证了词义消歧的精度;采用无导词义消歧实现查询词义的快速判定,保证了信息检索的实时性;根据查询关键词的多寡分别提出两类消歧方法,满足了各种查询需求.

基于最大熵原理的汉语词义消歧

词义消歧是自然语言处理中亟待解决的一个关键问题,本文提出一种基于最大熵模型的有监督的机器学习方法,用于汉语词义消歧。该方法综合了词标记、词性、主题等上下文特征,并用一种统一的表示方法规范化特征形式,解决了多种不同特征之间的融合和特征的知识表示。实验对20个汉语高频多义词进行了测试,平均正确率为87％,验证了该方法的有效性。

基于向量空间模型的无导词义消歧

词义消歧一直是自然语言理解中的一个关键问题,该问题解决的好坏直接影响到自然语言处理中诸多问题的解决。现在大部分的词义消歧方法都是在分词的基础上做的。借鉴前人的向量空间模型运用统计的方法,提出了不用直接分词而在术语抽取的基础上做消歧工作。在义项矩阵的计算中,采用改进了的tf.idf.ig方法。在8个汉语高频多义次的测试中取得了平均准确率为84.52%的较好的效果,验证了该方法的有效性。

面向统计词义消歧的核选择研究进展

词义消歧解决自然语言中同形异义词语在不同上下文环境中的义项标注问题,是自然语言处理领域的基础性关键问题.核方法是机器学习中一类强有力的统计学习技术,被广泛应用于分类、回归、聚类等诸多领域.基于核方法的词义消歧的关键是如何构造一个能够充分表达待消歧词上下文信息的核函数.在介绍基于核方法的词义消歧系统的一般框架之后,系统阐述了国内外面向统计词义消歧的核函数构造与选择的研究现状及进展,重点分析了研究中存在的问题及解决方法,最后探讨了未来研究的重点与可能的发展方向.

基于连接文法的双语E-Chunk获取方法

提出了一种面向机器翻译领域的扩展Chunk概念·E Chunk是在Chunk概念基础上基于语义惟一性的一种扩展形式 ,其具体形态表现为具有无歧义性、复现性、可嵌套性、内部结构句法自足性的无歧义机器可翻译单元·讨论了使用连接文法的连接因子进行英语E Chunk的识别技术和双语E Chunk获取方法·双语E Chunk库的建立必将为基于Chunk的机器翻译技术提供极大的支持·

词义消歧研究:资源、方法与评测

词义消歧是计算语言学领域的基础性关键研究课题。本文从语言资源建设、词义消歧方法和国际语义评测三个方面概要地介绍了词义消歧研究的现状:语言资源建设主要介绍了语义词典构建和词义标注语料库建设;词义消歧方法重点介绍了有指导的机器学习方法;语义评测主要介绍了国际语义竞赛SemEval。以期了解词义消歧研究的前沿状态,促发从计算的角度来审视义项区分和词义描述,进而促进汉语词汇语义学的研究。

一种基于全局领域和短期记忆因子的图模型

词义消歧是一项具有挑战性的自然语言处理难题。作为词义消歧中的一种优秀的半监督消歧算法,遗传蚁群词义消歧算法能快速进行全文词义消歧。该算法采用了一种局部上下文的图模型来表示语义关系,以此进行词义消歧。然而,在消歧过程中却丢失了全局语义信息,出现了消歧结果冲突的问题,导致算法精度降低。因此,提出了一种基于全局领域和短期记忆因子改进的图模型来表示语义以解决这个问题。该图模型引入了全局领域信息,增强了图对全局语义信息的处理能力。同时根据人的短期记忆原理,在模型中引入了短期记忆因子,增强了语义间的线性关系,避免了消歧结果冲突对词义消歧的影响。大量实验结果表明:与经典词义消歧算法相比,所提的改进图模型提高了词义消歧的精度。

第十九届中国计算语言学大会征文通知

第十九届中国计算语言学大会"(The Nineteenth China National Conference on Computational Linguistics,CCL2020)将于2020年10月31日至11月1日在海口举行,会议由海南大学承办。CCL2020征集计算语言学方面的原创研究和应用论文。论文包括但不限于以下内容:语言处理的认知建模和心理语言学、面向自然语言处理的机器学习、评测方法、语言资源和标注、词汇语义学和词汇本体论、中文分词、词性标注和词义消歧、组块分析。

《自然语言加工的认知方法》评介

随着计算机技术的发展和人工智能研究的深入,计算机因其在海量信息的文本挖掘、信息提取、跨语言信息处理等方面的优势,在自然语言加工中的作用日益凸显。如何把人类认知引入到人工智能中,令其能够在自然语言产生、理解、加工等方面达到类人智能水平,是目前人工智能和语言学界讨论的热点、难点和焦点.