基于混合专家模型的词语上下位关系判别方法

词语的上下位关系判别是自然语言处理中一项基础且具有挑战性的任务。传统的有监督方法通常采用单个模型在整个语义空间中对所有上下位词对进行全局建模,并取得了一定的效果。然而,上下位关系的分布式语义表征具有相当的复杂性,在语义空间的不同区域中往往具有不同的表现,使得全局模型难以学习。针对此问题,文中提出了基于混合专家的上下位关系判别方法。该模型基于分而治之的策略,将语义空间划分为多个子空间,每个子空间对应一个局部专家(模型),局部专家(模型)关注它们自己的子空间,并采用门控机制决定空间的分割和专家的混合。实验结果表明,这种专家混合模型在公开数据集上的性能优于传统的全局模型。

基于多通道特征融合的上下位关系抽取方法

上下位关系抽取是知识图谱构建的关键环节,目前常用的基于模板和分布式的方法存在可移植性差、召回率低等不足。针对这些问题,提出了一种基于多通道特征融合的上下位关系抽取方法,通过预训练词嵌入、双向LSTM和依存句法树结果编码三个通道来构建模型编码器。首先,提出了上下位关系抽取整体框架,包括数据挖掘与标注模块、特征抽取模块、候选句打分模块及结果排序模块。然后,针对特征抽取模块,提出了融合句法依存关系、上下文特征以及预训练特征的自适应编码方法;针对句子打分模块,提出了包含编解码器结构的网络模型。最后,通过对准确率、召回率、查全率进行消融实验,表明所提出的模型具有较好的有效性和更好的可解释性。

基于混合特征的上下位关系验证方法

上下位关系的自动验证是知识获取中的一个关键问题。提出一种基于混合特征的迭代上下位关系验证方法,从语义、语境、空间结构角度,给出一组上下位关系特征,根据抽样数据分析,将所有特征转化为用于验证的产生式规则,利用这些规则对基于模式获取的上下位关系进行循环迭代验证。实验结果说明了该方法的有效性。

概念空间中上下位关系的意义识别研究

针对上下位关系在分类层级结构建立阶段遇到的多义性问题,给出一种概念空间中上下位关系意义识别的方法.单个概念的意义识别问题被转换为概念空间中上下位关系的意义识别.首先利用并列语境解决语境稀疏问题,获取上下位关系意义的语境.然后利用《同义词词林》对每个语境进行词义修正,以三种特征计算特征词权重,构建"关系-词"的高维向量空间,然后通过潜在语义分析降维,获取上下位关系意义的潜在语义,最后组平均聚类后得到关系的意义划分.在实验中,给出了聚类阈值自动调整函数,分析了词林和潜在语义分析的作用,实验结果证实了方法的有效性.

利用上下位关系的中文短文本分类

针对短文本长度短、描述信号弱的特点,提出了一种利用上下位关系的中文短文本分类框架。该框架首先利用"知网"确定训练文本中概念对的上下位关系,进而确定词语对的上下位关系,再将其用于扩展测试文本的特征向量,从而实现对测试文本的分类。实验表明:利用上下位关系能够改善短文本的分类性能。

本体概念间上下位关系抽取研究

以匹配"是一个"模式的句子作为研究对象,提出了一种基于句法分析与规则匹配相结合的上下位关系抽取方法.针对结构复杂的句子中下位概念抽取困难的问题,借助句法分析的结果,给出了下位概念中心词的获取方法;结合中心词位置信息和概念边界信息,设计了合适的下位概念抽取规则.实验结果具有较高的准确率和召回率,证实了方法的有效性.

藏文语义本体中的上下位关系模式匹配算法

语义本体是共享概念模型显示的形式化规范说明,其目标是将杂乱无章的信息源转变为有序易用的知识源。目前语义本体还主要依赖于手工创建模式。上下位关系是一种基本的语义关系,常用于语义本体中概念的自动获取和验证。该文首先描述了藏文语义本体的创建方法,进而给出了藏文中的上下位关系模式以及模式匹配算法。上下位关系的模式可以辅助进行概念扩充,也可以作为建立和维护本体的辅助工具,这在一定程度上降低了创建和维护本体的成本。

一种基于条件随机场的领域术语上下位关系获取方法

提出一种基于条件随机场的领域术语上下位关系获取方法。首先,结合百科名片中结构化、制式化的语言表达形式,通过统计分析,提炼出适用于通用模型的特征词词典。然后,在词和词性特征的基础上,结合特征词词典内容和标点符号信息,利用CRF机器学习技术对术语间上下位关系的内在规律进行学习,得到其表达方式和存在环境的概率模型。最后,通过实验对模型的准确性进行验证,并提出了改进。实验结果表明:该方法抽取上下位关系的准确率达到73.50%。

结合语境与布朗聚类特征的上下位关系验证

对海量文本语料进行上下位语义关系自动抽取是自然语言处理的重要内容,利用简单模式匹配方法抽取得到候选上下位关系后,对其进行验证过滤是难点问题。为此,分别通过对词汇语境相似度与布朗聚类相似度计算,提出一种结合语境相似度和布朗聚类相似度特征对候选下位词集合进行聚类的上下位关系验证方法。通过对少量已标注训练语料的语境相似度和布朗聚类相似度进行计算,得到验证模型和2种相似度的结合权重系数。该方法无需借助现有的词汇关系词典和知识库,可对上下位关系抽取结果进行有效过滤。在CCF NLP&2012词汇语义关系评测语料上进行实验,结果表明,与模式匹配和上下文比较等方法相比,该方法可使F值指标得到明显提升。

基于图对比的上下位关系检测

上下位关系是自然语言处理(NLP)下游任务的基础,因此上下位关系检测是自然语言处理领域备受关注的问题。针对现有词嵌入方法采用随机初始化词向量,不能很好地捕获上下位关系不对称和可传递的特性,且现有模型没有充分利用预测向量与真实投影之间关系的局限性,提出了一种基于图对比学习的上下位关系检测(HyperCL)方法。引入图对比学习进行数据增强,基于最大化局部和全局表示的互信息,学习具有鲁棒性的词特征表示。所提方法学习了将下位词的词向量投影到上位词和非上位词,同时能够更好地区分嵌入空间中的上位词和非上位词,从而提高了检测精度。在2个基准数据集上的实验结果表明,所提模型比现有方法在准确率上提升了0.03以上。

结合词向量和Bootstrapping的领域实体上下位关系获取与组织

实体上下位关系是构建领域知识图谱不可或缺的一种重要的语义关系,传统抽取上下位关系的方法大多不考虑关系的组织。提出一种结合词向量和Bootstrapping的方法来实现领域实体上下位关系的获取与组织。首先,选取旅游领域的种子语料集;然后,采用基于词向量的相似度计算方法对种子集中包含的上下位关系模式进行聚类,筛选出置信度高的模式并对未标注语料进行上下位关系识别,得到候选关系实例,同时选择置信度高的关系实例加入到种子集中,进行下一轮的迭代,直到得到所有的关系实例;最后,根据领域实体上下位关系对的向量偏移并结合领域实体层级关系的特点,采用映射的学习方法进行领域实体层级关系组织。实验结果表明,与传统的方法相比,所提方法的F值提高了近10%。

基于词模式嵌入的词语上下位关系分类

提出一种基于词模式的上下位关系分类方法,可以有效地缓解传统的基于模式的分类方法存在的稀疏问题,提高了关系分类的召回率。进一步地,通过词模式嵌入,将基于模式的方法与基于词嵌入的方法进行有效的融合。为了验证方法的有效性,标注一个包含12000个汉语词语对的数据集。实验结果表明,该词模式嵌入方法是有效的, F1值可以达到95.36%。

基于CCRF的领域本体概念上下位关系抽取

现有领域本体概念上下位关系抽取方法受到手工标注和特定模式的限制。针对该问题,提出一种基于层叠条件随机场的领域本体概念上下位关系抽取方法。以自由文本为抽取对象,采用两层条件随机场算法,将训练数据处理成条件随机场能识别的线性结构。低层条件随机场模型考虑词之间的长距离依赖,对词进行建模,识别出领域概念并对概念进行顺序组合,结合模板定义特征得到概念对;高层模型对成对概念进行上下位语义标注,识别出领域本体概念之间的上下位关系。采用真实语料进行实验,结果表明,该方法具有较好的识别效果。

面向上下位关系预测的词嵌入投影模型

上下位关系是自然语言处理领域中的重要概念,用于描述概念之间的从属关系.上下位关系的精准预测,有助于挖掘概念之间的内在层次结构,是构建大规模语义网络、知识本体、知识图谱等知识密集型系统的重要基石.传统上下位关系的预测算法大多依赖较为固定的语言模式,因而具有低覆盖度、高人工干预等缺陷.此外,语言模式与语言本身的特性高度相关,在中文等表述灵活的语言中预测精度较低.随着深度学习技术在自然语言处理领域迅猛发展,词嵌入技术被广泛应用于建模词之间的语义关系.特别地,词嵌入投影模型学习如何将下位词的词向量投影到上位词的词向量,显式地建模了上下位关系的关系表示.基于已有经典研究以及最新成果,本文详细论述了词嵌入投影模型的发展过程和最新研究进展,包括基于迭代学习、转导学习、对抗学习等深度学习技术在词嵌入投影模型上的改进.在实验中,我们对多个词嵌入投影模型在中文和英文的公开数据集上进行充分详细的评测,探讨了不同的词嵌入投影模型在不同学习场景下的优缺点.最后,在面向特定领域和长尾上下位关系抽取等问题上探讨了未来的研究展望.

汉语上下位关系分类数据集构建和基准方法比较

针对目前缺少较大规模的高质量上下位关系数据集以支持充分的模型训练和评价的问题,提出了一个完整、系统的上下位关系标注规范,并在此规范基础上标注了一个包含15024个汉语词对的高质量上下位关系数据集.所有数据均采用独立双人标注和专家不一致审核,双人标注一致性达94.20%.并且基于该数据集,对前人提出的几种典型分类方法进行了对比和分析,其中融合多特征的依存路径表示模型的F1值达到91.95%.

基于特征向量的本体概念上下位关系验证

提出一种基于概念对的语义特征和语境特征的特征向量来验证概念之间是否具有上下位关系的方法。从概念对的构词、共现、特征词出现数量、概念对在句中位置的距离出发,构建概念对上下位关系的特征向量,并使用支持向量机(SVM)进行训练和预测,从而实现本体关系的抽取。

一种基于语义的上下位关系抽取方法

分类体系主要由上下位关系组成,传统的基于模板的上下位关系抽取方法分为两类:第一类方法只使用高质量的模板导致低召回率;第二类方法使用所有可用的模板导致低精度。根据模板的质量将其分为更细粒度的强句法模板和弱句法模板。为了提高弱模板的精度,将弱模板和概念/实体结合构建语义模板。结合强句法模板和语义模板,提出一套新颖的框架从语料中抽取上下位关系,具有高精度和召回率的特点。在中英文语料上进行的实验,实验结果证明了框架的有效性。

基于症状构成成分的上下位关系自动抽取方法

针对症状间上下位关系具有较强结构特性的问题,提出一种基于症状构成成分的上下位关系自动抽取方法。首先,通过观察症状实体,发现症状可以切分为原子症状词、修饰词等八种成分,且成分的构成序列满足一定的规则。然后,利用词法分析系统和条件随机场模型对症状进行切分和成分标注。最后,把症状之间的关系抽取看作一个分类问题,选取症状成分的构成特征、词典特征以及通用特征作为分类算法的特征;基于多种分类算法训练模型,将症状间的关系分为上下位关系和非上下位关系。实验结果表明,当选用支持向量机算法,同时选用三类特征时,取得了最好的效果,准确率、召回率和F1值分别达到了82.68%、82.13%和82.40%。在此基础上,使用所提出的关系抽取算法,抽取了20 619条上下位关系,构建了具有上下位关系的症状知识库。

基于模板的中文上下位关系抽取方法

基于模板的上下位关系抽取是上下位关系自动获取的重要方法。目前学术界通常采用两类模板,但目前中文上下位关系抽取研究尚缺乏对这两类模板的客观比较。针对这一问题,提出基于大规模语料的匹配抽取和高质量人工标注,以实现对两类模板的优劣进行客观对比和评价,为上下位关系自动获取提供坚实基础。对于四种主流的上下位相关句型,在3800万句中文语料上进行匹配抽取,并人工标注2800个随机抽取的上下位候选词对。实验结果表明,依存句法模板的准确度比词法模板高出9.07百分点,而召回度则略低了0.32百分点。

基于同义推理的篇章级实体上下位关系语料库构建

伴随信息时代的快速发展,网络中的数据资源呈现井喷式增长趋势。如何从无序繁多的信息中挖掘深层次的结构化信息,构建一定规模的可用知识库,对于自然语言处理相关任务的研究具有重要意义。上下位关系作为知识库的基本框架,受到国内外专家学者的一致青睐。而目前已经存在的语料库大多局限在通用领域,对跨句子的上下位关系的关注相对较少,而对跨篇章的上下位关系目前还未见到相关标注。该文提出了一种基于同义推理的篇章级实体上下位关系标注策略,并以国防科技领域的文本作为具体实施对象,最终构建了一个中等规模的篇章级上下位关系语料库,该语料库涵盖国防军事领域的新闻文本和科技文献两种题材,共计962篇文本,共标注了11 020个语义关系。实体上下位关系的标注一致性达到0.82,为国防科技领域的上下位关系识别研究奠定了语料基础。