基于Transformer与HowNet义原知识融合的双驱动语义蕴含识别

语义蕴含识别旨在检测和判断两个语句的语义是否一致,以及是否存在蕴含关系.然而现有方法通常面临中文同义词、一词多义现象困扰和长文本难理解的挑战.针对上述问题,本文提出了一种基于Transformer和HowNet义原知识融合的双驱动中文语义蕴含识别方法,首先通过Transformer对中文语句内部结构语义信息进行多层次编码和数据驱动,并引入外部知识库HowNet进行知识驱动建模词汇之间的义原知识关联,然后利用softattention进行交互注意力计算并与义原矩阵实现知识融合,最后用BiLSTM进一步编码文本概念层语义信息并推理判别语义一致性和蕴含关系.本文所提出的方法通过引入HowNet义原知识手段解决多义词及同义词困扰,通过Transformer策略解决长文本挑战问题.在BQ、AFQMC、PAWSX等金融和多语义释义对数据集上的实验结果表明,与DSSM、MwAN、DRCN等轻量化模型以及ERNIE等预训练模型相比,该模型不仅可以有效提升中文语义蕴含识别的准确率(相比DSSM模型提升2.19%),控制模型的参数量(16 M),还能适应50字及以上的长文本蕴含识别场景.

基于HowNet概念获取的中文自动文摘系统

本文提出了一种中文自动文摘的方法。不同于其它的基于词频统计的一般方法,运用概念(词义)作为特征取代词语。用概念统计代替传统的词形频率统计方法,建立概念向量空间模型,计算出句子重要度,并对句子进行冗余度计算,抽取文摘句。对于文摘测试,采用两种不同的方法进行测试:一是用机器文摘和专家文摘进行比较的内部测试;二是对不同文摘方法进行分类,通过对分类正确率的比较的外部评测方法。

基于HowNet的话题跟踪及倾向性分类研究

本文研究了如何基于信息检索技术和"知网"实现有效的话题跟踪和话题立场分类.话题跟踪任务就是给出话题相关的训练新闻报道,系统在后续报道中发现与这个话题相关的报道.它属于话题检测与跟踪的一项子任务.本文针对跟踪任务中话题本身的特点,论述了权重调整、事件框架和报道扩充等多种提高跟踪性能的策略,同时基于"知网"中的情感体系和动态角色框架,提出了如何填充框架并结合建立的立场概念库对报道进行话题立场分类.实验证明这些方法是有效的.

基于HowNet的VSM模型扩展在文本分类中的应用研究

在采用VSM模型进行文本分类时,如果特征向量维数相差悬殊,会给分类结果产生很大负面影响。为了解决这一问题,本文引入了特征向量扩展的思想,同时定义了有效原始信息浓度的概念。特征向量扩展以HowNet语义词典为依据,对高维和低维特征向量采用不同的扩展策略,从而减小了不同类别语料间有效原始信息浓度的差值,进而改善复杂语料的分类结果。实验表明该方法在复杂语料情况下,通过对特征向量进行HowNet语义扩展,可以较好的改善分类结果。

基于改进型VSM-HowNet融合相似度算法研究

随着信息科学技术的发展和互联网技术的普及,社会上出现了越来越多的以博取观众的眼球为目的的"标题党"现象。为了识别"标题党"新闻,给出了一种基于改进型的VSM结合余弦相似度的文本相似度计算方法和《知网》(How Net)文本相似度计算方法,并研究了基于改进型VSM-HowNet融合相似度算法,用这些文本相似度的计算方法分别和已有研究中的王氏主题-词形文本相似度计算方法做对比。此方法对"标题党"新闻识别的总准确率、总召回率及总F1值均高于其他文本相似度计算方法,对于识别一篇未知类型的新闻,改进型VSM-HowNet融合相似度算法相比于其他文本相似度计算方法更有优势。

基于可拓学和HowNet的策略生成系统研究进展

在已有可拓策略生成系统框架基础上,利用可拓信息-知识-策略形式化表示体系、HowNet的知识系统描述语言(KDML)和Agent的智能引导,建立了基于可拓学和HowNet的策略生成系统的基本流程和系统框架结构,增强了可拓策略生成系统解决矛盾问题的能力,改善了知识资源缺乏问题,提高了其问题模型建立的准确性和知识处理能力。初步的应用显示了该研究的优越性。把可拓学和HowNet这2个中国原创的理论和应用工具相结合研究策略生成系统,将使这项有别于传统研究思路的基础研究取得重要突破,产生具有完全自主知识产权的成果。这也是为将来能实现矛盾问题的智能化处理作基础性的工作。

基于HowNet的航空术语语义知识库的构建

语义知识库的构建是自然语言处理基础性工作,对于语言信息的处理有重要的作用,但面向特定领域的语义知识库的构建还是一个难点。该文在分析了航空术语的基本特点的基础上,根据HowNet和KDML描述语言构建了面向航空领域的术语语义知识库,并在构建航空术语知识库的过程中总结形成了构建航空术语知识库的基础规则、动态角色/特征的选择规则。在文章最后对所构建的术语进行了相似度的计算,取得了较好的结果。

基于HowNet的信息量计算语义相似度算法

语义相似度计算的应用范围广泛,从心理学、语言学、认知科学到人工智能都有其应用.提出了仅依赖于知网(HowNet)的信息量计算来估计两个词汇间的语义相似度.经实验证明,相比于传统的基于词网(WordNet)和大型语料库的计算信息量来估计语义相似度的算法,本文的算法更容易计算,并更接近于人工的语义相似度判断.

借重于人工知识库的词和义项的向量表示：以HowNet为例

该文旨在以HowNet为例,探讨在表示学习模型中引入人工知识库的必要性和有效性。目前词向量多是通过构造神经网络模型,在大规模语料库上无监督训练得到,但这种框架面临两个问题:一是低频词的词向量质量难以保证;二是多义词的义项向量无法获得。该文提出了融合HowNet和大规模语料库的义原向量学习神经网络模型,并以义原向量为桥梁,自动得到义项向量及完善词向量。初步的实验结果表明该模型能有效提升在词相似度和词义消歧任务上的性能,有助于低频词和多义词的处理。作者指出,借重于人工知识库的神经网络语言模型应该成为今后一段时期自然语言处理的研究重点之一。

基于HowNet和PAT树的网购评语情感分析

在对相关研究情况进行总结与分析的基础上,通过对How Net情感词典进行扩展并利用基于PAT树和统计相结合的分词方法,对从淘宝网站中获取的评论内容进行分析,结果表明,基于How Net和PAT树的情感分析方法对分析网购评论的情感倾向性行之有效,并以淘宝一女装商家为例进行实证研究,最后指出进一步探索情感倾向性分析的几个方向。

基于HowNet的数据结构综合实践课程改革

文章设计了一个适合于数据结构综合实践课程的实践项目。该实践项目的特点是可以让学生综合运用线性结构、树形结构和图形结构三种数据结构,让学生体验到分析、设计、实践的全过程。

融合HowNet的中文电子病历命名实体识别

中文电子病历中存在大量非结构化的文本信息,其中的医学命名实体识别是生物医学领域知识组织和服务的基础。文章首先分析了中文电子病历特征的词语、词性、语素和词的组成等语法特征,以及HowNet语义特征;然后,运用CRF模型,提出了基于CRF医学命名实体的识别方案;最后,实验表明融合HowNet的中文电子病历命名实体识别方法具有较好的效果。

基于HowNet的用户兴趣挖掘研究及应用

搜索引擎中用户查询和网页资源之间的相似度研究一直是页面排序的研究核心。利用HowNet对词语的语义层次架构模型,对用户的检索词进行兴趣挖掘,同时对检索词和挖掘出的兴趣关键词的语义相似度计算方法进行改进,用户的检索请求与分块后的网页资源进行相似度迭代计算。实验结果表明,改进的算法使得页面排序的准确率和首页命中率有了较大提高。

WordNet与HowNet之关系研究

WordNet与HowNet在表征论的语义理论框架下对词汇所携带的概念框架信息采用了不同的描述方式。WordNet采用区别性语义表征,给出了词汇的各种语义关系;HowNet则采用建构性语义表征,给出了概念及概念关系的义原解释。HowNet的义原能够系统解释WordNet中的各种语义关系。

基于HOWNET的汉语组块分析

介绍了当前句法分析的研究现状 ,利用《知网——中文信息结构库》作为知识库 ,结合当前汉语句法分析中的组块分析方法 ,提出了一种基于《知网》

基于HowNet的论文复制检测关键技术研究

词语相似度计算是论文复制检测的一个关键问题,在具有中英文词语知识的HowNet上,通过对现有典型的词语相似度算法分析,综合考虑词语相关性、层次树的深度和密度等多维度因素,提出一种新的词语相似度计算算法,实验表明计算结果更符合实际词语的相似度判断.

基于HowNet获取数据库系统知识库的研究

以HowNet(2000)为基础,详细介绍如何从中获取并转换为数据库系统所需要的知识库.

HowNet在文本挖掘中的应用

该文介绍HowNet在文本挖掘中的应用,利用HowNet从中文语义的角度计算中文词语相似度,计算词语之间的相关性,为实现更深层次的信息处理做准备。

基于HowNet的语义表示学习

HowNet是一个大规模高质量的跨语言(中英)常识知识库,蕴含着丰富的语义信息。该文利用知识图谱领域的方法将HowNet复杂的结构层层拆解,得到了知识图谱形式的HownetGraph,进而利用网络表示学习以及知识表示学习方法得到了跨语言(中、英)、跨语义单位(字词、义项①、DEF_CONCEPT②和义原)的向量表示,在词语相似度(word similarity)和词语类比(word analogy)任务上对中英文数据集进行了实验,实验结果显示该文提出的方法在词语语义相似度的任务上取得了最好效果。

HowNet义原标注一致性检验方法研究

义原(sememe)被定义为人类语言中不可再分的最小语义单位。一个词语的意义可以由多个义原的组合来表示。以往人们已经人工为词语标注义原并构建了知网(HowNet)这一语言知识库,并借此将义原应用到了多种自然语言处理任务。但传统的人工标注费时费力,而且不同的专家进行标注难免会引入标注者的主观偏差,导致标注的一致性和准确性难以保证。因此,保证词的义原标注一致性已成为建设高质量语言知识库HowNet、提升义原应用任务效果的首要任务。该文首次提出了一种对HowNet已标注的义原进行一致性检验的方法。实验结果表明,所提方法切实有效,能够很好地应用于HowNet知识库的标注一致性检验以及完善扩充。