藏语视角下的HowNet共性知识体系研究

HowNet是我国知识库研究的奠基性成果。目前HowNet已构建出汉英双语的知识表征模式,并在语义相似度计算、向量表示等技术领域取得了较好的效果,但现有研究对HowNet共性知识体系本身的合理性以及跨语言的适应性仍缺乏有益探索。藏语作为施通格语言,与汉语、英语具有较大差别,有助于检验HowNet共性知识体系的合理性。该文以具体藏文实例为依据,从藏语格助词的表义性、动词能所关系以及语义分类特征等方面指出HowNet共性知识体系的跨语言适应性有待完善;结合原型理论及藏文能所关系,以提升HowNet共性知识体系的科学性,并据此对HowNet知识体系的架构数据进行修正。

基于Transformer与HowNet义原知识融合的双驱动语义蕴含识别

语义蕴含识别旨在检测和判断两个语句的语义是否一致,以及是否存在蕴含关系.然而现有方法通常面临中文同义词、一词多义现象困扰和长文本难理解的挑战.针对上述问题,本文提出了一种基于Transformer和HowNet义原知识融合的双驱动中文语义蕴含识别方法,首先通过Transformer对中文语句内部结构语义信息进行多层次编码和数据驱动,并引入外部知识库HowNet进行知识驱动建模词汇之间的义原知识关联,然后利用softattention进行交互注意力计算并与义原矩阵实现知识融合,最后用BiLSTM进一步编码文本概念层语义信息并推理判别语义一致性和蕴含关系.本文所提出的方法通过引入HowNet义原知识手段解决多义词及同义词困扰,通过Transformer策略解决长文本挑战问题.在BQ、AFQMC、PAWSX等金融和多语义释义对数据集上的实验结果表明,与DSSM、MwAN、DRCN等轻量化模型以及ERNIE等预训练模型相比,该模型不仅可以有效提升中文语义蕴含识别的准确率(相比DSSM模型提升2.19%),控制模型的参数量(16 M),还能适应50字及以上的长文本蕴含识别场景.

基于HowNet的词汇语义倾向计算

在互联网技术快速发展、网络信息爆炸的今天,通过计算机自动分析大规模文本中的态度倾向信息的技术,在企业商业智能系统、政府舆情分析等诸多领域有着广阔的应用空间和发展前景。同时,语义褒贬倾向研究也为文本分类、自动文摘、文本过滤等自然语言处理的研究提供了新的思路和手段。篇章语义倾向研究的基础工作是对词汇的褒贬倾向判别。本文基于HowNet,提出了两种词汇语义倾向性计算的方法:基于语义相似度的方法和基于语义相关场的方法。实验表明,本文的方法在汉语常用词中的效果较好,词频加权后的判别准确率可达80%以上,具有一定的实用价值。

基于树形解码器的航空术语DEF自动生成

该文研究了基于HowNet的KDML语法体系的术语DEF自动生成问题,提出一种基于树形解码器的生成方法。在编码器端输入专业术语以及其他外部信息(术语的定义、术语子词的义原等);在解码器端交替使用义原解码器和关系解码器,同时使用注意力机制关注编码器端的各种表征信息,最终得到“义原-关系-义原”形式的输出,并组合成术语对应的义原树,进而得到术语的DEF表示以辅助专业领域HowNet的构建,最终取得了首义原F_(1)值74.13%、总义原F_(1)值53.92%、总关系F_(1)值53.33%、总三元组F_(1)值30.48%的结果。

基于HowNet和PMI的词语情感极性计算

基于语料库的点互信息(PMI)计算方法依赖于语料库的完善性,基于HowNet的计算方法则依赖于知网相似度计算的准确性。为克服2种方法的局限性,提出一种HowNet和PMI相融合的词语极性计算方法,利用知网进行同义词扩展,降低情感词在语料库中出现频率低所带来的问题。实验结果表明,该方法的微平均和宏平均性能比传统方法提升约5%。

基于HowNet概念获取的中文自动文摘系统

本文提出了一种中文自动文摘的方法。不同于其它的基于词频统计的一般方法,运用概念(词义)作为特征取代词语。用概念统计代替传统的词形频率统计方法,建立概念向量空间模型,计算出句子重要度,并对句子进行冗余度计算,抽取文摘句。对于文摘测试,采用两种不同的方法进行测试:一是用机器文摘和专家文摘进行比较的内部测试;二是对不同文摘方法进行分类,通过对分类正确率的比较的外部评测方法。

基于HowNet的话题跟踪及倾向性分类研究

本文研究了如何基于信息检索技术和"知网"实现有效的话题跟踪和话题立场分类.话题跟踪任务就是给出话题相关的训练新闻报道,系统在后续报道中发现与这个话题相关的报道.它属于话题检测与跟踪的一项子任务.本文针对跟踪任务中话题本身的特点,论述了权重调整、事件框架和报道扩充等多种提高跟踪性能的策略,同时基于"知网"中的情感体系和动态角色框架,提出了如何填充框架并结合建立的立场概念库对报道进行话题立场分类.实验证明这些方法是有效的.

融合HowNet和BTM模型的短文本聚类方法

针对常规技术对短文本聚类时出现的相似度计算准确度较差、聚类结果不稳定等问题,提出一种以HowNet语义词库和BTM主题建模为基础的相似度计算方法,将两者进行线性组合,综合考察短文本的相似性。建立基于聚类质量和聚类差异度的聚类结果评价指标,进行优劣评价,过滤出质量较好的结果,利用CSPA融合算法进行聚类融合。实验结果表明,该方法提高了短文本相似度计算的准确性,改进了融合结果稳定性。

面向新词义原推荐的相似性判别方法

义原(Sememe)是构成《知网》(HowNet)概念描述的核心部件,新词概念描述义原的推荐是HowNet自动或半自动扩展中涉及的关键问题。面向新词义原推荐,该文提出一种融合义原注意力的预训练语言模型优化方法——SaBERT。在判别新词与HowNet词表词之间的语义相似性的过程中,该方法利用词表词已知概念描述义原序列的注意力分布,以相似性同构为目标,对基于BERT+CNN的相似性判别模型进行优化,从而为义原推荐任务提供相似概念集合。实验结果表明,采用SaBERT可以有效解决未登录词与词表词的相似性判别问题,准确率、召回率、F1值分别达到0.8314、0.8007和0.8158。在基于协同过滤框架的义原推荐任务上进行的实验表明,相似性同构程度与义原推荐效果正相关,说明该文方法能够有效解决候选义原选择问题。

基于HowNet语义相似度的FAQ研究

FAQ是网站提供在线帮助的主要手段。利用检索机制根据用户提出的问题建立一个候选问句集,利用知网研究了用户问句和候选问句之间的相似度,从中找出最相似的问句,并将相应答案返回给用户。实验表明,该方法提高了问句匹配的准确率。

基于HowNet的VSM模型扩展在文本分类中的应用研究

在采用VSM模型进行文本分类时,如果特征向量维数相差悬殊,会给分类结果产生很大负面影响。为了解决这一问题,本文引入了特征向量扩展的思想,同时定义了有效原始信息浓度的概念。特征向量扩展以HowNet语义词典为依据,对高维和低维特征向量采用不同的扩展策略,从而减小了不同类别语料间有效原始信息浓度的差值,进而改善复杂语料的分类结果。实验表明该方法在复杂语料情况下,通过对特征向量进行HowNet语义扩展,可以较好的改善分类结果。

基于HowNet的航空术语语义知识库的构建

语义知识库的构建是自然语言处理基础性工作,对于语言信息的处理有重要的作用,但面向特定领域的语义知识库的构建还是一个难点。该文在分析了航空术语的基本特点的基础上,根据HowNet和KDML描述语言构建了面向航空领域的术语语义知识库,并在构建航空术语知识库的过程中总结形成了构建航空术语知识库的基础规则、动态角色/特征的选择规则。在文章最后对所构建的术语进行了相似度的计算,取得了较好的结果。

基于可拓学和HowNet的策略生成系统研究进展

在已有可拓策略生成系统框架基础上,利用可拓信息-知识-策略形式化表示体系、HowNet的知识系统描述语言(KDML)和Agent的智能引导,建立了基于可拓学和HowNet的策略生成系统的基本流程和系统框架结构,增强了可拓策略生成系统解决矛盾问题的能力,改善了知识资源缺乏问题,提高了其问题模型建立的准确性和知识处理能力。初步的应用显示了该研究的优越性。把可拓学和HowNet这2个中国原创的理论和应用工具相结合研究策略生成系统,将使这项有别于传统研究思路的基础研究取得重要突破,产生具有完全自主知识产权的成果。这也是为将来能实现矛盾问题的智能化处理作基础性的工作。

基于HowNet的信息量计算语义相似度算法

语义相似度计算的应用范围广泛,从心理学、语言学、认知科学到人工智能都有其应用.提出了仅依赖于知网(HowNet)的信息量计算来估计两个词汇间的语义相似度.经实验证明,相比于传统的基于词网(WordNet)和大型语料库的计算信息量来估计语义相似度的算法,本文的算法更容易计算,并更接近于人工的语义相似度判断.

基于HowNet句子相似度的计算

汉语句子的相似度计算在自然语言处理领域中是一项基础而又重要的工作,它直接决定着相关领域的研究发展状况。在词语相似度计算的基础上,针对目前句子相似度计算方法的不足,文中提出一种基于How Net的计算句子相似度的方法。在《知网》的词汇语义相似度计算基础上,加入了词语定义义原间的反义、对义关系、单义原的否定和符号义原、定义信息来计算词语的相似度。计算句子相似度前加入词语的消歧,在计算句子相似度时考虑了词语定义的关系义原与待比较的词定义的某个义原相等的情况,并加大了关系义原的权重。实验结果表明,在同等的测试条件下,所提出的句子相似度计算方法可以提高句子相似度的计算精度,更符合人的直观感觉。

借重于人工知识库的词和义项的向量表示：以HowNet为例

该文旨在以HowNet为例,探讨在表示学习模型中引入人工知识库的必要性和有效性。目前词向量多是通过构造神经网络模型,在大规模语料库上无监督训练得到,但这种框架面临两个问题:一是低频词的词向量质量难以保证;二是多义词的义项向量无法获得。该文提出了融合HowNet和大规模语料库的义原向量学习神经网络模型,并以义原向量为桥梁,自动得到义项向量及完善词向量。初步的实验结果表明该模型能有效提升在词相似度和词义消歧任务上的性能,有助于低频词和多义词的处理。作者指出,借重于人工知识库的神经网络语言模型应该成为今后一段时期自然语言处理的研究重点之一。

基于外部知识筛选的主题文本生成技术研究

在自然语言生成任务中,主题文本生成是一项富有挑战性的工作,其主要难点在于:源信息量远小于目标生成的信息量.为了解决该问题,本文提出一个基于外部知识筛选的主题文本生成模型Trans-K,通过引入与主题词相关的外部知识来丰富源信息,进而提高生成文本的质量.本文为了解决引入外部知识的“一词多义”问题,提出一种基于线性变换的主题向量计算方法,用于筛选和主题词语义一致的外部知识;提出一种基于注意力机制的外部权重计算方法,为每个外部词设定一个主题权重,使其更贴合文本语义;为了解决主题词(含候选词)在生成文本中反复出现的问题,提出一种基于多头注意力机制的内部权重计算方法.在EASSY数据集上的实验表明,与基线相比,Trans-K生成文本质量的各项指标更优.此外,人类评估表明,该模型可生成与主题更相关、语言更连贯、且符合语义逻辑的文本.

基于HowNet词汇相关性的文本聚类

提出基于HowNet词汇相关性的聚类方法,该方法通过统计学的Z分数来消除孤立点,根据文档的稀疏分布程度,选择初始聚类中心,并且考虑词与词的相关性和词与词的语义相似性,使得文本聚类的精确度得到了提升,时间消耗上也大大减少.

基于HowNet和PAT树的网购评语情感分析

在对相关研究情况进行总结与分析的基础上,通过对How Net情感词典进行扩展并利用基于PAT树和统计相结合的分词方法,对从淘宝网站中获取的评论内容进行分析,结果表明,基于How Net和PAT树的情感分析方法对分析网购评论的情感倾向性行之有效,并以淘宝一女装商家为例进行实证研究,最后指出进一步探索情感倾向性分析的几个方向。

基于HowNet的数据结构综合实践课程改革

文章设计了一个适合于数据结构综合实践课程的实践项目。该实践项目的特点是可以让学生综合运用线性结构、树形结构和图形结构三种数据结构,让学生体验到分析、设计、实践的全过程。