一种基于多层次语言信息的自然语言推理方法

随着网络深度逐层加深,提取特征时表层信息和浅层特征或多或少被遗失,而一些推理场景需要浅层特征来作出推理判断。为此,提出一种融入多层语言信息的自然语言推理方法,通过学习多层深度神经网络的不同层对结果的贡献权重,有效结合不同层学习到的语言信息对结果进行预测。在SNLI数据集上的实验结果和对多个样例的分析表明,多层神经网络的不同层捕获到了不同的语言信息,不同的网络层擅长不同的推理任务,合理融入不同层次的语言信息有助于方法性能的提升。

基于知识图谱增强的自然语言推理方法研究

自然语言推理(NLI)是自然语言处理中的一项重要任务。它旨在识别两个句子之间存在的逻辑关系。大多数现有的方法通过使用训练语料库从而获得的语义知识进行推理,而忽略了背景知识的使用以及引入。在该工作中,为了解决这个问题,论文提出一种新的基于知识图谱增强的NLI(KGNET)模型,从而在NLI任务重引入相关领域知识的增强。KGNET模型由三个组件组成:语义关系表示模块、知识关系表示模块、和标签预测模块。该模型在两个基准数据集(SNLI和MultiNLI)上的实验验证了模型的有效性。

融合Attention多粒度句子交互自然语言推理研究

自然语言推理的很多问题都可以抽象为句子匹配问题,传统的匹配方法采用的是对句子向量或句子间的词向量做匹配,这些方法都只关注句子自身的语义信息,忽略句子之间的组合特征,造成语义损失.本文提出多粒度句子交互匹配方法,引入Attention机制,通过不同粒度、不同层次的句子交互,利用深度神经网络模型(BiLSTM)对句子蕴含关系进行分类.本文方法在SNLI语料库上进行了丰富的实验,结果表明该方法在自然语言推理任务上比当前最优的方法获得了更好的表现.

基于广义量词单调性的自然语言推理模式研究

广义量词理论是现代逻辑学、理论语言学、计算语言学等交叉领域的重点研究内容之一。利用广义量词的单调性可以解释或判断自然语言推理的有效性。对此有十二个事实和十二个推论可以印证。此项研究对计算机科学中的知识推理和广义量词理论的发展都具有较为重要的理论价值和实践意义。

基于知识图谱路径最优化的自然语言推理方法

外部知识库为自然语言推理模型提供了更多的推理知识,而传统融合知识图谱的自然语言推理模型在子图构建的过程中会引入大量噪声,影响最终模型准确率。对此提出一种基于知识图谱路径最优化的自然语言推理方法,首先结合权重信息和路径长度信息进行子图过滤,从而减少图中未匹配实体的数量,增加子图的上下文相关度,然后运用图神经网络编码子图得到图向量来进一步获取子图中的知识信息,最后将图向量和文本向量相结合送入分类器做判别。采用中文语料库作为实验数据集,结果表明论文模型测试准确率相比基线模型提升1.2%~4.4%,实现了比基线模型更好的识别性能。

基于对抗正则化的自然语言推理

目前自然语言推理(Natural language inference, NLI)模型存在严重依赖词信息进行推理的现象.虽然词相关的判别信息在推理中占有重要的地位,但是推理模型更应该去关注连续文本的内在含义和语言的表达,通过整体把握句子含义进行推理,而不是仅仅根据个别词之间的对立或相似关系进行浅层推理.另外,传统有监督学习方法使得模型过分依赖于训练集的语言先验,而缺乏对语言逻辑的理解.为了显式地强调句子序列编码学习的重要性,并降低语言偏置的影响,本文提出一种基于对抗正则化的自然语言推理方法.该方法首先引入一个基于词编码的推理模型,该模型以标准推理模型中的词编码作为输入,并且只有利用语言偏置才能推理成功;再通过两个模型间的对抗训练,避免标准推理模型过多依赖语言偏置.在 SNLI和 Breaking-NLI 两个公开的标准数据集上进行实验,该方法在 SNLI 数据集已有的基于句子嵌入的推理模型中达到最佳性能,在测试集上取得了 87.60 %的准确率;并且在 Breaking-NLI 数据集上也取得了目前公开的最佳结果.

基于图神经网络和语义知识的自然语言推理任务研究

自然语言推理任务的目的是推断两个句子之间的语义逻辑关系。该文通过模仿人类的推理过程构造模型,首先利用长短时记忆网络提取词的语境特征,模仿人类粗读句子的过程;然后依据外部语义知识,连接两个句子中有语义联系的词,构造一个以词为节点的语义图;接下来模仿人类比较两个句子的语义角色相似性的思维,用图卷积或图注意力神经网络聚合词在图中的空间特征;最后融合词的语境特征和语义图空间特征,进行推理分类。实验结果证明,基于图神经网络的模型能有效利用外部语义知识来提高自然语言推理的准确率。

一种注意力增强的自然语言推理模型

在自然语言处理任务中使用注意力机制可准确衡量单词重要度。为此,提出一种注意力增强的自然语言推理模型aESIM。将词注意力层以及自适应方向权重层添加到ESIM模型的双向LSTM网络中,从而更有效地学习单词与句子表示,同时提高前提与假设文本之间局部推理的建模效率。在SNLI、MultiNLI及Quora数据集上的实验结果表明,与ESIM、HBMP、SSE等模型相比,aESIM模型的准确率能够提升0.5%~1%。

面向自然语言推理的基于截断高斯距离的自注意力机制

在自然语言理解任务中,注意力机制由于可以有效捕获词在上下文语境中的重要程度并提高自然语言理解任务的有效性而受到了人们的普遍关注。基于注意力机制的非递归深度网络Transformer,不仅以非常少的参数和训练时间取得了机器翻译学习任务的最优性能,还在自然语言推理(Gaussian-Transformer)、词表示学习(Bert)等任务中取得了令人瞩目的成绩。目前Gaussian-Transformer已成为自然语言推理任务性能最好的方法之一。然而,在Transformer中引入Gaussian先验分布对词的位置信息进行编码,虽然可以大大提升邻近词的重要程度,但由于Gaussian分布中非邻近词的重要性会快速趋向于0,对当前词的表示有重要作用的非邻近词的影响会随着距离的加深消失殆尽。因此,文中面向自然语言推理任务,提出了一种基于截断高斯距离分布的自注意力机制,该方法不仅可以凸显邻近词的重要性,还可以保留对当前词表示具有重要作用的非邻近词的信息。在自然语言推理基准数据集SNLI和MultiNLI上的实验结果证实,截断高斯距离分布自注意力机制能够更有效地提取句子中词语的相对位置信息。

利用上下文相似度增强词对齐效果的自然语言推理方法

当前的自然语言推理方法在进行词对齐时往往只关注如何利用上下文信息改善词汇的表示,而忽略了上下文相似度对词汇对齐的帮助。推理方法在融合局部判定信息进行结果预测时,通常赋予局部判定信息相同的权重,而实际上不同词汇对应的局部判定信息对最终结果具有不同的影响。因此,提出一种通过增强词对齐性能改善自然语言推理性能的方法,该方法在词对齐时同时考虑词汇的词义相似度和上下文相似度,并且利用选择门机制对不同的局部判定信息进行加权。实验表明,该方法能够获得与当前最优的模型相当的准确率,而且该方法更加符合人脑推理判定行为过程,且具有很好的可解释性。

基于深度学习的自然语言推理模型研究

随着2013年word2vec技术的提出,深度学习在自然语言处理领域也迎来了黄金发展时期。自然语言理解和自然语言生成是自然语言处理领域的两个重要研究分支。自然语言推理任务是自然语言理解子方向中一个重要的研究课题,因此,本文主要就基于深度学习的自然语言推理模型进行相关研究。

叙实性和事实性：语言推理的两种导航机制

文章讨论叙实性和事实性在语言推理中的导航作用及其运作机制。首先说明了人类内在性的语言能力使得人们能够抓住语言表达的形式线索来进行真值判断和语义推理,强调语言能力落实在具体的词项和构式之中。接着论证了叙实性表达的真值的可靠性问题,揭示了其背后的交互主观性和语义推理方面的指引功能,并援引动力学的相关观点,说明反事实表达背后的因果推理可以用“力动态”的心智模式来解释:如果“拮动力”导致“主动力”改变了其固有状态,那么在“拮动力”缺失的情况下,“主动力”会做些什么。文章还讨论了叙实性跟命题态度与言语行为的关系、英语与汉语在反事实推理方面的差别等问题。

微机上实现的逻辑推理语言—Tuili 1.1

一、概述Tuili 是一个基于谓词逻辑的人工智能语言,具有自然的说明性知识表示方式和能够运用这种说明性知识进行多种推理的显著特点。Tuili 的设计不但成功地解决了将产生式语言、逻辑程序设计和过程型语言有机结合的问题,而且在知识程序的模块化结构、元级推理以及计算功能等方面有重要创新,因而比目前其它的一些人工智能语言,如OPS5、LISP、Prolog 等,更适合建造专家系统和基于知识的系统。Tuili 以其设计新颖、推理功能丰富、高度灵活的控制结构以及表达形式的优雅,受到了国内外同行的普遍重视和高度评价。Tuili 一词具有双重含义。

Tuili(推理)语言的编译方法与实现技术

通用交互式逻辑推理语言Tuili是能够进行不同方向并能选择不同搜索策略进行推理的人工智能语言,特别适合快速建造专家系统或基于知识的系统。它的实现将使这一新颖的推理语言的应用成为可能。本文给出作者已经实现的一个Tuili系统中用到的编译方法和主要的实现技术。

LogC智能推理语言和环境

LogC语言和环境面向知识推理,旨在为包括专家系统在内的一大类智能软件系统设计提供一般目的的集成化环境支持,本文从知识表示、推理效率和环境结构化等三方面阐述LogC语言和环境的设计特点。

融合干预与反事实的知识感知型去偏推理模型

溯因自然语言推理任务旨在根据给定前提事件和结果事件选择更加合理的假设事件。针对推理过程中由中介变量与混杂变量导致的“逻辑缺陷”与“单句标签泄露”偏差问题,提出一种基于干预与反事实原理推理模型(KDIC)。该模型中包含了中介变量调节器、单句假设偏差、外部知识融合三个模块。中介变量调节器由因果图干预与假设对比学习组成。因果图干预旨在基于给定事件构建一个因果图,基于注意力机制和图卷积网络提取中介变量指导深度网络编码,去捕获未观察事件的潜在特征。同时,引入假设对比学习,激励模型主动区分影响假设判断的关键因素并弥补“逻辑缺陷”。基于反事实问题构建单据假设偏差模块,以主动识别“单句标签泄露”带来的推理偏差,减少模型对假设中某些特定词汇或短语的依赖。采用预训练常识知识图谱编码器ComET引入外部知识,确保模型全面理解观察事件发生的动机和可能结果,增强事件间的整体逻辑性。在αNLI数据集上进行了实验,证明KDIC的推理能力仅次于基于自监督训练得到的Electra-large-discriminator,但KDIC具有更强的鲁棒性以缓解推理过程中的偏差。

基于平衡损失和多级注意力的溯因推理方法

针对溯因自然语言推理任务(aNLI)中存在的问题,即正确假设之间存在一定独立性,且对推理的贡献存在不一致性,设计一种“平衡正样本softmax聚焦损失”,调整正确假设概率影响程度,并平衡样本损失权重.此外,在aNLI中,正样本与负样本之间的关联性往往体现在特定的短语上,这些短语对判断样本的合理性至关重要.因此设计多级注意力模型,通过多层次的注意力机制逐步细化,从而实现对短语级特征的深层次关注.这个新模型被命名为平衡损失多级注意力MAT-Ball模型.结果表明,MAT-Ball模型在Roberta-large预训练模型上取得了最高的性能,与公开可获得代码的方法相比,ACC和AUC结果分别增加了约1%和0.5%.同时,研究比较了在低资源和损失收敛性方面的性能,证明了所提出的方法的效率和鲁棒性.

一种基于自然语言的安全事故文本事件推理方法分析

传统的事故事件文本处理通常需要人工分析事故事件的原因、措施和违反相关规定的行为。而安全事故文本往往涉及特定场景,特别是在文本输入和要求结果方面,人工分析需要耗费大量的人力物力。本文提出了一种基于自然语言的安全事故推理方法,能够快速、准确地获取相关事件的发展脉络和信息,更高效、更客观、更准确地处理事故。

面向对象数据库的推理查询语言

本文基于复旦大学开发的一个面向对象数据库系统ＦＯＯＤ，提出一种推理查询语言Ｏ－Ｄａｔａｌｏｇ，语言能方便地表达对面向对象数据的各种查询和推理要求，它可以转换 Ｄａｔａｌｏｇ形式，能运用各种高效计值算法，比其它一些基于非Ｈｏｒｎ子句逻辑的语言更易于Ｏ－Ｄａｔａｌｏｇ在形式上是一种Ｄａｔａｏｇ的扩充，本文着重介绍其语法和语义。

一种在关系数据库上实现的模糊双向推理网络——介绍模糊推理语言FUZZYLOG的推理机构

本文提出了一种新型的模糊推理语言FUZZYLOG,介绍了该语言使用的网络式模糊知识库结构,并重点叙述了基于这种结构的网络式推理机的设计思想和实现算法,以及为提高效率和推理精度而设计的“最大子式匹配算法”。