中文数据库自然语言查询系统Nchiql设计与实现

中文数据库自然语言查询的研究有两个基本目标 ,首先解决 NL IDB面临的可移植性和可用性的问题 ;其次提出适合中文自然语言查询处理的特有方法 .为此开发了中文数据库自然语言查询系统 NChiql.从总体设计的角度 ,介绍了 NChiql中的可移植性体系结构、中文自然语言查询分析、基于数据库语义的自然语言查询分析与转换和智能界面管理等内容 .实验表明 ,该系统具有良好的可用性及高效和鲁棒的语言分析器 .

自然语言生成系统的多视图体系结构

在Reiter的流水线体系结构基础上,LynneCahill、ChristyDoran等人建立了RAGS(ReferenceArchitectureforGenerationSystem),它的目的是为自然语言生成(NLG)系统定义一个参考体系结构,但它是一个半模型,未能完整地描述生成系统。文章在RAGS的基础上提出了自然语言生成系统体系结构多视图方法,从功能、系统、技术三个视图方向对NLG系统体系结构进行了较为完整的描述。

数据库自然语言查询系统Nchiql中语义依存树向SQL的转换

本文介绍了关系数据库受限自然语言查询系统NChiql中语义依存树向SQL的转换算法。文章首先介绍了集合块的概念、划分方法以及集合块向SQL的转换算法 ,然后再给出最大集合块的再次划分方法 。

多语种自然语言生成系统中的语言模型

介绍了在多语种自然语言生成系统中如何用统一的模型来表示各语种的语言知识 .本文将语言知识分为语义资源和语法资源两个部分 .前者通过 Schema和优化规则确定文本的内容 ;后者根据句子结构类、句法规则和词典确定文本的具体形式 .该模型以复杂特征集为语言知识的载体 。

多语种自然语言生成系统中的预映射句子规划器

自然语言生成是研究如何用计算机来生成自然语言文本的研究领域 ,经典结构是宏观规划、微观规划和表层生成的流水线结构 .分析了多语种自然语言生成系统 ACNL G中的微观规划器 ,提出了“基于语言资源预映射的句子优化器”,它不仅对句子进行优化 ,而且负责将语种无关的文章内容映射到具体语种的表达方式中 .其核心思想就是将处理过程同具体语种的语言资源相分离 ,但同时又以语言资源为导向 ,既继承了现有方法的优点 ,同时也解决了多语种条件下各语种之间细微差别的处理问题 ,使句子优化能够针对目标语种的特点进行优化操作 ,从而使优化效果有实质的提高 。

一个自然语言理解系统的设计和实现

在自然语言理解系统的建立过程中，首要的工作是建立单词词典、语义词典，并建立句型规则和词义信息，利用这些词典和规则进行语义分析和词义的辨识。结合许多实例，详细探讨了解决这些问题的各种方法，它们的有机配合可以有效解决本NKZL自然语言理解系统的语义分析和词义辨识问题，这些方法已经在本系统中得到了运用和验证。

具有可移植性自然语言生成系统的实现

从系统可移植性的角度对自然语言生成系统的任务域处理模块、语言学处理模块、文本生成模块进行研究 ,提出了具有一定可移植性的自然语言生成系统的设计方法 ,并通过实验验证了方法的可行性 。

基于特定任务域的自然语言生成系统实现方法

针对自然语言生成系统在任务域不同时需要对系统进行重新设计的问题,本文从可移植的角度,对自然语言生成系统中的任务域处理模块、语言学处理模块、文本生成模块进行了研究,提出了一种基于特定任务域具有可移植的自然语言生成系统的实现方法,并通过实验验证了该方法的可行性。

基于Schema和RST的自然语言生成混合规划方法

在自然语言生成系统的内容规划阶段，主要的手段是基于Schema的规划方法和修辞结构理论RST方法，Schema方法只适用于模式固定、细节略有变化的文本的生成，而RST方法则比较灵活，但是它的数据结构、规则库比较难建立。把这两种方法集成起来，并对Schema方法进行改造，使之能与RST有机地结合起来。在规划文本时首先用Schema方法规划全局的组织，然后用RST方法控制局部话语的连贯。这种结构可弥补采用单一方法的不足，具有双方的优点。

规范语言与自然语言情报检索研究

情报的存贮和检索赖以进行的条件是描述文献情报特征的标识,包括文献外表特征标识和文献内容特征标识。前者指著者、篇名(书名)、出版者、登录号等,利用它虽然能达到检出文献情报的目的,但难以满足绝大多数检索课题的需求;

基于Prompt的两阶段澄清问题生成方法

在自然语言相关系统中,当用户输入存在歧义时,生成澄清问题询问用户有助于系统理解用户需求;基于Prompt的方法可以更好地挖掘预训练语言模型的潜在知识,但往往需要手动设计模板,限制其生成澄清问题的多样性。为解决这一问题,提出了TSCQG(two-stage clarification question generation)方法。首先,在动态Prompt模板生成阶段,利用歧义上下文和预训练语言模型生成动态的Prompt模板;然后在缺失信息生成阶段,将Prompt模板与外部知识相结合,充分利用预训练语言模型的生成能力生成相应的缺失信息。实验结果表明,在CLAQUA数据集的多轮对话情况中,BLEU值和ROUGE-L值分别达到了58.31和84.33,在ClariQ-FKw数据集上,BLEU值和ROUGE-L值分别达到了31.18和58.86。实验结果证明了TSCQG方法在澄清问题生成任务上的有效性。

统计语言模型综述

1引言 统计语言模型产生于基于统计方法的自然语言处理系统的研究中:如语音识别系统、字符识别系统以及机器自动翻译系统等.对于一个语音识别系统,给定语音信号a和语言的句子集合S,则系统需要解决的问题可以表示为:

多语互译机译系统统一算法基础——差异函数

在基于语义语言理论的多语互译机器翻译系统中,为使用同一算法和程序方便地实现多种自然语言之间的互译,引入了"差异函数".该函数可将某语言功能在各种自然语言表示上的差异隐去,使翻译过程与具体的语言表示无关,从而使系统可以用统一的程序来处理那些功能相同、但在不同语言上处理方法不同的语言内容.以基数表示功能的处理差异为例,讨论了差异函数的作用及其在多种语言上的应用.

后控词表检索系统研究

一、前言带有后控词表的自然语言情报检索系统称为后控词表检索系统。后控词表检索系统与一般自然语言检索系统的主要区别在于后控词表的加入;与一般受控语言检索系统的主要区别在于,从性质上谈前者属于自然语言检索系统,对自然语言实施控制的方法是“后控”。所谓“后控”乃指系统的标引用语及检索用语均为自然语言。

统一语言学中的类几何变换函数

在统一语言学语义单元理论的基础上,从类几何变换的角度对语言所蕴涵的语义知识进行分析和描述,指出不同的自然语言之间的翻译实质上是求解同一语义在不同语言上的不同表示之间的变换.以疑问句的疑问目的变换为例讨论了统一语言学中的类几何变换问题.并将疑问句根据对象和类型重新进行二维分类,同时定义六元素形式系统的变换描述语言TDL描述其可逆变换函数及双向变换算法.最后讨论了该变换函数在多语互译机器翻译系统中的应用.

语料库语言学与机器翻译

1.机器翻译与语言学理论机器翻译是一个跨学科的研究领域,涉及语言学、计算机科学、数学等学科。机器翻译系统作为一种自然语言处理系统离不开语言学理论的指导。任何一种自然语言处理系统都是一定语言模型的机器实现。现代语言学的研究方法大体上可以分为三种方法,即内省法、引出法和语料库语言学方法。

计算语言学应用中的模块化概念

讨论了在开发大型实用的自然语言处理系统中所需的知识与人力资源，提出了采用模块化方式管理这些资源的重要性，并将它他们划归于三个大的层次，即理论语言学、计算语言学和计算机科学，分析介绍了这三个层次在自然语言处理系统研制中所起的作用及各自的任务与目标。

浅谈中文问答系统

问答系统是集知识表示、信息检索、自然语言处理技术于一体的难度很高的研究课题。本文从问题处理、检索系统、答案抽取三个方面进行了详细说明,同时给出了适合于问答系统的检索中权重计算方法。

后控词表系统研究

后控词表是一种对自然语言情报检索系统的输出稍加控制,只供检索用的词表。它将用户在构造检索策略中的智力劳动成果汇集一起,供日后用户检索时参考。本文从三个方面对后控词表作了剖析,并从笔者所建立的后控词表实验检索系统的检索效率及成本效益分析中,初步显示出了它的优越性。

基于BERT的漏洞文本特征分类技术研究

随着信息化的发展和网络应用的增多,许多软硬件产品受到各种类型的网络安全漏洞影响.漏洞分析和管理工作往往需要对大量漏洞情报文本进行人工分类.为了高效准确地判断漏洞情报文本所描述漏洞的类别,提出了一种基于多层双向Transformer编码器表示(bidirectional encoder representation from Transformers,BERT)的网络安全漏洞分类模型.首先,构建漏洞分类数据集,用预训练模型对漏洞情报文本进行特征向量表示.然后,将所得的特征向量通过分类器完成分类.最后,使用测试集对分类效果进行评估.实验共使用了48000个包含漏洞描述的漏洞情报文本,分别用TextCNN,TextRNN,TextRNN_Att,fastText和所提模型进行分类.实验结果表明,所提模型在测试集上的分类评价指标得分均为最高,能够有效应用于网络安全漏洞分类任务,降低人工工作量.