基于Sentence-BERT语义表示的咨询问题提示列表自动构建方法研究——以糖尿病咨询为例

[目的/意义]咨询问题提示列表能引导咨询者在智能问答和智能咨询系统进行咨询并为动态咨询引导提供基础。目前,关于问题提示列表构建的研究大多采用专家咨询法、访谈法,这些方法无法满足智能咨询服务要求,本文以有问必答网中糖尿病问答为例,提出了基于Sentence-BERT语义表示的咨询问题提示列表自动构建模型。[方法/过程]本文首先在糖尿病相关文献调查和分析的基础上确定糖尿病类目体系,并人工标注咨询问题类别;其次使用LDA模型对每类问题集进行主题聚类;然后各主题下通过Sentence-BERT预训练模型进行问题语义表示,textRank算法计算问题重要性并排序;最终冗余处理后构建出咨询问题提示列表。[结果/结论]实验结果表明,本文提出的模型能有效构建出信息质量较高的、内容丰富的咨询问题提示列表,对咨询引导有促进作用。

预期视野下的“‘既然’+反问句”研究

从预期理论角度看,“既然”复句的前件为条件部分,后件为预期部分时,表示推断;当后件为当前信息部分时,表示预期与当前信息的关系,此时常用于反预期语篇。“既然”复句表示“言者在特定的事实条件下进行的主观选择”;“如果”复句表示“言者在特定的非事实或反事实条件下进行的主观选择”;“因为……,所以……”因果句表示“全概率或大概率推理的特殊选择”。

融合局部特征的多知识库常识问答模型

当前的多知识库融合常识推理模型的输入和特征组合的方式过于简单,导致模型丢失了一些与问题和答案相关的重要信息,限制了融合外部知识的常识推理模型的效果。另外,在进行常识问答的任务时,预训练语言模型输出的问题和答案表示存在的向量各向异性问题没有得到解决。这些问题都是导致常识问答推理性能不够高的因素。针对以上问题,提出了一种基于局部特征融合的多知识库常识问答模型,改进外部知识库和问答文本的融合方式。模型将局部的问题和答案特征融入预训练语言模型全局特征,以丰富模型的特征信息,并在预测层结合了多种维度的特征进行预测;模型对于待匹配的问题和答案句子表示进行了白化处理,然后执行匹配任务。通过白化操作,模型增强了句子表示的各向同性,提升了句子向量的表征能力;还探索了不同预训练编码器(如:ALBERT、ELECTRA)在模型上的效果,以加强对知识文本的特征抽取能力,并证明了模型的稳定性。实验结果证明,在相同BERT-base编码器的实验下,模型的准确率达到78.6%,相较于基线模型,准确率提升了3.5个百分点;在ELECTRA-base编码器的实验下,模型的准确率达到80.1%。

旅游领域意图识别和槽位填充联合建模方法研究

构建了基于BERT的双向连接模式BERT-based Bi-directional Association Model(BBAM)以实现在意图识别和槽位填充之间建立双向关系的目标,来实现意图识别与槽位填充的双向关联,融合两个任务的上下文信息,对意图识别与槽位填充两个任务之间的联系进行深度挖掘,从而优化问句理解的整体性能.为了验证模型在旅游领域中的实用性和有效性,通过远程监督和人工校验构建了旅游领域问句数据集TFQD(Tourism Field Question Dataset),BBAM模型在此数据集上的槽填充任务F 1值得分为95.21%,意图分类准确率(A)为96.71%,整体识别准确率(A_(sentence))高达89.62%,显著优于多种基准模型.所提出的模型在ATIS和Snips两个公开数据集上与主流联合模型进行对比实验后,结果表明其具备一定的泛化能力.

基于词向量融合的建筑文本分类方法研究

由于建筑领域问题包含复杂多样的领域专有术语,常见的文本分类算法在建筑领域问题分类上难度较大。为提高建筑领域问题的分类性能,提出一种基于融合RoBERTa和Word2Vec的建筑文本分类算法。实验结果表明:在建筑领域问题数据集上,准确率达到91.59%,分类性能较好;在通用数据集上,准确率均高于SVM、CNN等模型。

融合领域词典的文旅客服问句匹配模型

在文旅领域智能问答中,用户问句文本表征稀疏、口语化表达、一词多义及特定领域词汇的识别困难使得常见的匹配模型难以将用户问句与标准问句进行精准匹配。针对此问题,本文构建了文旅客服问句匹配数据集和相应的领域词典,在此基础上提出一种融合领域词典的文旅问句匹配模型SBIDD(Improved SBERT Model for Integrating Domain Dictionaries)。模型利用Sentence-BERT对问句进行向量化表示,在孪生网络模型中融入领域词典,增强问句的领域词权重,使得模型对领域词汇的识别能力大幅提升。在自建数据集和公开数据集ATEC 2018 NLP上分别进行实验。结果表明,构建的模型与5种经典文本匹配模型DSSM、BiMPM、ESIM、IMAF、TSFR-RM及基线模型SBERT相比效果更优,F1值达到95.65%,比基线模型提升了2.75%,且模型在检索任务上表现出更高的适配性和鲁棒性。

《现代粤语词典》的语用信息研究——以句末疑问语气词为例

语用学的相关研究成果不断在词典学领域得到广泛运用,但是有关方言词典和语用学结合的研究仍然较少,尤其是有关句末疑问语气词的语用信息的研究存在一定研究空白。本文从语用学的角度出发,以《现代粤语词典》为例,结合词典编纂的纵观、宏观、微观、中观结构,对其中表疑问的句末语气词的相关语用信息进行了研究,旨在探究句末疑问语气词的相关语用信息在该词典中的呈现现状及具体途径,并基于此提出相应的改进建议。

‘Same-way’Question-Tags及其用法

‘Same－way’Question-Tags就是一种陈述句和附加疑问句都用肯定式或否定式的特殊附加疑问句形式。这种附加疑问句通过语调可以表达说话人的兴趣、关心、惊讶或者愤怒、怀疑、不相信等。

Application of Question and Answering on Virtual Human Dialogue:a Review and Prediction

Nowadays,virtual human(VH) is becoming a hot research topic in virtualization.VH dialogue can be categorized as an application of natural language processing(NLP) technology,since it is relational to question and answering(QA) technologies.In order to integrate these technologies,this paper reviews some important work on VH dialogue,and predicts some research points on the view of QA technologies.

《左传》“且虞能亲于桓庄乎其爱之也”辨释

正确理解“且虞能亲于桓庄乎其爱之也”的关键,是对“其爱之也”做出确切可靠的分析。主张:一、“其爱之也”既不是假设分句,也不是倒装句或差比句的一部分,而是一个独立问句;二、“之”指代的不是虞,而是桓庄之族;三、“其”非代词,而是语气副词。“其……也”形式的反诘句并非罕见。整体意思为:再说虞与晋的关系能比桓庄之族与晋的关系更亲吗?(晋)爱桓庄之族了吗?

融合多相似度注意的神经网络旅游问题识别方法

中文旅游问题匹配的目标是发现两个相似的问题,然而,在自然语言字面表达中存在多样性,且一个旅游问题通常又包括多个方面信息。因此,采用单一的相似度计算方法将导致信息获取不够完整、有用信息丢失、问题匹配不准确等问题。该文探讨利用答案作为辅助信息,通过多种句子相似度函数,抽取问题中不同方面的信息,生成不同的句子相似度向量表示,以增强句子间的关系。在此基础上,设计一个GRU融合层,使不同方面的信息进行融合,构建一个融合多种句子相似度函数的注意力网络的相似旅游问题识别模型。在旅游问答数据集的实验表明,该文方法提升了相似旅游问题识别任务的性能。

唐宋禅宗语录“VP-neg”式疑问句研究

唐宋时期流传下来的众多禅宗语录,是中古汉语研究方面的重要资料。其完整独特的自身体系,程度较高的口语化特点等,均对汉语史的共时及历时研究颇有助益。文章着眼于禅宗语录所见疑问句中的“VP-neg”式疑问句,试图在厘清该类问句基本结构形式的基础上,依据句末否定词“neg”的虚化程度对该类问句作出划分,并分析导致句末否定词虚化的具体原因。

句子相似度计算新方法及在问答系统中的应用

计算句子的相似度在机器问答、机器翻译、文本分类等系统中有着非常重要的作用。该文对基于相同关键词的句子相似模型作了进一步的改进,包括关键词抽取,以及在句子相似度的定义中引入同义词以及近义词的情形。并以此为基础,实现了一个基于常问问题集的中文自动问答系统,对用户以自然语言输入的问题,该系统能够自动地在FAQ(Frequently-Asked Question)库中寻找候选问题集,通过计算句子相似度,将匹配的答案返回给用户。该系统还能够自动地更新和维护FAQ库。实验结果表明,这种新方法在问答系统中匹配问句时比其他方法具有较高的准确率。

基于HowNet语义相似度的FAQ研究

FAQ是网站提供在线帮助的主要手段。利用检索机制根据用户提出的问题建立一个候选问句集,利用知网研究了用户问句和候选问句之间的相似度,从中找出最相似的问句,并将相应答案返回给用户。实验表明,该方法提高了问句匹配的准确率。

基于多特征融合的句子语义相似度计算

传统的句子相似度计算方法只关注句子的某个特征,导致召回率和准确率的不均衡。针对该问题,提出一种基于多特征的句子相似度计算方法(MFS)。该方法加入包含词性和位置信息的词权重,并综合考虑词的语义和句子结构。实验结果表明,与其他方法相比,MFS方法的F1值较高。在基于实例的问答系统中,使用MFS方法得到的MRR值也较高。

改进的基于句模匹配算法的问句理解方法

句模匹配方法是基于字符表层的文本分析技术,只能处理各个关键词中有分隔词的问句,具有局限性。针对该问题,结合问答系统的应用背景,提出将句模匹配与关键词词库匹配相结合的方法,改进了传统的句模匹配问句理解方法。实际应用表明,该方法能扩大问句理解的范围,提高问句理解的准确性。

基于自然语言理解的受限领域自动应答系统

提出了一种在受限领域内进行自动应答的系统总体结构,通过构建领域词汇库、领域本体库、领域真实问句语料库及领域知识文本库等领域资源库,并借助于这些领域资源来理解问句和知识文本,在一定程度上降低了理解的难度。文章以银行业务咨询服务为例,分析了系统结构及实现过程,对问句分析、答案析取、问句语料库构建、文本知识标注等功能模块的实现进行了详细介绍。

基于网络的中文问答系统及信息抽取算法研究

问答系统 (QuestionAnsweringSystem)能用准确、简洁的答案回答用户用自然语言提出的问题。目前多数问答系统利用大规模文本作为抽取答案的知识库 ,而网络上丰富的资源为问答系统提供了另外一种良好的知识来源 ,对于回答简短、基于事实的问题非常有效。本文对基于网络的问答系统研究现状作了简要的介绍 ,分析了网络信息的特点。我们提出了一种基于语句相似度计算的答案抽取方法 ,在此基础上实现了一个基于网络的中文问答系统。该系统只利用网络搜索引擎返回结果中的摘要部分作为答案抽取的资源 ,从而节省了下载、分析网络源文本的时间。实验结果表明该系统对人名、数量及时间类型的问题效果显著 ,对测试问题集的MRR值达到 0 5 1。

基于问句语料库的受限领域自动应答系统

自动应答系统中对用户所提问句的理解是系统实现的关键,同样也是一个难点,通过在受限领域内建立问句语料库来协助理解用户问句是一种非常有效的实现方法。文章分析了建行领域业务咨询系统的问句收集、分词和词性标注、语义标注、问句语料统计等问句语料库的建设过程,并详细介绍了采用词向量空间法和语义向量空间法从问句语料库中寻找和目标问句相似问句的计算方法及提取答案的实现过程。

基于主题语言模型的句子检索算法

提出了基于主题语言模型的汉语问答系统句子检索算法,该算法利用问答系统中特有的提问分类信息(即提问的答案语义信息)对句子初检结果进行主题聚类,通过AspectModel将句子所属的主题信息引入到语言模型中,从而获得对句子语言模型更精确的描述.对于初检结果的聚类,提出了“一个句子多个主题”和“一个句子一个主题”两种算法.相对于PLSI算法的主题空间维度,提出的主题空间具有更加明确的物理意义;由于不需要迭代运算,运行速度更具优势.对比实验的结果表明,与标准语言模型方法相比,基于主题语言模型的方法可以明显地提高汉语问答系统句子检索模块的性能.