基于知识增强的开放域多轮对话模型

如何减轻安全回复和重复回复一直是开放域多轮对话模型的两大挑战性难题.然而,现有开放域对话模型往往忽略了对话目标的引导性作用,以及如何在对话历史和对话目标中引入和选择更精确的知识信息.鉴于此,提出基于知识增强的多轮对话模型.所提模型首先将对话历史中实词进行义原及领域词替换,达到消除歧义和丰富对话文本表示的效果.然后将经过知识增强后的对话历史、扩充的三元组世界知识、知识管理和知识拷贝加以集成,以融合知识、词汇、对话历史和对话目标多种信息,生成多样性回复.通过两个国际基准开放域汉语对话语料库上的实验结果及可视化验证所提模型同时在自动评测和人工评测上的有效性.

领域数据增强与多粒度语义理解的多轮对话模型

检索式多轮对话是多轮对话中一个重要的分支,如何从众多的候选回复中选择出最适合当前上下文的答复是检索式多轮对话的关键问题.近年来,深度神经网络模型在多轮回复选择问题上取得了较大进展.然而,现有模型依然存在对上下文语义理解不准确,缺乏对上下文内部、话语内部蕴含的时序语义关系的学习等问题.针对上述问题,本文提出了一种基于预训练语言模型的多辅助任务优化的学习方法MSE-BERT.首先,通过区间掩码生成任务优化预训练模型,使其更好地适应当前领域的数据集.提出一种辅助任务是token乱序插入任务,该任务通过随机选择上下文中的一句话语并将其内部的token进行随机打乱,然后预测这句话在上下文中原本的位置,多粒度的学习蕴含在上下文之间的时序语义关系.最后,利用BERT特有的位置嵌入和深层注意力机制,提出了一种双向特征融合机制,将所有的局部信息进行融合,进一步优化模型进行回复选择的能力.在Ubuntu和E-commerce数据集上的实验结果表明,MSE-BERT模型的总体性能优于对比模型.

一种局部信息增强与对话结构感知的多轮对话模型

多轮对话是人工智能领域的一个重要分支.如何从多轮对话上下文中正确提取与问题相关的核心内容是多轮对话任务的关键问题.现有模型存在辅助任务低效,对全局与局部信息的筛选不够充分,对较短的多轮对话数据学习能力不足等问题.针对上述问题,本文提出了一种局部信息增强且能够感知对话结构的多轮对话模型(Structure-aware Dialogue Model with Fine-grained Local Information,SAFL).针对子任务训练代价大的问题,提出了随机滑动窗口回复预测任务,在多轮对话上下文中的不同位置与大小的窗口内进行回复预测,充分学习细粒度的局部对话语义.针对信息筛选不够充分的问题,提出了重点局部信息蒸馏机制,借助多门控融合方法从全局和局部信息之中蒸馏出重点信息,提升模型融合效果.针对模型对较短的多轮对话上下文学习能力不足的问题,提出阶段信息学习机制,在微调前加强预训练语言模型对短多轮对话数据的领域学习,降低微调阶段中对短多轮对话的学习难度.此外,SAFL设计了对话结构感知任务在对话结构方面进一步加强模型对对话上下文的理解能力.Ubuntu和E-commerce数据集上的实验结果表明,SAFL模型的总体性能优于对比模型.

考虑多粒度反馈的多轮对话强化学习推荐算法

多轮对话推荐系统(CRS)以交互的方式获取用户的实时信息,相较于基于协同过滤等的传统推荐方法能够取得更好的推荐效果。然而现有的CRS存在用户偏好捕获不够准确、对话轮数要求过多以及推荐时机不恰当等问题。针对这些问题,提出一种基于深度强化学习且考虑用户多粒度反馈信息的对话推荐算法。不同于现有的CRS,所提算法在每轮对话中同时考虑用户对商品本身以及更细粒度的商品属性的反馈,然后根据收集的多粒度反馈对用户、商品和商品属性特征进行在线更新,并借助深度Q学习网络(DQN)算法分析每轮对话后的环境状态,从而帮助系统作出较为恰当合理的决策动作,使它能够在比较少的对话轮次的情况下分析用户购买商品的原因,更全面地挖掘用户的实时偏好。与对话路径推理(SCPR)算法相比,在Last. fm真实数据集上,算法的15轮推荐成功率提升了46.5%,15轮推荐轮次上缩短了0.314轮;在Yelp真实数据集上,算法保持了相同水平的推荐成功率,但在15轮推荐轮次上缩短了0.51轮。

基于知识图谱的多轮对话技术研究综述

随着自然语言技术的不断进步与发展,人机交互取得了跨越式的进步。然而,目前人机交互系统往往都是用户与机器双方在特定的应用场景下设计完成的,在开放域下进行难度较大的多轮对话效果差强人意。而知识图谱作为实现对话系统的重要工具之一,其被证明在多轮对话任务中是有效的。该文从基于知识图谱的多轮对话技术总结了多轮对话中使用的相关技术,其中基于知识图谱的多轮对话模型包括TransE、TransH、TransR和TransD等,以及涉及到基于知识图谱的多轮对话相关数据集及评价标准。最后提出了基于知识图谱的多轮对话技术当前面临的挑战并进行了总结。

融入历史信息的多轮对话意图识别

为解决人机对话系统研究中多轮对话历史信息的意图识别问题,提出了基于多任务学习的意图识别方法,对意图识别和语义槽填充两个任务进行联合建模,使用BERT和RoBERTa预训练模型作为语义编码器对这两个任务进行多任务联合学习,同时添加历史信息编码器,使用长短期记忆网络对历史信息进行语义建模。实验结果表明:意图识别的准确率明显优于其他现有模型,语义槽填充的F1值也得到了提升。

基于RoBERTa模型的多轮对话情绪识别

提出一个多轮对话情绪识别模型,首先使用强大的文本特征提取能力的RoBERTa预训练进行文本编码;然后将多轮文本信息按时间步输入到GRU结构中,解决了过去模型没有同时考虑一句对话中的语义相关性和多轮对话之间的时序关系问题。通过在4个数据集上的实验结果表明,文中模型能够有效提高对话生成中情感分析的性能,F1值最高提高了1.24个百分点。

基于深度学习的多轮对话意图识别技术在运营商的应用实践

本文介绍一种基于深度学习算法的运营商客服多轮对话意图识别技术,采用Ro BERTa模型作为方法的预训练模型,然后以Text CNN作为分类模型进行意图识别任务,创新实现模型组合和应用流程,独创性地对角色特征、文本拼音特征、文本对话特征进行多维度建模,实践证明预测准确率因此能够获得稳定提升。在实现客服实时辅助、智能质检等高端服务能力方面具有较好的技术参考价值,助力提升服务质量,增强客户满意度。

面向任务型多轮对话的粗粒度意图识别方法

为提高客服服务水平,越来越多企业开始建立智慧客服系统.其中,用户意图识别是智慧客服系统的重要组成部分.通过监听用户和客服之间的对话,分析用户来电意图,为智慧客服系统提供执行依据.现有的意图识别方法更倾向于识别多轮对话中每句话的用户意图.在呼叫中心客服对话复杂场景下,用户会在多轮对话中表述很多与业务无关的对话,而我们并不需要关心这些对话.此外,用户单个意图可能蕴含在多轮对话内容中,仅依靠用户的单次表述无法准确识别用户意图.换句话说,现有意图识别方法的意图识别粒度过小,不适用于呼叫中心客服对话复杂场景.因此,本文提出了一种面向任务型多轮对话的粗粒度意图识别方法,将意图识别任务拆分为了对话序列标注任务和意图分类任务,解决了现有方法的不足.本文采用真实的呼叫中心电话客服对话文本集合进行实验.实验结果表明我们的方法对比于一些现有的方法具有更好的准确率.

智能多轮对话改写研究综述

指代和省略是多轮对话改写技术中急需解决的关键问题之一,直接影响多轮对话的准确率。通过介绍以指代和省略为主的多轮对话改写的定义、基本思想、技术模型和方法、目前的数据集和评价指标、未来发展趋势等内容,给多轮对话改写研究形成完整的画像,为相关研究提供参考和借鉴。

基于HRED模型的中文多轮对话任务方法研究

多轮对话任务是自然语言处理中最具有实用价值的技术之一,该任务要求系统在产生通顺回答语句的同时能够照顾到上下文信息。近年来,出现了一大批以HRED(hierarchical recurrent encoder-decoder)模型为基础的多轮对话模型,其运用多层级的循环神经网络来编码上下文信息,并在Movie-DiC等英文对话数据集上取得了不错的结果。在2018年京东举办的中文多轮对话大赛中,京东向参赛选手公布了一批高质量的真实客服对话语料。该文在此数据上进行实验,针对HRED模型的缺点以及在中文语料下的表现进行改进,提出基于注意力和跨步融合机制与HRED模型结合的方案,实验结果表明,该方案取得了较大的性能提升。

基于DQN的开放域多轮对话策略学习

有效地进行多轮对话是开放域人机对话系统的主要目标之一。目前的神经网络对话生成模型在开放域多轮对话过程中存在着容易产生万能回复、很快陷入死循环的问题;而已有的多轮对话研究工作存在着没有考虑未来对话走向的问题。借鉴强化学习方法考虑全局的视角,该文利用深度强化学习算法DQN(deep Q-network),提出了使用深度价值网络对每一轮的候选句子进行评估,并选择未来收益最大的而非生成概率最大的句子作为回复的多轮对话策略学习方法。实验结果表明,该文提出的方法将多轮对话的平均对话轮数提高了两轮,同时在主观对比评价指标上获胜比例高出了45%。

一种基于多粒度循环神经网络与词注意力的多轮对话回答选择方法

随着大数据和人工智能的发展,多轮对话算法受到了越来越多的关注.多轮对话回答选择是多轮对话算法中的关键问题之一,其目标是选择与输入消息和对话内容最相关的回答作为应答.近年来,深度神经网络模型在多轮对话回答选择问题上取得了较大进展.然而,如何提取对话上下文和回答中的相关语义信息并从中提取丰富的多粒度语义匹配特征仍然是多轮对话回答选择问题面临的巨大挑战.针对上述问题,本文提出了一种结合词注意力机制的多粒度循环神经网络模型MRNA(MultiGranularity Recurrent Neural Netw ork w ith Word Attention).首先,M RNA使用双通道网络,融合字符级和词语级语义信息,从而获得更准确的语义表征.其次,为了在语义匹配过程中充分提取对话上下文和回答中的相关语义信息,MRNA使用词注意力机制,动态地学习注意力矩阵的权重,从而提取与对话上下文和回答最契合的关键信息.此外,为进一步增强对话上下文和回答的语义匹配度,MRNA采用AHRE(Attentive Hierarchical Recurrent Encoder)对句子进行分层编码后输出的句子进行了分割得到前向序列相似度矩阵和后向序列相似度矩阵,从而获取多粒度的语义匹配信息.多个多轮对话数据集上的实验结果表明,MRNA模型在精度,召回率等方面均优于对比模型.

教育领域多轮对话机器人的算法设计与实现

随着自然语言处理技术的发展,对话机器人以节省人工和易于嵌入等特点受到业界青睐。为了满足在线教育的需求,本文提出的教育领域多轮对话机器人具备和用户针对知识点进行深入对话的能力。本文介绍了此对话机器人的实现全流程:采取用户模拟器生成教育领域语料,使用意图识别和槽位填充实现自然语言理解,通过对话状态追踪和对话策略设计多轮对话逻辑。这为学生提供了答疑解惑的新渠道,为线上教育的智能创新带来更多选择。

多轮对话的篇章级抽象语义表示标注体系研究

对话分析是智能客服、聊天机器人等自然语言对话应用的基础课题,而对话存在大量情感短语、省略、语序颠倒等现象,对句法和语义分析器的影响较大,对话自动分析的准确率相对书面语料一直不高。其主要原因在于缺乏严整的多轮对话形式化描写方式,不利于后续的分析计算。因此,本文在梳理国内外针对对话的标注体系和语料库研究的基础上,提出了基于抽象语义表示的篇章级多轮对话标注体系,探讨了篇章级的语义结构标注方法,提出词语和概念关系的对齐方案,为称谓语和情感短语增加了相应的语义关系和概念,调整了表示主观情感词语的论元结构,并规定了对话中的一些特殊现象,设计了人工标注平台,以期为大规模的多轮对话语料库标注与计算研究奠定基础。

一种基于记忆网络的多轮对话下的意图识别方法

随着对话系统的不断发展,越来越多的对话机器人产品走进了人们的生活中,但是人类对话时多使用短句和省略语,对话的内容很难在单轮对话中交代清楚,导致大部分产品的对话体验并不好。通过多轮对话可以收集更多的语义信息,更准确的理解提问者的意图,多轮对话下的意图识别问题已经成为新的研究热点。随着深度学习的发展,利用神经网络模型解决对话系统的意图识别逐渐成为主流,但是如何利用对话的历史信息来理解当前对话的意图,是对话系统的难点。本文提出了一种新的基于记忆网络的多轮对话意图识别框架,在现有的记忆网络模型上引入注意力机制来抽取上下文信息,设计forget gate对历史信息的引入加以控制,综合实现多轮对话的意图识别。

基于单向Transformer和孪生网络的多轮任务型对话技术

循环神经网络和Transformer在多轮对话系统的建模上依赖大量的样本数据且回复准确率过低。为此,提出一种针对任务型对话系统的建模方法。引入预训练模型对句子语意和对话过程进行深度编码,对Transformer模型进行精简,仅保留编码器部分的单向Transformer,将应答部分抽象成不同的指令,采用孪生网络对指令进行相似度排序,选择相似度最高的指令生成应答。在MultiWOZ数据集上的实验结果表明,与LSTM和基于Transformer模型相比,该方法预测速度更快,在小数据集上具有更好的性能,在大数据集上也能取得与当前先进模型相当的效果。

基于图卷积网络的知识感知对话生成

引入结构化知识的对话系统因为能够生成流畅度更高、多样性更丰富的对话回复而受到广泛关注,但是以往的研究只注重于结构化知识中的实体,却忽略了实体之间的关系以及知识的完整性.本文提出了一种基于图卷积网络的知识感知对话生成模型(KCG).该模型通过知识编码器分别捕获实体与关系的语义信息并利用图卷积网络增强实体表征;再利用知识选择模块获得与对话上下文相关的实体与关系的知识选择概率分布;最后将知识选择概率分布与词表概率分布融合,解码器以此选择知识或词表字词.本文在中文公开数据集DuConv上进行实验,结果表明,KCG在自动评估指标上优于目前的基线模型,能生成更加流畅并且内容更加丰富的回复.

多轮任务型对话系统研究进展

对话系统旨在实现机器与人类进行信息交流并向其提供个性化服务,具有一定的研究价值。为了及时跟进相关领域的研究,对其目前研究进展进行综述。首先针对对话系统的发展和分类情况进行介绍;其次综述了任务型对话系统的架构,重点梳理基于模块和基于端到端两种框架,并进一步总结归纳所使用模型的优缺点;接下来介绍任务型对话系统的评估方法以及应用领域,包括电商领域、教育领域和医学领域等方面;最后对多轮任务型对话系统面临的问题与挑战进行分析并作出总结。

面向知识图谱的会话式机器阅读理解研究综述

对话式机器阅读理解随着数据集的发展而发展,目的在于让机器在理解文章内容的基础上能够进行多轮对话。但现有的模型方法无法从对话历史中捕获到与当前问题最相关的历史信息,模型的推理能力较差,很难获取实体间的隐含信息。知识图谱应用于推理问答是当前的一大研究热点。知识图谱技术可以推断出实体间的隐含关系,应用于推理问答则能够提升模型的推理问答能力,提高预测的准确率。近年来,知识图谱推理技术的广泛应用,极大地推动了知识图谱推理问答的发展。对基于知识图谱的会话式机器阅读理解从三方面进行总结:介绍了会话式机器阅读理解领域的数据集以及当前的一些典型的模型方法,并对模型的性能和优缺点作了简要的分析与比较;介绍了知识图谱的定义、架构以及四大核心技术,并简要介绍了三大类知识图谱推理问答的模型方法;最后总结工作,并根据会话式机器阅读理解的数据集特点和知识图谱推理问答模型的缺点,对未来的研究重点进行展望。