基于知识增强的开放域多轮对话模型

如何减轻安全回复和重复回复一直是开放域多轮对话模型的两大挑战性难题.然而,现有开放域对话模型往往忽略了对话目标的引导性作用,以及如何在对话历史和对话目标中引入和选择更精确的知识信息.鉴于此,提出基于知识增强的多轮对话模型.所提模型首先将对话历史中实词进行义原及领域词替换,达到消除歧义和丰富对话文本表示的效果.然后将经过知识增强后的对话历史、扩充的三元组世界知识、知识管理和知识拷贝加以集成,以融合知识、词汇、对话历史和对话目标多种信息,生成多样性回复.通过两个国际基准开放域汉语对话语料库上的实验结果及可视化验证所提模型同时在自动评测和人工评测上的有效性.

领域数据增强与多粒度语义理解的多轮对话模型

检索式多轮对话是多轮对话中一个重要的分支,如何从众多的候选回复中选择出最适合当前上下文的答复是检索式多轮对话的关键问题.近年来,深度神经网络模型在多轮回复选择问题上取得了较大进展.然而,现有模型依然存在对上下文语义理解不准确,缺乏对上下文内部、话语内部蕴含的时序语义关系的学习等问题.针对上述问题,本文提出了一种基于预训练语言模型的多辅助任务优化的学习方法MSE-BERT.首先,通过区间掩码生成任务优化预训练模型,使其更好地适应当前领域的数据集.提出一种辅助任务是token乱序插入任务,该任务通过随机选择上下文中的一句话语并将其内部的token进行随机打乱,然后预测这句话在上下文中原本的位置,多粒度的学习蕴含在上下文之间的时序语义关系.最后,利用BERT特有的位置嵌入和深层注意力机制,提出了一种双向特征融合机制,将所有的局部信息进行融合,进一步优化模型进行回复选择的能力.在Ubuntu和E-commerce数据集上的实验结果表明,MSE-BERT模型的总体性能优于对比模型.

一种局部信息增强与对话结构感知的多轮对话模型

多轮对话是人工智能领域的一个重要分支.如何从多轮对话上下文中正确提取与问题相关的核心内容是多轮对话任务的关键问题.现有模型存在辅助任务低效,对全局与局部信息的筛选不够充分,对较短的多轮对话数据学习能力不足等问题.针对上述问题,本文提出了一种局部信息增强且能够感知对话结构的多轮对话模型(Structure-aware Dialogue Model with Fine-grained Local Information,SAFL).针对子任务训练代价大的问题,提出了随机滑动窗口回复预测任务,在多轮对话上下文中的不同位置与大小的窗口内进行回复预测,充分学习细粒度的局部对话语义.针对信息筛选不够充分的问题,提出了重点局部信息蒸馏机制,借助多门控融合方法从全局和局部信息之中蒸馏出重点信息,提升模型融合效果.针对模型对较短的多轮对话上下文学习能力不足的问题,提出阶段信息学习机制,在微调前加强预训练语言模型对短多轮对话数据的领域学习,降低微调阶段中对短多轮对话的学习难度.此外,SAFL设计了对话结构感知任务在对话结构方面进一步加强模型对对话上下文的理解能力.Ubuntu和E-commerce数据集上的实验结果表明,SAFL模型的总体性能优于对比模型.

考虑多粒度反馈的多轮对话强化学习推荐算法

多轮对话推荐系统(CRS)以交互的方式获取用户的实时信息,相较于基于协同过滤等的传统推荐方法能够取得更好的推荐效果。然而现有的CRS存在用户偏好捕获不够准确、对话轮数要求过多以及推荐时机不恰当等问题。针对这些问题,提出一种基于深度强化学习且考虑用户多粒度反馈信息的对话推荐算法。不同于现有的CRS,所提算法在每轮对话中同时考虑用户对商品本身以及更细粒度的商品属性的反馈,然后根据收集的多粒度反馈对用户、商品和商品属性特征进行在线更新,并借助深度Q学习网络(DQN)算法分析每轮对话后的环境状态,从而帮助系统作出较为恰当合理的决策动作,使它能够在比较少的对话轮次的情况下分析用户购买商品的原因,更全面地挖掘用户的实时偏好。与对话路径推理(SCPR)算法相比,在Last. fm真实数据集上,算法的15轮推荐成功率提升了46.5%,15轮推荐轮次上缩短了0.314轮;在Yelp真实数据集上,算法保持了相同水平的推荐成功率,但在15轮推荐轮次上缩短了0.51轮。

基于知识图谱的多轮对话技术研究综述

随着自然语言技术的不断进步与发展,人机交互取得了跨越式的进步。然而,目前人机交互系统往往都是用户与机器双方在特定的应用场景下设计完成的,在开放域下进行难度较大的多轮对话效果差强人意。而知识图谱作为实现对话系统的重要工具之一,其被证明在多轮对话任务中是有效的。该文从基于知识图谱的多轮对话技术总结了多轮对话中使用的相关技术,其中基于知识图谱的多轮对话模型包括TransE、TransH、TransR和TransD等,以及涉及到基于知识图谱的多轮对话相关数据集及评价标准。最后提出了基于知识图谱的多轮对话技术当前面临的挑战并进行了总结。

融入历史信息的多轮对话意图识别

为解决人机对话系统研究中多轮对话历史信息的意图识别问题,提出了基于多任务学习的意图识别方法,对意图识别和语义槽填充两个任务进行联合建模,使用BERT和RoBERTa预训练模型作为语义编码器对这两个任务进行多任务联合学习,同时添加历史信息编码器,使用长短期记忆网络对历史信息进行语义建模。实验结果表明:意图识别的准确率明显优于其他现有模型,语义槽填充的F1值也得到了提升。

基于RoBERTa模型的多轮对话情绪识别

提出一个多轮对话情绪识别模型,首先使用强大的文本特征提取能力的RoBERTa预训练进行文本编码;然后将多轮文本信息按时间步输入到GRU结构中,解决了过去模型没有同时考虑一句对话中的语义相关性和多轮对话之间的时序关系问题。通过在4个数据集上的实验结果表明,文中模型能够有效提高对话生成中情感分析的性能,F1值最高提高了1.24个百分点。

基于深度学习的多轮对话意图识别技术在运营商的应用实践

本文介绍一种基于深度学习算法的运营商客服多轮对话意图识别技术,采用Ro BERTa模型作为方法的预训练模型,然后以Text CNN作为分类模型进行意图识别任务,创新实现模型组合和应用流程,独创性地对角色特征、文本拼音特征、文本对话特征进行多维度建模,实践证明预测准确率因此能够获得稳定提升。在实现客服实时辅助、智能质检等高端服务能力方面具有较好的技术参考价值,助力提升服务质量,增强客户满意度。

基于深度多匹配网络的多轮对话回复选择模型

现有工作利用神经网络构建了各种检索模型,取得了一定的成功,但仍存在注入模型信息筛选不充分、引入噪声和对已知内容的潜在语义信息、时序关系挖掘不充分问题。针对上述问题,提出了基于深度多匹配网络的多轮对话回复模型(DMMN)。该模型将上下文与知识作为对候选回复的查询,在三者编码之后提出预匹配层,采用单向交叉注意力机制分别筛选出基于知识感知的上下文与基于上下文感知的知识,识别两者中重要的信息。将候选回复与以上两者交互作用之后,进行特征聚合阶段,一方面借助额外BiLSTM网络捕获基于回复的上下文对话信息间的时序信息,另一方面借助带门控的注意力机制挖掘基于回复的知识间的语义信息,增强匹配特征信息。最后,融合上述表示特征。在原始的和修改后的Persona-Chat数据集上性能评测结果显示,与现有方法相比,该模型召回率得到了进一步的提高,检索出的回复效果更好。

面向任务型多轮对话的粗粒度意图识别方法

为提高客服服务水平,越来越多企业开始建立智慧客服系统.其中,用户意图识别是智慧客服系统的重要组成部分.通过监听用户和客服之间的对话,分析用户来电意图,为智慧客服系统提供执行依据.现有的意图识别方法更倾向于识别多轮对话中每句话的用户意图.在呼叫中心客服对话复杂场景下,用户会在多轮对话中表述很多与业务无关的对话,而我们并不需要关心这些对话.此外,用户单个意图可能蕴含在多轮对话内容中,仅依靠用户的单次表述无法准确识别用户意图.换句话说,现有意图识别方法的意图识别粒度过小,不适用于呼叫中心客服对话复杂场景.因此,本文提出了一种面向任务型多轮对话的粗粒度意图识别方法,将意图识别任务拆分为了对话序列标注任务和意图分类任务,解决了现有方法的不足.本文采用真实的呼叫中心电话客服对话文本集合进行实验.实验结果表明我们的方法对比于一些现有的方法具有更好的准确率.

智能多轮对话改写研究综述

指代和省略是多轮对话改写技术中急需解决的关键问题之一,直接影响多轮对话的准确率。通过介绍以指代和省略为主的多轮对话改写的定义、基本思想、技术模型和方法、目前的数据集和评价指标、未来发展趋势等内容,给多轮对话改写研究形成完整的画像,为相关研究提供参考和借鉴。

ZPW-2000轨道电路的多轮对动态分路建模研究

针对现有ZPW-2000轨道电路单轮对分路模型难以反映列车真实分路情况的问题,提出一种轨道电路多轮对动态分路建模方法。根据实际列车分路情况下轮对与补偿电容和轨道区段的相对位置关系,分别推导出轮对间和收发端间的传输矩阵,最终建立列车由驶入至出清轨道电路区间的轨道电路多轮对动态分路模型。在ZPW-2000型轨道电路实验台上测取钢轨的一次参数并进行列车分路实验,将模型仿真数据与列车分路数据进行对比分析,分析多轮对分路模型轮对数量对仿真数据和模型性能的影响。研究结果表明:多轮对分路模型分路轮对数越接近实际分路情况,模型的精确性越高,验证了本文建模思想和模型的正确性。模拟2种常见的轨道电路故障,相对于现有单轮对模型,本文模型能够更好地模拟轨道电路工作情况,可为故障诊断研究提供更高质量的数据支持。

基于HRED模型的中文多轮对话任务方法研究

多轮对话任务是自然语言处理中最具有实用价值的技术之一,该任务要求系统在产生通顺回答语句的同时能够照顾到上下文信息。近年来,出现了一大批以HRED(hierarchical recurrent encoder-decoder)模型为基础的多轮对话模型,其运用多层级的循环神经网络来编码上下文信息,并在Movie-DiC等英文对话数据集上取得了不错的结果。在2018年京东举办的中文多轮对话大赛中,京东向参赛选手公布了一批高质量的真实客服对话语料。该文在此数据上进行实验,针对HRED模型的缺点以及在中文语料下的表现进行改进,提出基于注意力和跨步融合机制与HRED模型结合的方案,实验结果表明,该方案取得了较大的性能提升。

基于DQN的开放域多轮对话策略学习

有效地进行多轮对话是开放域人机对话系统的主要目标之一。目前的神经网络对话生成模型在开放域多轮对话过程中存在着容易产生万能回复、很快陷入死循环的问题;而已有的多轮对话研究工作存在着没有考虑未来对话走向的问题。借鉴强化学习方法考虑全局的视角,该文利用深度强化学习算法DQN(deep Q-network),提出了使用深度价值网络对每一轮的候选句子进行评估,并选择未来收益最大的而非生成概率最大的句子作为回复的多轮对话策略学习方法。实验结果表明,该文提出的方法将多轮对话的平均对话轮数提高了两轮,同时在主观对比评价指标上获胜比例高出了45%。

一种基于多粒度循环神经网络与词注意力的多轮对话回答选择方法

随着大数据和人工智能的发展,多轮对话算法受到了越来越多的关注.多轮对话回答选择是多轮对话算法中的关键问题之一,其目标是选择与输入消息和对话内容最相关的回答作为应答.近年来,深度神经网络模型在多轮对话回答选择问题上取得了较大进展.然而,如何提取对话上下文和回答中的相关语义信息并从中提取丰富的多粒度语义匹配特征仍然是多轮对话回答选择问题面临的巨大挑战.针对上述问题,本文提出了一种结合词注意力机制的多粒度循环神经网络模型MRNA(MultiGranularity Recurrent Neural Netw ork w ith Word Attention).首先,M RNA使用双通道网络,融合字符级和词语级语义信息,从而获得更准确的语义表征.其次,为了在语义匹配过程中充分提取对话上下文和回答中的相关语义信息,MRNA使用词注意力机制,动态地学习注意力矩阵的权重,从而提取与对话上下文和回答最契合的关键信息.此外,为进一步增强对话上下文和回答的语义匹配度,MRNA采用AHRE(Attentive Hierarchical Recurrent Encoder)对句子进行分层编码后输出的句子进行了分割得到前向序列相似度矩阵和后向序列相似度矩阵,从而获取多粒度的语义匹配信息.多个多轮对话数据集上的实验结果表明,MRNA模型在精度,召回率等方面均优于对比模型.

基于LabVIEW的多轮对超声探伤系统设计

针对目前车轮检测方法大多以传统手持式人工探伤仪为主的现状,本文在国内某企业现役多通道超声探伤仪硬件结构的基础上设计了一套多轮对超声探伤系统。系统基于Lab VIEW平台,可以实现系统自检、用户信息管理、数据接收、数据分析、显示结果、数据存储、自动判伤、输出检测报告等功能。系统采用可变分辨率的数据处理方法,保证了检测过程的实时性及结果的准确性。

教育领域多轮对话机器人的算法设计与实现

随着自然语言处理技术的发展,对话机器人以节省人工和易于嵌入等特点受到业界青睐。为了满足在线教育的需求,本文提出的教育领域多轮对话机器人具备和用户针对知识点进行深入对话的能力。本文介绍了此对话机器人的实现全流程:采取用户模拟器生成教育领域语料,使用意图识别和槽位填充实现自然语言理解,通过对话状态追踪和对话策略设计多轮对话逻辑。这为学生提供了答疑解惑的新渠道,为线上教育的智能创新带来更多选择。

多轮对话的篇章级抽象语义表示标注体系研究

对话分析是智能客服、聊天机器人等自然语言对话应用的基础课题,而对话存在大量情感短语、省略、语序颠倒等现象,对句法和语义分析器的影响较大,对话自动分析的准确率相对书面语料一直不高。其主要原因在于缺乏严整的多轮对话形式化描写方式,不利于后续的分析计算。因此,本文在梳理国内外针对对话的标注体系和语料库研究的基础上,提出了基于抽象语义表示的篇章级多轮对话标注体系,探讨了篇章级的语义结构标注方法,提出词语和概念关系的对齐方案,为称谓语和情感短语增加了相应的语义关系和概念,调整了表示主观情感词语的论元结构,并规定了对话中的一些特殊现象,设计了人工标注平台,以期为大规模的多轮对话语料库标注与计算研究奠定基础。

一种基于记忆网络的多轮对话下的意图识别方法

随着对话系统的不断发展,越来越多的对话机器人产品走进了人们的生活中,但是人类对话时多使用短句和省略语,对话的内容很难在单轮对话中交代清楚,导致大部分产品的对话体验并不好。通过多轮对话可以收集更多的语义信息,更准确的理解提问者的意图,多轮对话下的意图识别问题已经成为新的研究热点。随着深度学习的发展,利用神经网络模型解决对话系统的意图识别逐渐成为主流,但是如何利用对话的历史信息来理解当前对话的意图,是对话系统的难点。本文提出了一种新的基于记忆网络的多轮对话意图识别框架,在现有的记忆网络模型上引入注意力机制来抽取上下文信息,设计forget gate对历史信息的引入加以控制,综合实现多轮对话的意图识别。

多轮荷载作用下的高模量沥青道面力学响应特性

飞机起落架多轮荷载作用下,道面内部应力应变等力学响应将产生叠加与干涉。针对高模量沥青机场道面,通过ABAQUS有限元软件开展道面结构力学响应计算,分析飞机多轮荷载对道面力学响应敏感性,研究高模量沥青混合料在机场道面中的应用效果。结果表明:在飞机主起落架的六轮荷载作用下,道面结构层中产生的应力与路表弯沉的峰值最大,且道面的疲劳寿命最小,在进行道面结构计算与材料组成设计时,应以六轮荷载作为最不利荷载工况;机轮荷载分布的对称性越强,结构内应力与路表弯沉的峰值点位置越靠近荷载包围区域中心;沥青道面变形有一定的时间滞后,卸载后路表弯沉不能立即恢复并存在残余变形,且主起落架轮数越多,滞后时间越长,保留的残余变形越大;中面层采用的高模量沥青混合料可降低道面各层拉应力、压应力、剪应力的应力水平,进而有效地减少机场沥青道面轮辙与疲劳开裂。