知识驱动的对话生成模型研究综述

知识驱动的对话生成模型旨在利用不同形式的知识来强化对话生成模型,使得对话生成模型不仅能从对话数据中学习语义交互,而且还能深入理解用户输入、背景知识和对话上下文,生成更合理、更具多样性、更富含信息量和拟人的回复,进而推动对话系统的发展。目前相关工作仍处于初期探索阶段,并且很少有对现有成果的全面梳理和系统总结。对知识驱动的对话生成模型研究展开综述,首先,针对现有的研究成果,梳理并介绍了当前知识驱动的对话生成任务和主要遇到的问题,并且给出详细的任务定义和问题定义;其次,整理并介绍了知识驱动的对话生成模型建模所需的数据集;然后,对目前知识驱动的对话生成研究过程中知识获取、知识表示、知识选择和知识融入相关研究中每个模型的改进、研究现状、模型涉及的评价指标和模型的性能进行重点介绍;最后,对知识驱动的对话生成模型研究未来的发展方向进行展望。

一种融合情感和策略信息的共情对话生成方法

共情对话旨在为情感焦虑的对话系统聊天用户提供心理健康支持,因此,赋予对话系统共情能力是一个值得关注的问题。现有方法往往只能识别用户的情感状态,并不能根据聊天用户不同的情感状态生成有效的、具有同理心的回复,更不能缓解用户的不良情感。因此,在构建情感支持对话系统的研究中,如何动态地捕捉用户的细粒度情感特征并根据情感特征提供相应的心理支持,需要进一步地探索。该文提出一个情感和策略信息融合的共情对话生成方法,该方法首先使用情感分类网络动态感知用户的情感状态;然后利用支持策略准确地建模策略匹配网络,并根据对话上下文引入对话生成网络进行回复生成;最后,通过比较所提方法和当前较为先进的方法在相应数据集上的实验结果,验证所提方法的有效性以及情感支持的重要性。

基于多头注意力机制融合常识知识的共情对话生成

当前对话生成技术已取得显著进展,然而为了更好地满足人类交流的需求,研究人员开始将共情引入对话生成领域。共情作为人际交流的重要组成部分,有助于更好地理解他人的情感和感受。通过引入常识知识来加强对用户情感和处境的理解,然而目前方法对非情感知识采用统一编码以及对常识知识融合采用简单的向量拼接,导致某些常识知识特征的影响可能降低,并且各个知识之间的关联刻画模糊。为此,提出一种基于多头注意力机制融合常识知识的共情对话模型ATT-EDM。该模型对引入的5种关系(xReact、xWant、xNeed、xIntent、xEffect)进行单独编码,保留了每种常识各自的特征,并利用多头注意力机制融合常识知识,对每种知识在注意力层进行运算,以更准确地反映它们各自的影响,同时更有效地刻画各个常识知识之间的联系。在数据集EmpatheticDialogues上的实验结果表明,该模型在困惑度(PPL)、准确率和Distinct-2指标上优于基线模型,PPL降低到36.4350,准确率和Distinct-2分别达到37.96%、3.3455,能够生成质量更高、内容更丰富、共情能力更强的同理心响应。

基于双层解码的多轮情感对话生成模型

情感对话系统的成功取决于语言理解、情感感知和表达能力,同时面部表情和个性等也能提供帮助。然而,尽管这些信息对于多轮情感对话至关重要,但是现有系统既未能够充分利用多模态信息的优势,又忽略了上下文相关性的重要性。为了解决这个问题,提出了一种基于双层解码的多轮情感对话生成模型(MEDG-DD)。该模型利用异构的图神经网络编码器将历史对话、面部表情、情感流和说话者信息进行融合,以获得更加全面的对话上下文。然后,使用基于注意力机制的双层解码器,以生成与对话上下文相关的富含情感的言辞。实验结果表明,该模型能够有效地整合多模态信息,实现更为准确、自然且连贯的情感话语。与传统的ReCoSa模型相比,该模型在各项评估指标上均有显著的提升。

基于注意力机制的主题扩展情感对话生成

越来越多的研究开始聚焦于情感对话生成,然而现有的研究往往只关注情感因素,却忽视了对话中主题的相关性和多样性以及与主题密切相关的情感倾向,这可能导致生成响应的质量下降。因此提出一种融合主题信息和情感因素的主题扩展情感对话生成模型。该模型首先将对话上下文进行全局编码,引入主题模型以获得全局主题词,并使用外部情感词典获得全局情感词;其次在融合模块里利用语义相似度扩展主题词,并利用依存句法分析提取与主题相关的情感词;最后将上下文、主题词和情感词输入到一个基于注意力机制的解码器中,促使解码器生成主题相关的情感响应。实验结果表明,该模型能生成内容丰富且情感相关的回答。相较于主题增强情感对话生成模型(TE-ECG),所提出的模型在unigram多样性(distinct-1)和bigram多样性(distinct-2)上平均提高了16.3%和15.4%;相较于基于注意力机制的序列到序列模型(Seq2SeqA),所提出的模型在unigram多样性(distinct-1)和bigram多样性(distinct-2)上平均提高了26.7%和28.7%。

融合情感与语义的多模态对话生成方法

近年来,语音对话等一系列非可视化对话场景在生活中屡见不鲜,比如智能机器人的语音交互、各类客服通过语音对话了解客户需求等.音频中往往蕴含情感信息,而文本中则包含丰富的语义层面的信息,因此基于语音文本多模态特征更能充分挖掘语义及情感信息,生成信息更加丰富的对话响应.当前基于文本和音频的对话生成技术主要基于较传统的Seq2Seq模型实现,生成的响应存在多样性较低、上下文不够连贯等问题.为此,本文提出ATTransformer模型实现文本、音频多模态场景下的对话生成任务.首先使用WordEmbedding对上下文和回复进行词嵌入矩阵的构建,然后使用VGGish对对话音频进行特征提取,接着分别将其输入AT-Transformer模型中,并在多模态注意力机制中实现两种模态特征的融合,最后设计目标函数旨在提高生成语句的多样性.实验分别对情感丰富度、上下文语义相关性和句子连贯性进行评估,相较最优基准模型,情感匹配度提升2%,语义相关性提升0.5%.

基于对话结构的多轮对话生成模型

目前,多轮对话生成研究大多使用基于RNN或Transformer的编码器-解码器架构.但这些序列模型都未能很好地考虑到对话结构对于下一轮对话生成的影响.针对此问题,在传统的编码器-解码器模型的基础上,使用图神经网络结构对对话结构信息进行建模,从而有效地刻画对话的上下文中的关联逻辑.针对对话设计了基于文本相似度的关联结构、基于话轮转换的关联结构和基于说话人的关联结构,利用图神经网络进行建模,从而实现对话上下文内的信息传递及迭代.基于DailyDialog数据集的实验结果表明,与其他基线模型相比,该模型在多个指标上有一定的提升.这说明使用图神经网络建立的模型能够有效地刻画对话中的多种关联结构,从而有利于神经网络生成高质量的对话回复.

结合情感信息的个性化对话生成

如今,人机对话系统受到了越来越多的关注,但目前主流的人机对话系统很少考虑说话者的个性化特征。对话系统的一个重要且有待探索的方面是根据交互人员的个性来提升对话的响应质量。个性化是创建智能对话系统的关键,可以最大程度地适应到人类的生活中。然而,在自然语言处理中体现人物个性是很困难的,在个性化对话生成中,情感也是一个很重要的因素,因此文中提出了融合属性级情感的个性化对话生成模型。该模型使用BERT-MRC模型抽取人物个性和历史对话的情感词属性词信息,采用改进的UNILM神经网络模型对人物个性以及历史对话进行编码,同时在编码表征时结合情感词信息和属性词信息,最终生成符合人物个性的对话。实验证明,结合情感信息的个性化对话生成方法能够有效地提升个性化对话生成的质量,增加生成回复的多样性。

基于多视角对抗学习的开放域对话生成模型

近年来,随着智能家居的普及,对话系统在生活中发挥着越来越重要的作用,基于神经网络构建的生成式对话系统由于其灵活性高受到了许多研究者的关注。以提高生成模型对话的流畅性、上下文相关性为目的,提出基于多视角对抗学习的开放域对话生成模型。其中,模型生成器是基于检索到的相似对话进行改写得到生成的对话;模型的判别器是由两个二分类器共同组成的,该二元判别器分别从句子、对话两个层面多视角地对生成句子进行判别。在中文对话语料上进行实验,该模型在人工评价和自动评测上的得分都高于目前常用的对话生成模型。实验结果表明,利用二元判别器多视角训练可以同时提高生成回复的流畅度和上下文相关性。

面向语义多样性的对话生成模型

开放域对话系统目前采用的检索-生成方法是基于相似问题具有相似回答这一假设,其中最新的聚类-生成方法对训练集中的问题进行硬聚类,并从每个问题簇所对应的回答中学习该簇问题的回复模式.然而现有的方法忽略了问题的语义多样性,影响了生成回复的相关性和信息性.为了解决上述问题,本文提出了面向语义多样性的对话生成模型,利用可学习的软聚类网络将训练集的问题分配到多个语义簇来更好地捕获语义多样性.特别的,本文使用径向基神经网络实现软聚类过程,径向基网络的可微性使得模型能够对软聚类和回复生成过程进行端到端的训练,让这两个过程更加紧密耦合.在Chat数据集上进行实验,结果表明本文算法的性能高于已有的先进算法.

基于情感变量的二阶段对话生成模型

情感对话生成是近年来自然语言处理任务中的热门方向之一,生成带有情感色彩的响应能提高人机间的互动性。现有的情感对话生成模型情感变量单一,容易生成枯燥的响应。为确保响应语句不仅语义逻辑正确且具有多样性,该文提出了二阶段对话生成模型。第一阶段,利用DialoGPT强大的语言理解能力来确保生成语义正确的响应;为解决响应枯燥单调的缺点,该文提出融合主情感变量和混合情感变量作为全局情感变量用于后续操作;第二阶段,在第一阶段生成的响应基础上,利用全局情感变量对语句进行重写操作,从而生成高质量的响应。实验结果表明,该文提出的模型在Empathetic Dialogues数据集上的响应质量要优于基线模型。

基于分层编码的深度增强学习对话生成

面向对话生成问题,提出一种构建对话生成模型的方法——基于分层编码的深度增强学习对话模型(EHRED),用以解决当前标准序列到序列(seq2seq)结构采用最大似然函数作为目标函数所带来的易生成通用回答的问题。该方法结合了分层编码和增强学习技术,利用分层编码来对多轮对话进行建模,在标准seq2seq的基础上新增了中间层来加强对历史对话语句的记忆,而后采用了语言模型来构建奖励函数,进而用增强学习中的策略梯度方法代替原有的最大似然损失函数进行训练。实验结果表明EHRED能生成语义信息更丰富的回答,在标准的人工测评中,其效果优于当前广泛采用的标准seq2seq循环神经网络(RNN)模型5.7~11.1个百分点。

基于近端策略优化与对抗学习的对话生成

对话生成是自然语言处理的重点研究方向,对抗生成网络GAN最近在对话生成领域得到了较好的应用。为了进一步改善对话生成的质量,并且解决GAN训练过程中判别模型返回奖励重复利用率低从而导致模型训练效率低的问题,提出一种基于近端策略优化PPO的对话生成算法PPO_GAN。该算法通过GAN模型生成对话,通过判别模型区分生成的对话与真实的对话。并采用近端策略优化的方法训练GAN,能处理GAN在对话生成时导致的反向传播不可微分的情况,在保证生成模型单调非减训练的同时,通过限制生成模型迭代的梯度使判别模型得到的奖励可以重复利用。实验结果表明,对比于极大似然估计与Adver-REGS等对话生成算法,PPO_GAN算法提高了对话训练的效率并且改善了对话生成的质量。

面向端到端的情感对话生成研究综述

人机对话作为人工智能的重要研究内容,受到了学术界和工业界的广泛关注。受到深度学习在自然语言处理成功应用的启发,越来越多的神经网络模型被研究者关注。其中基于端到端的神经网络模型能够从大规模语料中学习到有价值的规律和特征,生成有意义且多样性的回复,被广泛地应用于情感对话生成研究中。面向基于端到端模型的情感对话生成研究展开综述。首先,针对现有的研究成果,梳理并介绍了当前情感对话生成研究面向的任务和主要解决的问题,并且做出了详细的定义,整理并介绍了情感对话生成模型建模所需的数据集。其次,对端到端的神经网络模型的原理进行了简单的概述,并且分析和总结了情感对话生成研究在每个基础模型中的改进、研究现状、模型涉及的评价指标以及模型的性能。再次,对现阶段涉及到的模型评价方式按照自动评价以及人工评价方式进行了总结。最后,对未来情感对话生成研究的发展方向进行了展望。

基于检索结果融合机制的对话生成模型

对话生成模型是对话系统中十分重要的组件。传统的对话生成模型仅利用用户的输入信息生成回复,这导致在生成过程中常会出现无意义的万能回复。最近有工作尝试将检索的方法融入生成模型从而提高模型的生成质量,但这些方法往往将重点放在如何编辑检索结果上,没有考虑检索结果与用户查询之间的语义空间差别。为解决这一问题,该文提出了基于检索结果融合的对话生成模型。模型首先利用双向长短时记忆网络对检索结果进行编码,并提出了具有融合机制的长短时记忆网络(fusion-LSTM)。该机制将检索结果在模型内部与对话文本相结合,以更好地将检索到的信息融入到生成模型中。实验结果表明,该方法在自动评价指标和人工评价指标中都明显优于基线方法。

基于Prompt策略的医疗对话生成

构建医疗对话系统可以缓和医疗资源紧缺和医疗资源分配不均的现状,在对话系统构建方面,如何结合已获取的知识生成对话语句是重要研究内容之一。Prompt指预先输入到语言模型的一组字符序列或编码,后续的推断从这里开始,从而影响整个语句的内容生成。该文先用医疗领域语料来对预训练语言模型进行精调,以学习医疗语句潜在的语义,然后设计Prompt方案将医疗实体引入对话生成模型,使生成的对话能够携带预设的知识,达到受控对话生成的目的。通过在医疗对话数据集MedDG上的实验验证,该文提出的方案能有效改善医疗对话生成的效果。

基于知识迁移和双向异步序列的对话生成模型

针对端到端的对话生成模型普遍存在无意义安全回复和大量重复词汇的问题,和将外部知识引入对话系统的挑战,提出基于知识迁移和双向异步序列的对话生成模型.将知识库中的外部知识融合到对话生成模型并显式地生成在回复语句中;使用预训练的知识库问答模型获取输入语句的知识表达、候选知识表达以及关键字;搭建2个编码器-解码器结构,通过双向异步解码将关键字显式地生成在对话回复中;编、解码阶段均引入预训练模型的知识理解和知识表达能力,提升对话生成对知识信息的捕捉能力.提出重复检测惩罚机制,通过赋予惩罚权重的方式减少对话生成中的重复词汇.实验结果表明,所提模型在自动评估和人工评价指标上均优于已有的对话生成方法.

以生为本和多元共生——对话生成视野下的英美文学理论教材

近30年来,对话生成的教学理念对英美高校文学理论的教学影响巨大,体现在教材的编写上,主要表现为在承认理论相对性的情况下,以学生需求为中心尽可能客观地呈现多元理论观点,并且给理论对话提供合适的生成情景,为理论创新提供多样的探究途径。在批评实践之中体验理论,在多元和非线性之中生成理论已经成为教材编写的主要模式。

情感对话生成研究综述

对话生成是自然语言处理方向的重要领域,其目的由完成指定任务逐渐转变为对人的精神陪伴,生成的对话不仅要求内容贴合主题,也要满足对情感的正确理解和表达。因此,对近年来开放域下的情感对话生成研究进展进行了综述。首先概述了情感对话生成的目标和待解决问题,接着介绍了情感文本生成相关方法,从情感向量和深度学习技术两方面梳理了情感对话生成中现有的一些解决方案,然后总结了情感对话生成的评价方法,最后对未来研究方向进行展望。

利用对话模型引导的对话生成推荐

对话推荐技术旨在通过与用户的对话交互完成高质量的信息推荐.针对已有研究存在的对话目标预测准确性不高的问题,提出一种利用对话模型引导的对话生成推荐(dialogue guided recommendation of dialogue generation,DGRDG)模型.首先,利用对话模型生成对话目标,通过经典的Seq2Seq模型融合输入的对话历史、用户画像以及知识信息来生成对话目标;其次,提出目标重规划策略(goal replan policy,GRP)来修正生成的对话目标,以提高对话目标预测的准确率.在DuRecDial数据集上进行实验的结果表明,对话目标生成模块在引入目标重规划策略后,对话目标预测的准确率提高了3.93%;总体模型在BLEU,DISTINCT,F1以及人工评价指标上具有较好的效果.