改进的DDPG对话策略优化算法

针对任务型对话系统缺少大规模真实训练数据的问题,提出一种结合规划的离散深度确定性策略梯度(deep deterministic policy gradient,DDPG)算法来优化对话策略。在代理方面,改进经典DDPG训练算法中actor网络的输出结构和损失函数,使其适用于离散动作空间任务;在环境方面,引入一个环境模型(又称世界模型)来模拟真实用户提问;在整个训练过程中,代理分别与用户模拟器和世界模型交互,结合规划交替使用真实用户经验和模拟用户经验,改进对话策略。实验结果表明,该方法能够加快模型的收敛速度,提升任务成功率。

基于小样本机器学习的跨任务对话系统

对话系统效果主要取决于自然语言理解与对话管理组件的表现。在构建特定领域的对话系统时,标注数据和语料不足、面临多轮对话中不合作对话的干扰,而且很难将一个构建完的系统扩展到新的领域。在少量特定领域样本的基础上,将来自机器翻译模型的双向编码表征预训练模型应用到意图识别模块,在对话管理组件提出了基于神经图灵机的循环嵌入对话策略,使系统具备了更强的特征抽取能力,并初步具备了跨任务对话能力。该对话策略通过神经图灵机对历史对话和系统行为给予了特别关注,在用户和系统记忆中使用了不同的注意力机制,有效地学习了对话状态与系统行为的向量嵌入。实验结果表明,在样本不足的垂直领域对话测试中更好地完成了意图识别与槽位填充,基本避免不合作对话导致的对话状态错乱,同时能够将学到的对话控制策略迁移到另一领域。