基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法

任务导向对话系统的自然语言理解,其目的就是解析用户以自然语言形式输入的语句,并提取出可以被计算机所理解的结构化信息,其包含意图识别和槽填充两个子任务。BERT是近期提出来的一种自然语言处理预训练模型,已有研究者提出基于BERT的任务导向对话系统自然语言理解模型。在此基础上,该文提出一种改进的自然语言理解模型,其编码器使用BERT,而解码器基于LSTM与注意力机制构建。同时,该文提出了该模型的两种调优方法:锁定模型参数的训练方法、使用区分大小写的预训练模型版本。在基线模型与改进模型上,这些调优方法均能够显著改进模型的性能。实验结果显示,利用改进后的模型与调优方法,可以分别在ATIS和Snips两个数据集上得到0.8833和0.9251的句子级准确率。

面向任务的基于深度学习的多轮对话系统与技术

自然语言是人类智慧的结晶,以自然语言的形式与计算机进行交互是人们长久以来的期待。随着自然语言处理技术的发展与深度学习方法的兴起,人机对话系统成为了新的研究热点。人机对话系统按照功能可以分为任务导向型对话系统、闲聊型对话系统、问答型对话系统。任务导向型对话系统是一种典型的人机对话系统,旨在帮助用户完成某些特定的任务,有着十分重要的学术意义和应用价值。文中系统地阐述了一种在实际工程应用中的任务导向型对话系统的通用框架,主要包括自然语言理解、对话管理以及自然语言生成3个部分;介绍了上述各部分所采用的经典深度学习和机器学习方法。最后,对自然语言理解任务进行了实证性的实验验证与分析,结果表明文中内容可以为任务导向型对话系统的构建提供有效指导。

EGOS-DST:对话现象感知和模式引导的一步对话状态追踪算法

为了平衡过度依赖本体和完全舍弃本体两种极端方式,近期的对话状态追踪工作专注于混合方式。目前,这些混合方式忽略了一些特殊现象,比如值共享和推荐接受。此外,被广泛使用的槽位门机制使模型很难并行处理槽位,并且还会将误差传播到槽值生成步骤。针对以上问题,提出一种新的混合方式,它能够处理多样性表达、未知值、值共享和推荐接受4种不同对话现象。通过修改候选值集合和模型输入,模型不再依赖槽位门机制并且能够一步并行处理槽位。实验结果显示,模型在英文数据集MultiWOZ 2.2和2.3上分别达到了57.7%和59.5%的联合目标准确率,在中文数据集RiSAWOZ上达到了68.1%,并且推理一次仅需10ms。最后还分析了模型的鲁棒性,在MultiWOZ 2.2上的结果显示即使推荐错误率达到15%,联合目标准确率仍有55.4%。

“AI好老师”智能育人助理系统关键技术

近年来,人工智能逐渐被用于解决长期制约教育发展的关键问题。本研究关注如何利用人工智能技术解决教育中的育人问题。育人对智能助理系统的要求体现在领域知识的系统化、问题分析的综合化以及问题咨询过程的智能化等方面。因此,本研究利用人工智能的前沿技术,设计和开发智能育人助理——AI好老师,帮助教师和家长矫正孩子的问题行为,促进孩子健康成长。具体而言,AI好老师利用人工智能领域的知识图谱技术,基于不同育人数据,定义育人知识模式,进行知识的获取和融合,构建育人领域的知识图谱。在此基础上,AI好老师利用人工智能领域的任务导向型对话系统技术和基于知识图谱的推理技术,通过自然语言交互,实现育人问题的智能咨询,自动诊断教师或家长的育人问题,分析原因并给出相应的解决对策。未来,AI好老师将在机器人的结合、智能问答的功能、模型的提升、学生信息的自动获取以及案例的主动收集等方面进一步发展。