联合多意图识别与语义槽填充的双向交互模型

意图识别与语义槽填充是口语理解的两个主要任务,两者具有高度相关性,通常进行联合训练。随着口语理解任务的深入,研究发现用户在现实场景中的话语往往含有多个意图。但部分联合模型只能识别用户话语中的单个意图,未能充分建模多个意图和语义槽之间的关联性。考虑到话语中多个意图的信息可以引导语义槽填充,语义槽信息也可以帮助意图更好的识别,模型采用图注意力网络建立意图和语义槽之间的双向交互。具体的,将两个任务双向关联以便模型能够挖掘多个意图与语义槽之间的关系,同时引入两个任务的标签信息使模型能够学习到话语上下文和标签的关系,从而提高意图识别与语义槽填充的准确率,优化口语理解的整体性能。实验表明,模型在MixATIS和MixSNIPS两个多意图数据集上对比其他模型性能得到了显著提升。

意图识别与语义槽填充的双向关联模型

意图识别与语义槽填充联合建模正成为口语理解(Spoken Language Understanding,SLU)的新趋势。但是,现有的联合模型只是简单地将两个任务进行关联,建立了两任务间的单向联系,未充分利用两任务之间的关联关系。考虑到意图识别与语义槽填充的双向关联关系可以使两任务相互促进,提出了一种基于门控机制的双向关联模型(BiAss-Gate),将两个任务的上下文信息进行融合,深度挖掘意图识别与语义槽填充之间的联系,从而优化口语理解的整体性能。实验表明,所提模型BiAss-Gate在ATIS和Snips数据集上,语义槽填充F1值最高达95.8%,意图识别准确率最高达98.29%,对比其他模型性能得到了显著提升。

融合多约束条件的意图和语义槽填充联合识别

口语理解包含两个子任务——意图识别和语义槽填充,现有的联合建模方法虽然实现了模型参数的共享,并将意图识别的结果作用于语义槽填充,但是对于语义槽填充任务没有考虑到标签前后的依赖关系。采用双向长短时记忆网络(BLSTM),由BLSTM得到隐藏层状态后,对两任务分别加入注意力机制,通过语义槽门控机制将意图识别的结果作用于语义槽填充任务,并在语义槽填充任务中加入条件随机场(CRF)模型,该模型考虑了标签前后的依赖关系从而使得标注结果更为准确。实验数据选择航空信息领域的查询语句,得到的结果是意图识别的准确率达到93.20%,语义槽填充的F1值达到99.28%,并在SMP中文人机对话技术评测数据集上验证模型的性能。实验结果证明该模型优于其他联合识别模型。

基于BERT和BiLSTM的语义槽填充

语义槽填充是对话系统中一项非常重要的任务,旨在为输入句子的每个单词标注正确的标签,其性能的好坏极大地影响着后续的对话管理模块。目前,使用深度学习方法解决该任务时,一般利用随机词向量或者预训练词向量作为模型的初始化词向量。但是,随机词向量存在不具备语义和语法信息的缺点;预训练词向量存在“一词一义”的缺点,无法为模型提供具备上下文依赖的词向量。针对该问题,提出了一种基于预训练模型BERT和长短期记忆网络的深度学习模型。该模型使用基于Transformer的双向编码表征模型(Bidirectional Encoder Representations from Transformers,BERT)产生具备上下文依赖的词向量,并将其作为双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)的输入,最后利用Softmax函数和条件随机场进行解码。将预训练模型BERT和BiLSTM网络作为整体进行训练,达到了提升语义槽填充任务性能的目的。在MIT Restaurant Corpus,MIT Movie Corpus和MIT Movie trivial Corpus 3个数据集上,所提模型得出了良好的结果,最大F1值分别为78.74%,87.60%和71.54%。实验结果表明,所提模型显著提升了语义槽填充任务的F1值。

基于Attention+Bi-LSTM的公交出行意图和语义槽填充联合识别

对话系统的口语理解通常涉及意图识别和语义槽填充两个任务.目前意图和语义槽填充联合识别成为口语理解研究的主流方法.本文采用一种基于注意力机制(Attention Mechanism)的双向长短时记忆(Bi-directional long short-term memory,Bi-LSTM)模型,对呼和浩特市公交问路查询语句进行意图和语义槽填充的联合识别.实验结果表明,该模型在意图识别准确率和语义槽填充F1值方面,均达到了较好的水平,优于基于长短时记忆(long short-term memory,LSTM)模型的其他方法,并且该模型基于字切分的结果优于基于词切分的结果,证实了该方法的有效性.

基于深度学习的意图识别与语义槽填充联合建模研究

意图识别和槽填充是自然语言理解的两个基本任务,它们之间互相携带了对方的信息。本文提出了一种基于BERT-CRF的联合识别模型。实验结果表明,该模型在意图识别的准确率和语义槽填充的F1分数方面都有显著的提高。

端到端对话系统意图语义槽联合识别研究综述

目前基于深度学习的端到端对话系统因具有泛化能力强、训练参数少、性能好等优势,在学术界和工业界成为了研究热点。意图识别和语义槽填充的结果对于对话系统的性能至关重要。介绍了端到端任务型对话系统意图和语义槽联合识别的主流方法,对注意力机制、Transformer模型在捕获长期依赖关系方面的效果同循环神经网络、长短时记忆网络进行对比,并分析了因其并行处理导致无法对文本词序位置信息完整捕获的局限;阐述了胶囊网络相较于卷积神经网络在捕获小概率语义信息保证特征完整性方面的优势;重点介绍了基于BERT(Bidirectional Encoder Representations from Transformers)模型的联合识别方法,不仅能够并行处理而且可以解决一词多义的问题,是目前性能最好的方法。最后对未来研究的发展方向进行讨论和分析。

融入历史信息的多轮对话意图识别

为解决人机对话系统研究中多轮对话历史信息的意图识别问题,提出了基于多任务学习的意图识别方法,对意图识别和语义槽填充两个任务进行联合建模,使用BERT和RoBERTa预训练模型作为语义编码器对这两个任务进行多任务联合学习,同时添加历史信息编码器,使用长短期记忆网络对历史信息进行语义建模。实验结果表明:意图识别的准确率明显优于其他现有模型,语义槽填充的F1值也得到了提升。

面向任务口语理解研究现状综述

口语理解是对话系统重要的功能模块,语义槽填充和意图识别是面向任务口语理解的两个关键子任务。近年来,联合识别方法已经成为解决口语理解中语义槽填充和意图识别任务的主流方法,介绍两个任务由独立建模到联合建模的方法,重点介绍基于深度神经网络的语义槽填充和意图识别联合建模方法,并总结了目前存在的问题以及未来的发展趋势。