联合多意图识别与语义槽填充的双向交互模型

意图识别与语义槽填充是口语理解的两个主要任务,两者具有高度相关性,通常进行联合训练。随着口语理解任务的深入,研究发现用户在现实场景中的话语往往含有多个意图。但部分联合模型只能识别用户话语中的单个意图,未能充分建模多个意图和语义槽之间的关联性。考虑到话语中多个意图的信息可以引导语义槽填充,语义槽信息也可以帮助意图更好的识别,模型采用图注意力网络建立意图和语义槽之间的双向交互。具体的,将两个任务双向关联以便模型能够挖掘多个意图与语义槽之间的关系,同时引入两个任务的标签信息使模型能够学习到话语上下文和标签的关系,从而提高意图识别与语义槽填充的准确率,优化口语理解的整体性能。实验表明,模型在MixATIS和MixSNIPS两个多意图数据集上对比其他模型性能得到了显著提升。

融合意图信息的小样本多意图识别

为解决匮乏资源下多意图识别语义、语境信息易受到不相关意图信息干扰的问题,该文提出一种基于原型网络在语义上嵌入意图信息的多意图识别方法。首先设计意图融合特征提取机制,通过结合话语和意图信息构建具有区分度的支持集、查询句和意图集表征,缓解短话语往往遭遇意图相关信息的语义混淆的问题;其次设计原型意图分离机制,计算所属意图话语对该意图原型的权重信息,联合意图权重得到分离式意图原型表征,降低支持集和查询句中不相关意图带来的噪声。实现了在低资源多意图场景下捕获高质量的原型表征。实验结果表明,该方法可有效提高小样本多意图识别的效果。

改进GL-GIN的多意图识别和槽填充联合模型

在当前自然语言处理多意图识别模型研究中,存在建模方式均为从意图到插槽的单一方向的信息流建模,忽视了插槽到意图的信息流交互建模研究,意图识别任务易于混淆且错误捕获其他意图信息,上下文语义特征提取质量不佳,有待进一步提升等问题.本文以当前先进的典型代表GL-GIN模型为基础,进行优化改进,探索了插槽到意图的交互建模方法,运用槽到意图的单向注意力层,计算插槽到意图的注意力得分,纳入注意力机制,利用插槽到意图的注意力得分作为连接权重,使其可以传播和聚集与意图相关的插槽信息,使意图重点关注与其相关的插槽信息,从而实现多意图识别模型的双向信息流动;同时,引入BERT模型作为编码层,以提升了语义特征提取质量.实验表明,该交互建模方法效果提升明显,与原GL-GIN模型相比,在两个公共数据集(MixATIS和MixSNIPS)上,新模型的总准确率分别提高了5.2%和9%.

结合句法特征和卷积神经网络的多意图识别模型

短文本的多意图识别是口语理解(SLU)中的难题,因短文本的特征稀疏、字数少但包含信息量大,在分类问题中难以提取其有效特征。为解决该问题,将句法特征和卷积神经网络(CNN)进行结合,提出一种多意图识别模型。首先,将句子进行依存句法分析以确定是否包含多意图;然后,利用词频-逆文档频率(TF-IDF)和训练好的词向量计算距离矩阵,以确定意图的个数;其次,把该距离矩阵作为CNN模型的输入,进行意图分类;最后,判断每个意图的情感极性,计算用户的真实意图。采用现有的智能客服系统的真实数据进行实验,实验结果表明,结合句法特征的CNN模型在10个意图上的单分类精准率达到93.5%,比未结合句法特征的CNN模型高1.4个百分点;而在多意图识别上,精准率比其他模型提高约30个百分点。

胶囊网络用于短文本多意图识别的研究

意图识别是人机对话系统中口语理解的关键子任务。考虑到当前用户表达存在多个意图的问题,主要采用胶囊网络构造基于单意图标记的多意图分类器对用户表达的多种意图进行识别。为了保证意图文本的特征质量,通过在胶囊网络中增加卷积胶囊层提取意图文本的深层次语义信息,同时利用胶囊网络中的动态路由将特征胶囊动态分配到意图胶囊类别中,通过设置阈值大小判别多种意图存在的概率,从而完成多意图识别任务。实验结果表明在多意图识别任务中,胶囊网络优于卷积神经网络,而增加卷积胶囊层的胶囊网络可以提升多意图识别的性能效果,在中文和英文数据集上的宏平均F1值分别达到77.3%和94.7%。

基于双图注意力的多领域口语语言理解联合模型

多领域口语语言理解包括多意图识别和槽填充两个子任务,现有研究通过构建语句中的意图和槽之间的关联提升模型的表现。然而现有研究将多领域场景下的意图和槽看作相互独立的标签,忽视了标签之间领域内和领域间的结构关联。该文提出细粒度标签图和领域相关图的双图注意力联合模型。具体来说,细粒度标签图将意图和槽标签分成细粒度分片,建模分片之间的结构性关联和上下文表示的语义特征。领域相关图通过标签间的领域信息,建模预测意图和对应领域内槽的关联,减少图中的冗余关联。实验结果表明,在两个公开的数据集上,该文提出的模型均优于基准模型。