基于ALBERT、Lattice IndyLSTM和Attention融合的用户意图分类

旨在对话式智能系统中的用户意图识别任务,论文提出了一种新型的用户意图分类模型。该模型结合了ALBERT预训练模型、格形式的独立循环长短期记忆网络(Lattice IndyLSTM)以及词注意力融合机制。通过构造一个由字嵌入和词嵌入组成的Lattice,输入至IndyLSTM网络实现对用户输入语句编码,能够处理传统意图分类任务中无法同时利用字词信息、RNN中存在梯度爆炸或者消失,LSTM模型过拟合等问题。此外,利用能够提高对用户输入语句中领域特定词汇的编码贡献度的词注意力机制,大大提升了意图识别准确性。通过实验得出,论文提出的用户意图分类模型能够有效提升精确率、召回率和F1值等指标。