基于多任务蒸馏的意图识别和槽位填充

BERT等预训练模型在很多NLP任务上取得了良好的效果,但预训练模型参数规模大,运算量大,对硬件资源要求高,难以部署在小型的配置环境中。模型压缩是解决该问题的关键,知识蒸馏是目前较好的模型压缩方法。基于此,提出基于多任务蒸馏的句意图识别和槽位填充联合模型,该模型将ALBERT运用到任务型对话系统中,并利用知识蒸馏策略将ALBERT模型知识迁移到BiLSTM模型。实验结果表明,基于ALBERT的联合模型在SMP 2019评测数据集中的句准确率为77.74%,单独训练的BiLSTM模型句准确率为58.33%,而蒸馏模型的句准确率为67.22%,在比BiLSTM高8.89%的情况下,推断速度约为ALBERT的18.9倍。

基于多特征Bi-LSTM-CRF的影评人名识别研究

近年来电影行业蓬勃发展,相关的信息抽取和分析技术日益受到行业内的重视,其中对电影主创人物的分析尤为重要。而电影评论作为观影群体的主要反馈信息,具有重要的分析价值。如何从影评中自动抽取主创人名成为重要的基础工作。然而评论中观众对人物的称谓方式多样复杂,而且新电影的影评中往往存在大量人名未登录词,传统方法难以有效识别。针对影评的这些特点,该文提出一种基于多特征Bi-LSTM-CRF的影评人名识别方法。该方法通过利用外部人名语料和未标注影评提取字符级的特征,并采用Bi-LSTM-CRF模型进行人名字符序列标注。实验结果表明,该方法能够有效识别影评中的复杂称谓和人名未登录词,从而有效地抽取影评中的人名实体。