改进路由机制的元学习少样本文本分类模型

深度学习模型已在文本分类领域得到了广泛应用.然而,深度神经网络在处理少样本文本分类任务时其有效性易受噪声、同类样本点分布不均衡等问题的影响.为此,提出改进路由机制的元学习少样本文本分类模型.模型对胶囊网络的动态路由机制做出两种改进,针对噪声干扰问题,提出基于交互信息的路由机制,捕获同类文本间的交互信息来引导模型加强重要特征,减弱噪声影响;针对文本样本点分布不均衡的问题,提出基于距离系数的路由机制,引入距离系数指导权重分配过程以更好地划分原型空间.然后,将二者学习到的类原型进行融合,以充分捕获少样本文本特征信息.实验结果表明,相对其它少样本文本分类任务的基线方法,该文模型具有更优的少样本文本预测能力,并且收敛速度更快.

基于双向长效注意力特征表达的少样本文本分类模型研究

【目的】针对当前文本分类任务中存在的训练数据匮乏以及模型泛化性能低等问题,在少样本环境下研究文本分类问题,提出一种少样本文本分类模型。【方法】基于元学习中的分段训练机制将文本分类任务划分为多个子任务;为了捕捉每个子任务中文本的长效上下文信息,提出双向时间卷积网络;为了捕获辨别力更强的特征,联合双向时间卷积网络和注意力机制提出双向长效注意力网络;利用一种新的神经网络模型度量每个子任务中查询样本与支持集的相关性,从而实现少样本文本分类。【结果】在ARSC数据集上进行实验,实验结果表明,在少样本环境下,该模型的分类准确率高达86.80%,比现有先进的少样本文本分类模型ROBUSTTC-FSL和Induction-Network-Routing的准确率分别提高了3.68%和1.17%。【局限】仅针对短文本分类问题,对于篇幅较长的文本,其分类能力有限。【结论】双向长效注意力网络克服了训练数据匮乏问题且充分捕获文本的语义信息,有效提高了少样本文本分类性能。