基于预训练模型的文本分类网络TextCGA

文本分类问题是NLP领域的经典问题。当前大部分文本分类网络中所使用的RNN网络存在着短期记忆问题,对于长文本无法进行准确分类。为此,首先将语言模型与分类网络两部分工作解耦,将NLP预训练模型应用于文本分类的任务上,并提出TextCGA文本分类网络。网络用预训练模型作为语言模型,使用预训练模型的强大的语义表示能力对文本进行表示;同时为了解决RNN网络在序列长度较长时的短期记忆问题,使用卷积层、RNN层以及Self-At⁃tention层搭建了CGA模块,有效解决长序列建模问题;在网络中设置多个CGA模块,使得模型可以从多个感受野捕捉文本特征。实验结果表明,使用预训练模型的TextCGA文本分类网络能够达到较好的文本分类效果,在测试中比对照方法普遍提高1~2%的准确率。