基于可分离卷积神经网络的文本分类

近年来,卷积神经网络模型在文本分类中显示出了良好的应用前景,但该模型优势在于可以应用更深更广的卷积层来提取更丰富的语义特征,带来了昂贵的计算成本,并且在量级差异较大的数据集中不具备普适性。为了解决这一问题,提出了一种新型卷积网络结构,即用可分解两层卷积网络代替传统的文本卷积网络。一层词嵌入卷积层用来提取单词的词嵌入特征,另一层区域卷积层用来提取单词的上下文特征。模型在CPU上对多个数据集进行了测试,结果表明,该模型不仅降低了训练复杂度,在MR数据集上实现4 min 40 s的最短训练时间,而且在大数据集AG上准确率达到92.6,小数据集MR上达到83.0,这证明了模型在精度和鲁棒性方面都有良好的效果。此外,还进一步讨论了卷积核尺寸和数量对模型性能的影响,并且对以往的诸如SVM,CNN等经典文本分类模型做出了回顾,比较和总结,显现出了可分离卷积模型在算法复杂度和准确率方面的优越性。

基于改进BERT的中文文本分类

BERT是近两年提出的最为综合性的语言模型,在各项自然语言处理任务中都有不俗的表现。Softmax分类算法也是最为常用的分类算法,传统的softmax算法在学习同类和不同类样本时,用的是同一种格式,从而学习到的特征的类内和类间的可区分性不强。而A-softmax算法在学习同类样本时,增加了同类学习的难度,这样的区别对待会使得特征的可区分性更强。基于此,提出利用A-softmax来替代传统的softmax,从而使BERT模型更好地应用于中文文本分类任务中。并进一步提出将BERT与SVM结合,来探讨深度学习中的语义特征和传统统计特征融合的可行性。模型在相同的语料库上进行实验,结果表明,相比基于传统softmax的文本分类方法,基于A-softmax的中文文本分类的准确率更高,泛化能力更强,具有良好的分类性能,且将BERT与SVM结合比传统SVM分类准确率更高。