基于BERT和标签混淆的文本分类模型

目前,文本分类的研究主要集中在通过优化文本分类器来增强分类性能。然而,标签和文本之间的联系并没有得到很好的利用。尽管BERT对文本特征的处理表现出了非常好的效果,但对文本和标签的特征提取还有一定的提升空间。文中通过结合标签混淆模型(Label Confusion Model,LCM),提出一种基于BERT和LCM的文本分类模型(Model Based on BERT and Label Confusion,BLC),对文本和标签的特征进一步做了处理。充分利用BERT每一层的句向量和最后一层的词向量,结合双向长短时记忆网络(Bi-LSTM)得到文本表示,来替代BERT原始的文本特征表示。标签在进入LCM之前,使用自注意力网络和Bi-LSTM提高标签之间相互依赖关系,从而提高最终的分类性能。在4个文本分类基准数据集上的实验结果证明了所提模型的有效性。

基于标签混淆的院前急救文本分类模型

针对院前急救文本专业词汇丰富、特征稀疏和标签混淆程度大等问题,提出一种基于标签混淆模型(LCM)的文本分类模型。首先,利用BERT获得动态词向量并充分挖掘专业词汇的语义信息;然后,通过融合双向长短期记忆(BiLSTM)网络、加权卷积和注意力机制生成文本表示向量,提高模型的特征提取能力;最后,采用LCM获取文本与标签间的语义联系、标签与标签间的依赖关系,从而解决标签混淆程度大的问题。在院前急救文本和公开新闻文本数据集THUCNews上进行实验,所提模型的F1值分别达到了93.46%和97.08%,相较于TextCNN(Text Convolutional Neural Network)、BiLSTM、BiLSTM-Attention等模型分别提升了0.95%~7.01%和0.38%~2.00%。实验结果表明,所提模型能够获取专业词汇的语义信息,更加精准地提取文本特征,并能有效解决标签混淆程度大的问题,同时具有一定的泛化能力。