针对当前分类模型通常仅对一种长度文本有效,而在实际场景中长短文本大量混合存在的问题,提出了一种基于混合神经网络的通用型长短文本分类模型(GLSTCM-HNN)。首先,利用BERT(Bidirectional Encoder Representations from Transformers)...针对当前分类模型通常仅对一种长度文本有效,而在实际场景中长短文本大量混合存在的问题,提出了一种基于混合神经网络的通用型长短文本分类模型(GLSTCM-HNN)。首先,利用BERT(Bidirectional Encoder Representations from Transformers)对文本进行动态编码;然后,使用卷积操作提取局部语义信息,并构建双通道注意力机制(DCATT)对关键文本区域增强;同时,使用循环神经网络(RNN)捕获全局语义信息,并建立长文本裁剪机制(LTCM)来筛选重要文本;最后,将提取到的局部和全局特征进行融合降维,并输入到Softmax函数里以得到类别输出。在4个公开数据集上的对比实验中,与基线模型(BERT-TextCNN)和性能最优的对比模型(BERT)相比,GLSTCMHNN的F1分数至多分别提升了3.87和5.86个百分点;在混合文本上的两组通用性实验中,GLSTCM-HNN的F1分数较已有研究提出的通用型模型——基于Attention的改进CNN-BiLSTM/BiGRU混联文本分类模型(CBLGA)分别提升了6.63和37.22个百分点。实验结果表明,所提模型能够有效提高文本分类任务的准确性,并具有在与训练数据长度不同的文本上以及在长短混合文本上分类的通用性。展开更多
互联网敏感言论与普通言论之间存在显著差异,为规避过滤规则,其语义较为隐晦,一词多义现象频出,不规范程度较高。为高效识别互联网中的敏感言论并对其进行准确分类,针对敏感言论的特点与现有模型的缺点,对文本卷积神经网络进行了改进,结...互联网敏感言论与普通言论之间存在显著差异,为规避过滤规则,其语义较为隐晦,一词多义现象频出,不规范程度较高。为高效识别互联网中的敏感言论并对其进行准确分类,针对敏感言论的特点与现有模型的缺点,对文本卷积神经网络进行了改进,结合ALBERT(a Lite BERT)动态字级编码模型、文本卷积神经网络、多头自注意力机制与门控机制的优势,提出了一种融合字词特征的双通道分类模型ALBERT-CCMHSAG。该模型将文本的字级与词级语义信息、局部关键特征与上下文语义进行了充分提取与融合,以此提升敏感言论的分类效果。ALBERTCCMHSAG模型在敏感言论数据集上、噪声敏感言论数据集、小样本敏感言论数据集上的表现均为最优,证明了该模型对敏感言论识别与分类能力更强,能应对噪声数据与适应训练数据不足的情况,鲁棒性更强。在酒店评论数据集上,该模型的性能同样优于对比模型,证明了模型在其他语料上也很可能具有优异表现。展开更多
文摘针对当前分类模型通常仅对一种长度文本有效,而在实际场景中长短文本大量混合存在的问题,提出了一种基于混合神经网络的通用型长短文本分类模型(GLSTCM-HNN)。首先,利用BERT(Bidirectional Encoder Representations from Transformers)对文本进行动态编码;然后,使用卷积操作提取局部语义信息,并构建双通道注意力机制(DCATT)对关键文本区域增强;同时,使用循环神经网络(RNN)捕获全局语义信息,并建立长文本裁剪机制(LTCM)来筛选重要文本;最后,将提取到的局部和全局特征进行融合降维,并输入到Softmax函数里以得到类别输出。在4个公开数据集上的对比实验中,与基线模型(BERT-TextCNN)和性能最优的对比模型(BERT)相比,GLSTCMHNN的F1分数至多分别提升了3.87和5.86个百分点;在混合文本上的两组通用性实验中,GLSTCM-HNN的F1分数较已有研究提出的通用型模型——基于Attention的改进CNN-BiLSTM/BiGRU混联文本分类模型(CBLGA)分别提升了6.63和37.22个百分点。实验结果表明,所提模型能够有效提高文本分类任务的准确性,并具有在与训练数据长度不同的文本上以及在长短混合文本上分类的通用性。
文摘互联网敏感言论与普通言论之间存在显著差异,为规避过滤规则,其语义较为隐晦,一词多义现象频出,不规范程度较高。为高效识别互联网中的敏感言论并对其进行准确分类,针对敏感言论的特点与现有模型的缺点,对文本卷积神经网络进行了改进,结合ALBERT(a Lite BERT)动态字级编码模型、文本卷积神经网络、多头自注意力机制与门控机制的优势,提出了一种融合字词特征的双通道分类模型ALBERT-CCMHSAG。该模型将文本的字级与词级语义信息、局部关键特征与上下文语义进行了充分提取与融合,以此提升敏感言论的分类效果。ALBERTCCMHSAG模型在敏感言论数据集上、噪声敏感言论数据集、小样本敏感言论数据集上的表现均为最优,证明了该模型对敏感言论识别与分类能力更强,能应对噪声数据与适应训练数据不足的情况,鲁棒性更强。在酒店评论数据集上,该模型的性能同样优于对比模型,证明了模型在其他语料上也很可能具有优异表现。
