CINO双通道结合多头注意力机制藏文情感分类方法

为了解决藏文情感分类任务中现有的模型对文本语义信息理解和深层文本特征提取能力不足的问题,该文使用CINO(Chinese Minority PLM)预训练模型来获取动态词向量,通过TextCNN和BiGRU融合的双通道情感分类模型,分别实现获取文本局部特征和深层全局特征,并引入多头自注意力机制引导模型学习更重要的信息。实验结果表明,该文提出的双通道模型准确率高达92.84%,相较于该文的其他对比模型效果更佳。

一种融合CINO+TextCNN+BiLSTM+Attention的藏文情感分类方法

文章在卷积神经网络(TextCNN)、长短期记忆神经网络(LSTM)、词向量(Word2vec),全局词向量(Glove)等传统的训练词向量基础上,提出一种基于CINO+TextCNN+BiLSTM+Attention的藏文情感分类模型,使用少数民族语言的多语言预训练模型(CINO)来获取上下文语义的词向量,通过TextCNN和BiLSTM结合的注意力机制来提取局部信息和语义特征信息。文章构建了包含1.7万条藏文情感分类词的语料库,使用TextCNN、BiLSTM、CINO、CINO+TextCNN、CINO+BiLSTM、CINO+BiLSTM+Attention、CINO+TextCNN+BiLSTM+Attention等7种不同模型进行对比实验,实验结果表明本文提出的模型在藏文情感分类中的效果最优,其准确率上达到90.74%。

融合数据增强和知识迁移的汉维跨语言命名实体识别

针对维吾尔语命名实体识别任务数据匮乏的问题,提出汉维跨语言命名实体识别零样本迁移方法。采用一种简单有效的序列标记翻译方式,将源语言训练数据翻译为目标语言数据,避免词序变化和实体跨度不确定等问题,结合源语言数据和翻译后得到的数据,引入一种基于相似度计算的实体增强方法,可以有效提高文本生成质量,进一步增加样本的多样性。通过一系列广泛的试验,这些增强数据使少数民族预训练语言模型(Chinese minority pre-trained language model, CINO)能够更好地实现知识迁移目标语言的特定语言特征和多语言的语言独立特征,在多语言数据增强跨语言知识迁移模型上F1值达到86.50%,相比于基线模型提升7.42%,证明融合数据增强和知识迁移的汉维跨语言命名实体识别的可行性。