基于多语言预训练模型的缅甸语分词研究

缅甸语属于低资源语言,收集大量缅语文本进行预训练是一项耗时耗力的工作。目前已存在一些在多种语言(包括缅甸语)上预训练的模型,例如bert-base-multilingual-cased和xlm-roberta-base。因此,文章提出了一种新方法,即在多语言(包括缅甸语)预训练模型的基础上,利用缅语文本进行再预训练,以提升模型的分词性能。首先,构建了缅语预训练语料库,并使用它制作了一个仅包含缅甸语的tokenizer。然后,重置了多语言预训练模型的词嵌入层和位置编码层,并在重置后的多语言预训练模型上使用自制的tokenizer加入缅语预训练语料库进行再预训练。最后,在自建的以及公开的分词标注数据集上进行了微调。与未进行再预训练的情况相比,模型在F1值上分别提高了2.23%和1.2%,且自建数据集的提升幅度高出公开数据集的1.34%。