基于mBERT的东南亚小语种推特文本情感分析

小语种由于其训练语料资源稀缺,在自然语言处理领域一直是一大难题,使用传统的机器学习方法与神经网络方法,具有很大的瓶颈。而跨语言预训练语言模型的出现,对于低资源语种的包括文本分类在内的多项任务,都起到了很大的提升效果。在基于海量语料训练得到的跨语言预训练语言模型mBERT的基础上进行微调,相较于传统的机器学习方法,在情感分析任务的效率和准确度都可得到不错的提升。