融合BERT词嵌入和BiLSTM的微博谣言持续检测模型

针对微博谣言带标签数据不足,且当下的谣言检测模型无法持续学习应对不断变化的微博网络语言等问题,本文提出BERT-BiLSTM-LML微博谣言持续检测模型.首先,使用BERT(Bidirectional Encoder Representations from Transformers)预训练模型提取两个任务输入文本数据的词向量;其次,使用双向长短时记忆(Bi-directional Long Short-Term Memory,BiLSTM)网络充分提取文本的上下文特征;最后,基于BiLSTM深层特征使用终身监督学习算法ELLA(Efficient Lifelong Learning Algorithm)对两个任务的特征数据进行建模,以实现对微博谣言的持续检测.实验结果表明:BERT词向量有效优化了模型性能,比基于Word2vec词向量的Word2vec-BiLSTM-LML模型在准确率和F1值都提升了5.5%.相较于独立学习,在持续学习争议检测任务后,模型的谣言检测准确率提升了1.7%,F1值提升了1.8%.同时,在持续学习过程中,随着知识的积累,谣言检测准确率持续提升.最终在公开的微博数据集上,BERT-BiLSTM-LML模型谣言检测准确率为93.2%,F1值为93.1%,优于其他基线模型.