基于RoBERTa的电力领域词汇挖掘模型

针对中文电力领域词汇挖掘专业难度大、人工成本高的问题,本文利用深度学习技术,设计了一种结合大规模预训练语言模型、双向长短期记忆网络和条件随机场的电力领域词汇挖掘模型。该模型是一种不涉及任何特征工程的完全端到端的神经网络模型,其将RoBERTa模型继续在电力文本语料上预训练以进行领域自适应,同时利用长短期记忆网络整合文本上下文语义信息,并通过条件随机场对预测的标签序列进行约束进而优化实体识别效果。由于现有的电力领域词汇挖掘研究缺乏高质量的标注数据集资源,该文构建了一个具有一定规模的中文电力领域词汇挖掘标注数据集。该文在标注数据集上进行了一系列实验,实验结果验证了模型的有效性。