结合BERT与BiGRU-Attention-CRF模型的地质命名实体识别

从地质文本中提取地质命名实体,对地质大数据的深度挖掘与应用具有重要意义。定义了地质命名实体的概念并制订了标注规范,设计了地质实体对象化表达模型。地质文本存在大量长实体、复杂嵌套实体,增加了地质命名实体识别的挑战性。针对上述问题,①引入BERT模型生成顾及上下文信息的高质量词向量表征;②采用双向门控循环单元-注意力机制-条件随机场(BiGRU-Attention-CRF)对前一层输出的语义编码进行序列标注与解码。通过与主流深度学习模型进行对比,该模型的F1值为84.02%,均比其他模型表现出更优异的性能,能在小规模地质语料库上有较好的识别效果。

基于GeoERNIE-BiLSTM-Attention-CRF模型的地质命名实体识别

构建地质知识图谱对深化现有地质数据分析和推进地质大数据的构建至关重要。地质命名实体识别作为构建地质知识图谱的核心技术,仍然面临着地质命名实体不断被引入、符号分隔的命名实体、同一实体表达形式不同等挑战。针对上述问题,本文提出了GeoERNIE-BiLSTM-Attention-CRF的地质领域命名实体识别模型,其中预训练模型GeoERNIE学习了地质领域的先验语义知识,并结合自定义地质领域主体词表对复杂命名实体进行准确分词,能够提升模型整体性能和地质命名实体未登录词以及复杂实体的识别效果。然后通过BiLSTM充分学习地质实体上下文语义信息来帮助对命名形式多样的地质命名实体进行识别,接着引入Attention机制对地质实体相关语义增加特征权重,最后由CRF层输出最佳实体标注结果。本文以测试集数据对模型性能进行了评估,模型的准确率、精确率、召回率和F1值分别达到了96.35%、96.90%、96.87%和96.95%。实验表明相比其他模型,本文模型在地质命名实体识别方面效果更优,能有效识别符号分隔和同一实体表达形式不同等复杂地质命名实体。

区域地质调查文本中文命名实体识别

作为我国地质调查领域最重要的数据源之一,地质调查报告中蕴含着丰富的地学知识及地质体描述等关键信息,准确高质量地抽取地质命名实体为地学知识图谱构建、知识推理及知识演化提供基础。笔者等在阐述地质命名实体识别任务基础上,分析地质实体不仅包含大量专业术语,还存在实体嵌套、大量长实体等领域特性,进一步增加了地质命名实体识别难度。笔者等提出一种基于轻量级预训练模型(ALBERT)—双向长短时记忆网络(BiLSTM)—条件随机场(CRF)模型的地质命名实体识别方法。首先利用ALBERT对输入字符上下文特征进行建模,并采用BiLSTM对其进行进一步上下文特征表征,最后采用CRF实现标注序列预测。实验结果表明,在构建的地质命名实体识别数据集上,相比于主流的命名实体识别模型算法,本文所提出的方法具有更好的抽取性能,提出的命名实体识别模型能为领域实体识别提供借鉴,同时为地学领域实体关系抽取和地学知识图谱构建提供有力方法支撑。