基于ALBERT-BiLSTM-CRF的抽蓄机组故障诊断知识图谱构建方法研究与应用

抽蓄机组在电力系统中扮演着重要的角色,其故障诊断对电力系统的安全稳定运行至关重要。本文提出一种基于ALBERT-BiLSTM-CRF的抽蓄机组故障诊断知识图谱构建方法,并将其应用于抽蓄机组故障诊断中。首先,利用ALBERT模型对抽蓄机组中的故障诊断相关语料进行预训练,提取故障诊断的关键特征。然后,采用BiLSTM模型进行特征提取和表示学习。最后,利用CRF模型进行标注和预测,构建抽蓄机组故障诊断知识图谱。试验结果表明,所提方法在实体识别和关系抽取任务中具有较高的准确性和效率,为后续的机组故障领域的智能问答、辅助决策等方面的具体应用建立了坚实的基础。

基于ALBERT-BiLSTM-CRF的煤矿事故案例文本命名实体识别方法

为了实现对煤矿事故案例文本中实体的识别,利用ALBERT模型与语言模型条件随机场算法(CRF)和双向长短时记忆网(BiLSTM)相结合。以煤矿安全网获取的239份煤矿事故案例文本作为实验数据,自构建246个煤矿领域词典,对文本数据进行预处理。利用ALBERT模型获取动态词向量,后接BiLSTM网络层对其进行深层次的特征训练,CRF层则考虑了输出标签之间的关联关系,提高命名实体的准确性,完成文本信息的实体识别。在模型进行15次迭代训练以后,得到精准率94.57%,召回率91.48%,二者的调和平均值f1值91.02%,通过BiLSTM-CRF、BERT-BiLSTM-CRF、BiLSTM-CNN-CRF三组模型进行实验对比,ALBERT-BiLSTM-CRF模型的精准率、召回率以及f1值均有提高。

基于混合深度学习的藏医古籍命名实体识别研究

[目的/意义]针对藏医古籍知识组织与开发不足的问题,利用混合深度学习方法构建面向藏医古籍的命名实体识别模型,为藏医古籍知识的深度开发与利用提供方法支持。[方法/过程]根据藏医古籍知识特点,构建ALBERT-BiLSTM-CRF模型。以《四部医典》为数据集,在人工标注与文本预处理的基础上,进行命名实体识别实验,并将实验结果与其他3种常见模型进行对比分析。[结果/结论]ALBERT-BiLSTM-CRF模型对藏医古籍实体识别效果最好,F1-score达到96.28%,与其他方法相比提升约7个百分点。

基于ALBERT的网络威胁情报命名实体识别

网络威胁情报实体识别是网络威胁情报分析的关键,针对传统词嵌入无法表征一词多义而难以有效识别网络威胁情报实体关键信息,同时面临指数级增长的威胁情报,识别模型的效率亟待提高等问题,提出一种基于ALBERT的网络威胁情报命名实体识别模型.该模型首先使用ALBERT提取威胁情报动态特征词向量,然后将特征词向量输入到双向长短期记忆网络(BiLSTM)层得到句子中每个词对应的标签,最后在条件随机场(CRF)层修正并以最大概率输出序列标签.识别模型对比实验结果显示,提出模型的F1值为92.21%,明显优于其他模型.在识别准确率相同的情况下,提出模型的时间和资源成本也较低,适用于网络威胁情报领域海量高效的实体识别任务.

基于Albert模型的民族医药知识图谱构建

民族医药方剂记载杂乱且电子化信息非常匮乏,为了能够抢救性地挖掘和保护民族医药理论,清晰地展现其内在关联和诊治特点,文章详细阐述了民族医药知识图谱的构建过程和具体方法。有效处理民族医药数据集,根据模型运行的图像效果来调整模型的参数,基于Albert-BiLSTM-CRF模型进行命名实体识别,其结果的准确率达到最高,精确率为99.06%,召回率为79.35%,F1值为88.11%,抽取的实体存储在Neo4j图数据库,并自定义节点之间的关系,实现民族医药知识图谱可视化。

基于ALBERT+BiLSTM+CRF的事件抽取模型

针对现有事件抽取模型事件数据集规模较小、存在开销与性能不平衡问题,采用ALBERT预训练语言模型生成词向量,将其输入BiLSTM+CRF模型完成句子级事件的特征向量提取,抽取出事件触发词、论元和角色等中文事件要素,在大规模中文事件数据集DuEE上进行验证。结果表明,该模型与其他同类型模型相比,准确率和F_(1)值均有所提升,在大规模事件数据集上的准确率、召回率和F_(1)值分别为95.4%、77.8%和85.7%。

基于ALBERT的中文医疗病历命名实体识别

医疗病历命名实体识别的主要任务是将临床电子病历中的非结构化文本转化为结构化数据,进而为面向医疗领域任务开展的数据挖掘提供基础支撑.提出一种基于ALBERT模型融合学习的中文医疗病历命名实体识别模型.首先,采用人工标注方式扩展样本数据集,结合ALBERT模型对数据集进行微调;其次,采用双向长短记忆网络(BiLSTM)提取文本的全局特征;最后,基于条件随机场模型(CRF)命名实体的序列标记.在标准数据集上的实验结果表明,该方法进一步提高了医疗文本命名识别精度,减少了时间开销.

文本表示及其特征生成对法律判决书中多类型实体识别的影响分析

【目的】探索法律判决书中不同模型的实体识别效果,为法律知识库的构建奠定基础。【方法】提取刑事判决书中的庭审过程和法院意见构造数据集,比较人工构造特征的CRFs模型和加入预训练词向量做文本表示的自动生成特征的IDCNN-CRFs模型与BiLSTM-CRFs模型的实体识别效果,并在少量其他类型法律判决书文本上比较模型的迁移能力。【结果】ALBERT-BiLSTM-CRFs模型实体识别效果最好,F1微平均值达95.28%;IDCNN-CRFs模型的识别效果低于前者,但训练时间是前者的1/6,两个模型均具有较好的迁移能力。【局限】识别的实体多为通用实体,后续考虑标注更多领域特有实体,增强研究对实际应用的参考价值。【结论】法律判决书的实体识别中,ALBERT-BiLSTM-CRFs和IDCNN-CRFs模型比CRFs模型效果更好,且迁移能力更强。