融合注意力机制和BiLSTM+CRF的渔业标准命名实体识别

为了解决渔业标准文本中专有命名实体具有上下文敏感性、长序列存在语义稀释等问题,提出了基于E-BIO标注法和融合注意力机制的BiLSTM+CRF(BiLSTM+Attention+CRF)命名实体识别模型,E-BIO标注法引入渔业标准文本中的结构化信息,可以使模型有效学习上下文结构特征,而注意力机制输出不断变化的语义向量,可有效解决长序列语义稀释问题。为验证所提出方法的有效性,在采用E-BIO方法标注的语料上进行对比试验,结果显示,BiLSTM+Attention+CRF模型对不同类别的渔业标准命名实体识别的准确率均能达到90%以上,召回率均能达到85%以上。研究表明,本研究中提出的BiLSTM+Attention+CRF命名实体识别模型可以有效利用上下文结构特征,避免了语义稀释问题,对于渔业标准命名实体识别具有较好的识别性能。

基于BERT+BiLSTM+CRF深度学习模型和多元组合数据增广的渔业标准命名实体识别

为解决渔业标准命名实体识别任务中部分实体语料分布稀疏导致的效果不佳问题,提出了基于多元组合数据增广(data augmentation method based on multiple combination,MCA)的渔业标准命名实体识别方法,该方法融合了基于领域词典的联合替换算法(joint replacement algorithm based on domain dictionary,DDR)、基于槽点保护的随机删除算法(random deletion algorithm based on slot protection,SPD)和基于槽点保护的随机插入算法(random insertion algorithm based on slot protection,SPI)进行语料库的数据增广,首先构建“水产品名称”同类词词典和领域同义词词典,通过两个词典分别对“水产品名称”类实体和随机词进行同类词替换和同义词替换,生成新的句子,以增加目标实体数量和句子的多样性,然后在基于槽点保护的情况下对原句子分别进行随机删除和随机插入操作,在保留实体及上下文特征的情况下进一步丰富语料的多样性,提高模型的泛化能力。结果表明,采用基于融合注意力机制的BERT+BiLSTM+CRF网络模型和多元组合数据增广方法进行渔业标准命名实体识别,准确率、召回率、F1值分别达到了91.73%、88.64%、90.16%,具有较好的效果。研究表明,基于多元组合数据增广的渔业标准命名实体识别方法有效解决了部分实体样本稀疏问题,提升了渔业标准命名实体识别的整体效果。

基于BioBERT与BiLSTM的临床试验纳排标准命名实体识别

目的:提出一种基于BioBERT预训练模型的纳排标准命名实体识别方法(BioBERT-Att-BiLSTM-CRF),可自动提取临床试验相关信息,为高效制定纳排标准提供帮助。方法:结合UMLS医学语义网络和专家定义方式,制定医学实体标注规则,并建立命名实体识别语料库以明确实体识别任务。BioBERT-Att-BiLSTM-CRF首先将文本转换为BioBERT向量并输入至双向长短期记忆网络以捕捉上下文语义特征;同时运用注意力机制来提取关键特征;最终采用条件随机场解码并输出最优标签序列。结果:BioBERT-Att-BiLSTM-CRF在纳排标准命名实体识别数据集上的效果优于其他基准模型。结论:使用BioBERT-Att-BiLSTM-CRF能更高效地提取临床试验的纳排标准相关信息,从而增强临床试验注册数据的科学性,并为临床试验纳排标准的制定提供帮助。

融合注意力机制与BERT+BiLSTM+CRF模型的渔业标准定量指标识别

在渔业标准文本中,定量指标识别对标准内容服务具有重要的意义,针对目前常用的命名实体识别方法对渔业标准定量指标识别准确率不高的问题,该研究提出了融合注意力机制与BERT+BiLSTM+CRF(Bidirectional Encoder Representations from Transformers+Bi-directional Long Short-Term Memory+Conditional Random Field,来自转换器的双向编码器表征量+双向长短时记忆网络+条件随机场)模型的渔业标准定量指标识别方法,该方法将渔业标准中定量指标拆分为指标名、指标值、单位、限制词4类实体,通过分析渔业标准语料的特点发现位置信息对指标名等实体识别效果具有重要影响,首先利用BERT模型中位置向量信息提高指标名等实体的识别效果,其次采用BiLSTM(Bi-directional Long Short-Term Memory,双向长短时记忆网络)模型学习渔业标准文本定量指标中长序列语义特征,然后再将注意力机制与BERT+BiLSTM模型进行融合以解决长序列语义稀释问题,最后利用CRF(Conditional Random Field,条件随机场)层得到预测序列标签。试验结果表明,融合注意力机制与BERT+BiLSTM+CRF模型的渔业标准定量指标识别准确率为94.51%、召回率为96.37%、F1值为95.43%,研究表明,该方法解决了渔业标准定量指标识别准确率不高的问题,可以比较准确地识别由指标名、指标值、单位、限制词组成的渔业标准定量指标,是一种有效的渔业标准定量指标识别方法,可为农业、医学、生物等其他领域定量指标命名实体识别提供新思路。

基于规则匹配与深度学习AbTransformer的渔业标准表格信息抽取方法

为解决渔业标准文本中表格结构多样、表头位置不固定导致抽取效果不佳的问题,提出一种结合规则匹配(rule-based-matching,RBM)与AbTransformer(Absolute Transformer)深度学习模型的表格信息抽取方法,该方法对规则类表格信息采用规则模板与BERT-BiLSTM-CRF模型进行信息抽取,对非规则类表格信息采用改进的Transformer进行抽取,即在位置编码模块中引入行位置编码,与特征向量拼接以获取表格行列位置。结果表明:本文中提出的AbTransformer模型相较于机器学习MLP模型,AUC值提升了1.46%,相较于TabTransformer模型,AUC值提高了1.18%;本文中提出的RBM-AbTransformer模型与AbTransformer模型相比,准确率、召回率和F1值分别提高了7.78%、4.19%和5.27%。研究表明,结合RBM与AbTransformer的渔业标准表格信息抽取方法,有效解决了表格结构多样、表头位置不固定的问题,提升了渔业标准表格信息抽取的整体效果。

基于BERT的化妆品标准实体关系抽取技术研究

化妆品标准有助于规范化妆品市场,同时也是相关部门进行安全监管的重要依据。为了解决化妆品标准文本中专有命名实体具有上下文敏感性、长序列存在语义稀释等问题,本文提出了一种融合了注意力机制的BERT-BiLSTM-Attention-CRF模型来提取文本中的实体和关系,引入的注意力机制能够优化权重分配、消除噪音,进而提高抽取的准确性。为了验证模型的有效性,我们与几种常见的深度网络模型进行了对比,结果证明我们的模型在自建的化妆品标准数据集上的F1值比其他模型高了3.9%~12.1%,进一步验证了模型的有效性和合理性。

基于改进BERT预训练模型的电力标准命名实体识别方法研究

近年来,电力行业高质量发展与数字化转型工作的重要性逐步凸显,对电力标准的数字化转型研究提出新的需求,也为电力标准的管理、实施和监督带来新的挑战和机遇。电力领域作为社会经济发展的重要支撑,其术语和专有名词具有很高的特定性和复杂性,传统的基于规则与特征工程的命名实体识别方法在处理电力领域的标准文档时存在识别准确率低、术语难分割、依赖专家经验的局限性。为了克服这些问题,文章提出改进BERT的命名实体识别模型,通过引入领域内的电力术语语料库、词特征与词汇信息,在电力标准语料上对10种电力实体进行识别,F1达到了81%,实现对于电力领域长术语实体的有效识别,提高电力标准文档的处理效率和准确性,为电力标准的信息处理和应用提供支持。通过文章的研究能够促进电力标准文档的自动化处理能力,提高电力行业的数字化水平,为电力行业的规范制定、知识管理和决策支持等方面提供有力的技术支撑。

基于机器学习的药品知识库构建研究

目的:以药品说明书为数据基础,构建药品知识库。方法:对随机抽取的600份药品说明书进行人工标注,并划分为训练集和测试集,基于双向长短期记忆网络+条件随机场(Bi-LSTM+CRF)模型进行训练,完成医学实体的识别;以"相似度计算+规则映射表"的混合模型对提取出的实体进行标准化,完成后将药品信息导入Access数据库。结果:基于Bi-LSTM+CRF模型的命名实体识别任务中,除人群类实体外,其余实体中均取得了F值高于85%的良好效果;基于"相似度计算+规则映射表"的混合模型,实体标准化的准确率为88.23%。结论:本研究的机器学习模型效果与其他命名实体识别、实体标准化研究的模型效果相近,能够较好地完成药品知识库构建任务。