融合多尺度CNN和CRF的通用细粒度事件检测

事件检测是自然语言处理领域中事件抽取的主要任务之一,它旨在从众多非结构化信息中自动提取出结构化的关键信息.现有的方法存在特征提取不全面、特征分布不均等情况.为了提高事件检测的准确率,提出了一种融合BERT预训练模型与多尺度CNN的神经网络模型(BMCC,BERT+Multi-scale CNN+CRF).首先通过BERT(Bidirectional Encoder Representations from Transformers)预训练模型来进行词向量的嵌入,并利用其双向训练的Transformer机制来提取序列的状态特征;其次使用不同尺度的卷积核在多个卷积通道中进行卷积训练,以此来提取不同视野的语义信息,丰富其语义表征.最后将BIO机制融入到条件随机场(CRF)来对序列进行标注,实现事件的检测.实验结果表明,所提出的模型在MAVEN数据集上的F1值为65.17%,表现了该模型的良好性能.

基于RoBERTa_BiLSTM_CRF的文本情报命名实体识别

随着网络信息的爆炸式增长,威胁情报分析作为军事情报分析与战略决策的重要组成部分,其面临着来源多样化和信息结构复杂化的挑战。传统的人工信息提取方法在处理这些大量结构化及非结构化信息时效率低下,准确性有限。文中针对这一挑战,提出了一种结合RoBERTa、BiLSTM和条件随机场(Conditional Random Fields,CRF)的命名实体识别新算法。此算法通过Ro-BERTa模型深入挖掘文本的语义特征,BiLSTM模型捕捉序列上下文信息,CRF层用于精确的实体标记,从而有效提升信息提取的准确率和效率。本文基于开源情报语料库构建了一个涉及导弹发射事件的命名实体识别数据集,并在此基础上进行了实验,结果表明,该方法在精确率、召回率及F1值等关键指标上相较于主流深度学习方法表现出显著的性能提升,其中F1值高达94.21%。

Bi⁃LSTM和CRF结合的藏文分词方法研究

本研究旨在探索基于双向长短时记忆网络(Bi⁃LSTM)和条件随机场(CRF)的藏语分词方法。研究评估了Bi⁃LSTM和Bi⁃LSTM结合CRF模型在藏文分词任务中的性能,针对未登录音节词进行了模型优化。研究还将分词系统应用到CCMT2023藏汉机器翻译任务中,并进行了评估。实验结果表明,本文提出的分词系统在藏语分词任务中具有良好的性能,并且在藏汉机器翻译任务上有效提升了性能。

基于改进BiLSTM-CRF模型的网络安全知识图谱构建

针对网络安全领域的图谱构建任务,基于BiLSTM-CRF模型引入了外部网络安全词典来加强网络安全文本的特征,并结合多头注意力机制提取多层特征,最终在网络安全数据集取得了更优异的结果。利用企业内部的日常网络运维数据,设计并构建了一个面向企业网络安全运维管理的知识图谱,为后续进一步研究基于图谱的企业网络安全智能决策等应用奠定基础。

基于ERNIE-BiGRU-CRF模型的煤矿安全隐患命名实体智能识别研究

为充分挖掘煤矿安全隐患文本关键知识,帮助煤矿企业安全管理人员更好的开展隐患排查治理工作,提出一种基于预训练语言模型的命名实体识别方法。首先定义煤矿安全隐患实体类别,并采用BIO标注策略构建了7个实体类别和15个实体标签;然后将收集到的煤矿隐患排查数据进行预处理,由煤矿安全领域专家人工标注相关实体,得到1500条煤矿安全隐患命名实体标准数据集;最后采用ERNIE预训练模型对煤矿安全隐患文本词向量进行表征、同时利用BiGRU结构进行上下文语义特征提取以及CRF模型进行实体标签解码,完成煤矿安全隐患命名实体识别研究。实验结果表明:ERNIE-BiGRU-CRF模型在序列标注任务上的精确率、召回率和F1值分别为56.69%、69.23%和62.34%,较于BiLSTM-CRF基线模型分别提高了6.85%、13.74%和9.83%,并且实体抽取结果与实际标注结果相差不大。另外,消融实验也验证了BiGRU层能够更好的捕捉煤矿安全隐患文本上下文语义依赖关系以及CRF层能够进一步优化标签序列的有效性。

基于BETR-BiGRU-CRF模型的文物档案知识图谱构建研究——以北京中轴线文化遗产档案为例

建立文物档案知识图谱便于对文物档案进一步的研究与利用。以中轴线文化遗产档案为原始数据集,采用BERT-BiGRU-CRF模型进行文物档案实体识别,在此基础上构建中轴线文化遗产档案知识图谱,使用Neo4j图数据库完成知识存储。经实验验证,BERT-BiGRU-CRF模型在文物档案实体识别任务中具有更高的精确度与召回率,有助于建立准确、一致、完整的文物档案知识图谱,能够为文物档案管理与保护、文化遗产保护与传承等提供参考与借鉴。

基于BERT-BiLSTM-CRF模型的油气领域命名实体识别

针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法。该方法首先利用BERT(bidirectional encoder representations from transformers)预训练模型得到输入序列语义的词向量;然后将训练后的词向量输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)模型进一步获取上下文特征;最后根据条件随机场(conditional random fields,CRF)的标注规则和序列解码能力输出最大概率序列标注结果,构建油气领域命名实体识别模型框架。将BERT-BiLSTM-CRF模型与其他2种命名实体识别模型(BiLSTM-CRF、BiLSTM-Attention-CRF)在包括3万多条文本语料数据、4类实体的自建数据集上进行了对比实验。实验结果表明,BERT-BiLSTM-CRF模型的准确率(P)、召回率(R)和F_(1)值分别达到91.3%、94.5%和92.9%,实体识别效果优于其他2种模型。

基于BiLSTM-CRF的《神农本草经》命名实体识别研究

目的:基于BiLSTM-CRF的命名实体识别技术挖掘并展示《神农本草经》蕴含的药物理论。方法:构建自定义中医术语词库,由计算机自动化序列标注,根据不同主流命名实体识别方法以及中医古籍的文本特点,以字向量作为初始输入,构建BiLSTM-CRF模型对《神农本草经》进行命名实体识别。结果:测试结果表明,BiLSTM-CRF模型的精确率89.00%,召回率88.83%,F1值为88.91%,相对于其他模型效果较优。结论:BiLSTM-CRF模型能够有效识别《神农本草经》的实体类型,适用于中医古籍的知识挖掘,有助于中医理论实践和发挥临床应用价值。

基于藏文音节结合BiLSTM-CRF的藏语语义组块分类标注

针对藏语句子语义分析中语义种类繁多且广泛存在歧义的难点,提出了基于藏文音节向量和BiL-STM-CRF混合模型相结合的藏语语义组块识别方法。首先制定了13种语义组块标注规范,其次构建了13211句语义组块标注语料库,在此基础上采用TS-BiLSTM-CRF方法训练了藏语语义组块识别和分类模型。综合测试实验结果表明,该模型精确率为75.03%,召回率为76.52%,F1值为75.77%。各类语义组块识别中,指示类(INS)识别的测评结果远高于其他几类语义组块,精确率为90.87%;组织类(ORG)的测评结果偏低于其他类型,精确率为66.67%。文章研究证实了TS-BiLSTM-CRF模型在藏语语义组块识别分析任务中具有较好的性能。

基于BiLSTM-CRF模型的房屋出租App系统的设计与实现

针对文本实体信息抽取优化问题,本文以租赁行业为研究对象,首先,使用爬虫技术对客户发布的信息进行爬取,采用BiLSTM-CRF算法对信息进行实体提取和处理,将处理后的信息存储在数据库中,构建App数据来源的数据层,再基于数据层的数据开发App应用层。开发的App应用层模块包括用户认证模块和主页模块。BiLSTM-CRF模型比LSTM和Bi LSTM在实体边界的识别率更高,模型准确率、召回率和F1值分别可以达到96.58%,88.94%,92.60%。

融合全局语义信息的BIG-LSTM-CRF模型

命名实体识别任务是针对输入的文本句子做序列标注的一类自然语言处理任务,其目的是抽取出文本句子中的主语实体和宾语实体.基于深度神经网络的提取方法获得了优异的性能,其中BI-LSTM-CRF是效果显著且具有代表性的模型之一.但该模型在训练过程中忽略了全局语义信息对实体识别准确度的影响.本文通过引入全局语义信息来改进BI-LSTM-CRF模型用于命名实体识别任务的性能:先通过添加一层带有激活操作的全连接层来提取输入文本句子的高维语义信息;再通过一个全连接层将高维语义信息与每个字符进行深度融合,得到该句子融合了全局语义信息的向量表示,并将其用于后续的命名实体识别任务.通过将改进后的模型用于CLUENER2020数据集上,验证了添加全局语义信息融合模块可以提升模型命名实体识别的准确度.

基于BERT-BiLSTM-CRF模型的中医治疗功能性胃肠病实体识别及应用

目的:探索分析BERT-BiLSTM-CRF模型抽取中医文献摘要中的实体的可行性及识别效果。方法:在知网数据中导出500条中医疗法治疗功能性胃肠病的论文摘要,对文本中的西医病名、临床表现、方剂、中药等11类实体进行BIO标注,基于BERT-BiLSTM-CRF模型进行训练及参数调整,而后对模型进行测试,并应用于实体识别。结果:模型测试的精确率为85.07%,召回率为88.48%,F1值为0.8674,中药、方剂、西医诊断等实体类别的识别效果较好;模型应用中,自动化实体抽取结果整体较好,能够反映该领域文献的主要研究方向。结论:BERT-BiLSTM-CRF模型能够识别出论文摘要中大部分的实体,可以为知识图谱的自动化构建提供基础,同时也对中医药领域的自然语言处理应用提供了参考和借鉴。

基于ERNIE-BiGRU-Attention-CRF的电子病历命名实体识别方法

目的/意义改善中文电子病历命名实体识别模型的性能,更好地开展医疗信息的组织和挖掘。方法/过程构建ERNIE-BiGRU-Attention-CRF中文电子病历命名实体识别模型,首先采用ERNIE1.0预训练模型生成具有语义特征的词向量,然后利用BiGRU捕获全局语义特征与语法结构特征,通过Attention机制进一步增强语义特征的捕获,最后连接CRF解码层输出全局概率最大的标签序列。结果/结论在公开的医疗文本数据集CCKS2017开展对比实验、消融实验,利用生成的模型进行实例分析,取得较好的识别效果。

基于U-net-BiLSTM-CRF的心律失常多目标检测

由于卷积滤波尺寸等限制,U-net无法学习到心电(Electrocardiographic,ECG)信号的长时序关联性以及标签间的相关性。对此提出一种基于U-net-BiLSTM-CRF的心律失常多目标检测方法,可同时输出目标心拍所属类型和位置信息。使用U-net学习融合特征,再将其输入到双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)中学习长时序依赖特征,最后使用条件随机场(Conditional Random Field,CRF)对标签间的关系建模,优化分类结果。依据ANSI/AAMI EC57:2012的心搏分类标准,对MIT-BIH心律失常数据库中共85609个心拍记录进行划分,在划分后数据集上的实验结果表明,该方法对心拍分类的准确率达99.11%,特异性为99.76%,灵敏度为97.21%,优于传统U-net在MIT-BIH心律失常数据库上的分类性能。

基于改进Bi-LSTM-CRF的农业问答系统研究

针对农业领域问答系统面临的实体识别困难的问题,提出一种基于改进Bi-LSTM-CRF的实体识别方法。首先通过BERT预训练模型的预处理,生成基于上下文信息的词向量,然后将训练出的词向量输入Bi-LSTM-CRF做进一步的训练处理,最后,利用Python的Django框架设计农业领域的实体识别、实体查询、农知问答等子系统。经过试验对比,所提出的改进的Bi-LSTM-CRF在农业信息领域具有更好的实体识别能力,在农业信息语料库上的精确率、召回率和F1值分别为93.23%、91.08%和92.16%。实现农业领域实体识别和农业信息问答的知识图谱网站演示,对农业信息化的发展具有重要意义。

基于BiLSTM-CRF的中文分组单字错误识别方法研究

近十多年来,中文自动校对取得了许多重要进展,但是单字错别字识别精度和召回率低一直是该领域的一个重要问题。该文提出一种基于BiLSTM-CRF的神经网络模型和单字分组策略识别中文错别字的方法。首先,该文提出一种构建分组单字混淆集的方法,并根据采集的分组单字混淆集自动生成错别字识别训练语料,构造了一个含有13组的汉字单字错别字识别训练语料。其次,针对传统的错别字识别方法在单字错别字召回率较低的问题,该文对错别字识别训练语料中错别字采用多标签标记的策略。再次,针对训练样本存在的数据稀疏问题,该文对训练数据集中的人名、地名、时间和机构名称这四类词语进行抽象。最后,该文利用BiLSTM-CRF的模型在错别字识别训练语料上进行训练。实验结果表明,该文提出的单字错别字识别方法在13组单字上的平均识别精确率为87.30%,平均召回率为84.36%。

基于RoBERTa-CRF的肝癌电子病历实体识别研究

目的/意义肝癌电子病历中蕴涵大量医学专业知识,且大部分以非结构化数据形式存在,难以自动化提取。肝癌电子病历实体识别研究有助于构建肝癌领域医疗辅助决策系统和医学知识图谱。方法/过程构建RoBERTa算法与CRF算法相结合的命名实体识别模型,利用自标注肝癌电子病历真实数据进行模型训练与测试。结果/结论RoBERTa-CRF模型优于其他基线模型,具有较好实体识别效果。

基于BERT-BiLSTM-CRF模型的地理实体命名实体识别

互联网中存在大量的与地理信息相关的信息,其中文本信息是这些信息的重要组成部分。针对构建地理实体库过程中依赖人工制定规则、信息提取不充分等问题,本文通过利用爬虫技术获取百度百科文本信息并构建地理实体语料库,端到端的深度学习模型BERT-BiLSTM-CRF模型对自建的地理实体语料库进行了命名实体识别(NER),模型在传统的BiLSTM-CRF模型上加入了BERT预训练模型,使得模型可以更好地结合文本上下文及语义信息。结果表明,该模型相比于BiLSTM-CRF模型和BiLSTM模型在地理实体命名实体识别中取得了更好的结果,且对进一步构建地理实体知识图谱、知识库等具有重要意义。

基于BERT-BILSTM-CRF模型的电力行业事故文本智能分析

为解决电力行业事故报告文本较长、语义复杂,难以进行有效文本识别问题,提出1种以BERT作为底层的预训练模型,并设计1种双重注意力机制编码器,结合BILSTM-CRF深度挖掘事故文本语义特征,从而实现文本智能分析。首先构建电力词典,通过对BERT预训练,进行BIO标注,然后引入BILSTM-CRF模型实现对文本标签智能分类,最后将该模型与现行其他4种深度学习模型进行对比。研究结果表明:该模型智能识别精确率、召回率及F 1值(查准率)均达到约97%,较其他4种模型中效果最好的模型分别提高0.02,0.03,0.02。研究结果可为电力行业事故报告文本分析提供1种新思路。

基于BERT-BiGRU-CRF的医疗实体识别方法

为了优化医疗领域的中文实体识别效果,提出一种基于BERT-BiGRU-CRF的理论模型。首先将原始的问答数据传入到BERT模型中,对原始的问答数据完成词向量表示,词向量表示的数值矩阵被传入到BiGRU模型进行获取语句的上下文特征,最后针对原BiGRU模型标签问题的错误判定使用CRF模型进行修改。通过试验对比,模型最终得到的F1值为76.39%,相比较其他模型有所提升。