基于改进BiLSTM-CRF模型的网络安全知识图谱构建

针对网络安全领域的图谱构建任务,基于BiLSTM-CRF模型引入了外部网络安全词典来加强网络安全文本的特征,并结合多头注意力机制提取多层特征,最终在网络安全数据集取得了更优异的结果。利用企业内部的日常网络运维数据,设计并构建了一个面向企业网络安全运维管理的知识图谱,为后续进一步研究基于图谱的企业网络安全智能决策等应用奠定基础。

基于BERT-BiLSTM-CRF模型的油气领域命名实体识别

针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法。该方法首先利用BERT(bidirectional encoder representations from transformers)预训练模型得到输入序列语义的词向量;然后将训练后的词向量输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)模型进一步获取上下文特征;最后根据条件随机场(conditional random fields,CRF)的标注规则和序列解码能力输出最大概率序列标注结果,构建油气领域命名实体识别模型框架。将BERT-BiLSTM-CRF模型与其他2种命名实体识别模型(BiLSTM-CRF、BiLSTM-Attention-CRF)在包括3万多条文本语料数据、4类实体的自建数据集上进行了对比实验。实验结果表明,BERT-BiLSTM-CRF模型的准确率(P)、召回率(R)和F_(1)值分别达到91.3%、94.5%和92.9%,实体识别效果优于其他2种模型。

基于BERT-BiLSTM-CRF党建领域命名实体识别

党建领域知识图谱构建过程中使用传统的命名实体识别方法时,存在实体边界不清、实体词性多义等问题,导致存在识别准确率和效率低的问题。为此,本文提出一种融合树形概率和领域词典的BERT-BiLSTM-CRF实体识别模型。该模型在BERT中嵌入领域词典进行文本向量化表示;利用BiLSTM获取上下文语义特征;将树形概率应用到CRF层的转移概率计算中提高分词准确率。与基准模型在MSRA和自构建的语料库上进行实验对比,实验结果表明本模型在F1值、召回率、精确率3个指标上都能取得较好的效果。

基于BiLSTM-CRF的《神农本草经》命名实体识别研究

目的:基于BiLSTM-CRF的命名实体识别技术挖掘并展示《神农本草经》蕴含的药物理论。方法:构建自定义中医术语词库,由计算机自动化序列标注,根据不同主流命名实体识别方法以及中医古籍的文本特点,以字向量作为初始输入,构建BiLSTM-CRF模型对《神农本草经》进行命名实体识别。结果:测试结果表明,BiLSTM-CRF模型的精确率89.00%,召回率88.83%,F1值为88.91%,相对于其他模型效果较优。结论:BiLSTM-CRF模型能够有效识别《神农本草经》的实体类型,适用于中医古籍的知识挖掘,有助于中医理论实践和发挥临床应用价值。

基于藏文音节结合BiLSTM-CRF的藏语语义组块分类标注

针对藏语句子语义分析中语义种类繁多且广泛存在歧义的难点,提出了基于藏文音节向量和BiL-STM-CRF混合模型相结合的藏语语义组块识别方法。首先制定了13种语义组块标注规范,其次构建了13211句语义组块标注语料库,在此基础上采用TS-BiLSTM-CRF方法训练了藏语语义组块识别和分类模型。综合测试实验结果表明,该模型精确率为75.03%,召回率为76.52%,F1值为75.77%。各类语义组块识别中,指示类(INS)识别的测评结果远高于其他几类语义组块,精确率为90.87%;组织类(ORG)的测评结果偏低于其他类型,精确率为66.67%。文章研究证实了TS-BiLSTM-CRF模型在藏语语义组块识别分析任务中具有较好的性能。

基于BiLSTM-CRF模型的房屋出租App系统的设计与实现

针对文本实体信息抽取优化问题,本文以租赁行业为研究对象,首先,使用爬虫技术对客户发布的信息进行爬取,采用BiLSTM-CRF算法对信息进行实体提取和处理,将处理后的信息存储在数据库中,构建App数据来源的数据层,再基于数据层的数据开发App应用层。开发的App应用层模块包括用户认证模块和主页模块。BiLSTM-CRF模型比LSTM和Bi LSTM在实体边界的识别率更高,模型准确率、召回率和F1值分别可以达到96.58%,88.94%,92.60%。

基于BERT-BiLSTM-CRF模型的中医治疗功能性胃肠病实体识别及应用

目的:探索分析BERT-BiLSTM-CRF模型抽取中医文献摘要中的实体的可行性及识别效果。方法:在知网数据中导出500条中医疗法治疗功能性胃肠病的论文摘要,对文本中的西医病名、临床表现、方剂、中药等11类实体进行BIO标注,基于BERT-BiLSTM-CRF模型进行训练及参数调整,而后对模型进行测试,并应用于实体识别。结果:模型测试的精确率为85.07%,召回率为88.48%,F1值为0.8674,中药、方剂、西医诊断等实体类别的识别效果较好;模型应用中,自动化实体抽取结果整体较好,能够反映该领域文献的主要研究方向。结论:BERT-BiLSTM-CRF模型能够识别出论文摘要中大部分的实体,可以为知识图谱的自动化构建提供基础,同时也对中医药领域的自然语言处理应用提供了参考和借鉴。

基于U-net-BiLSTM-CRF的心律失常多目标检测

由于卷积滤波尺寸等限制,U-net无法学习到心电(Electrocardiographic,ECG)信号的长时序关联性以及标签间的相关性。对此提出一种基于U-net-BiLSTM-CRF的心律失常多目标检测方法,可同时输出目标心拍所属类型和位置信息。使用U-net学习融合特征,再将其输入到双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)中学习长时序依赖特征,最后使用条件随机场(Conditional Random Field,CRF)对标签间的关系建模,优化分类结果。依据ANSI/AAMI EC57:2012的心搏分类标准,对MIT-BIH心律失常数据库中共85609个心拍记录进行划分,在划分后数据集上的实验结果表明,该方法对心拍分类的准确率达99.11%,特异性为99.76%,灵敏度为97.21%,优于传统U-net在MIT-BIH心律失常数据库上的分类性能。

基于BiLSTM-CRF的中文分组单字错误识别方法研究

近十多年来,中文自动校对取得了许多重要进展,但是单字错别字识别精度和召回率低一直是该领域的一个重要问题。该文提出一种基于BiLSTM-CRF的神经网络模型和单字分组策略识别中文错别字的方法。首先,该文提出一种构建分组单字混淆集的方法,并根据采集的分组单字混淆集自动生成错别字识别训练语料,构造了一个含有13组的汉字单字错别字识别训练语料。其次,针对传统的错别字识别方法在单字错别字召回率较低的问题,该文对错别字识别训练语料中错别字采用多标签标记的策略。再次,针对训练样本存在的数据稀疏问题,该文对训练数据集中的人名、地名、时间和机构名称这四类词语进行抽象。最后,该文利用BiLSTM-CRF的模型在错别字识别训练语料上进行训练。实验结果表明,该文提出的单字错别字识别方法在13组单字上的平均识别精确率为87.30%,平均召回率为84.36%。

基于BERT-BiLSTM-CRF模型的地理实体命名实体识别

互联网中存在大量的与地理信息相关的信息,其中文本信息是这些信息的重要组成部分。针对构建地理实体库过程中依赖人工制定规则、信息提取不充分等问题,本文通过利用爬虫技术获取百度百科文本信息并构建地理实体语料库,端到端的深度学习模型BERT-BiLSTM-CRF模型对自建的地理实体语料库进行了命名实体识别(NER),模型在传统的BiLSTM-CRF模型上加入了BERT预训练模型,使得模型可以更好地结合文本上下文及语义信息。结果表明,该模型相比于BiLSTM-CRF模型和BiLSTM模型在地理实体命名实体识别中取得了更好的结果,且对进一步构建地理实体知识图谱、知识库等具有重要意义。

基于BERT-BILSTM-CRF模型的电力行业事故文本智能分析

为解决电力行业事故报告文本较长、语义复杂,难以进行有效文本识别问题,提出1种以BERT作为底层的预训练模型,并设计1种双重注意力机制编码器,结合BILSTM-CRF深度挖掘事故文本语义特征,从而实现文本智能分析。首先构建电力词典,通过对BERT预训练,进行BIO标注,然后引入BILSTM-CRF模型实现对文本标签智能分类,最后将该模型与现行其他4种深度学习模型进行对比。研究结果表明:该模型智能识别精确率、召回率及F 1值(查准率)均达到约97%,较其他4种模型中效果最好的模型分别提高0.02,0.03,0.02。研究结果可为电力行业事故报告文本分析提供1种新思路。

基于多分类BiLSTM-CRF的电网启动方案结构化数据转换模型研究

随着电网结构日渐复杂,电网新设备启动愈来愈多,依赖电网运行人员手工编制启动方案无法满足电网智能管理需求。基于大量历史电网新设备启动方案数据,智能编制电网新设备启动方案成为研究的重点。但电网历史新设备启动方案为非结构化数据,无法直接利用。为将非结构化数据转化为结构化数据、提高命名实体识别准确率,文章提出多分类BiLSTM-CRF模型,通过word2vec将编码启动方案利用余弦相似度生成相似度矩阵,将启动方案按相似度分类,利用Bi LSTM-CRF训练多个模型,最后标注出识别结果,将非结构化数据转化为结构化数据。通过小规模数据集验证,结果表明,文章所提算法在准确率、训练时间、F1值上均取得较好结果,能够准确将历史电网新设备启动方案转化为结构化数据,给研究人员提供数据基础。

基于BiLSTM-CRF模型的医学影像检查报告信息实体识别

为了将实体识别技术应用于医疗信息系统,提取医学影像检查报告的特征数据,提出了一种基于BiLSTM-CRF模型的信息实体识别方法。构建医学影像检查报告的智能识别系统,实现部位、症状等关键内容的结构化解析,通过可用性评估来分析应用效果。该识别系统已投入使用,共处理了3446份胸部放射CT报告。实验结果表明其识别精度较高,智能提示功能提高了医生的满意度。由此可见命名实体识别方法有助于挖掘医疗文本的价值,在医疗大数据领域有着广阔的应用前景。

基于RoBERTa-BiLSTM-CRF的简历实体识别

命名实体识别是自然语言处理中一个重要的研究领域,也是诸多自然语言下游任务的一个前置研究。针对简历实体识别任务,提出了一种基于RoBERTa-BiLSTM-CRF模型的解决方案。首先使用RoBERTa预训练语言模型对输入的简历语句进行切分,得到字词的上下文信息并对词的语义向量进行表征,然后将得到的词向量输入BiLSTM-CRF模型进行训练。实验结果表明,该模型可以高效且准确地将简历中预先设定的实体进行抽取,可以极大地提升相关从业者的工作效率。

基于BiLSTM-CRF的政府微博舆论观点抽取与焦点呈现

[目的/意义]准确把握公众微博评论中所反映的公众观点并总结舆论焦点,有助于及时获取和引导社会舆情态势,对政府公信力、快速响应能力及执行力提升具有支撑作用。[方法/过程]文章针对当前政府微博评论社会功能发挥的现实要求和其文本特征挖掘的技术需求,从基于深度学习的文本智能语义理解和挖掘出发,提出了适用的细粒度四元组标注策略,构建了政府微博评论观点抽取与焦点呈现的深度学习模型POF-BiLSTM-CRF,即通过细粒度标注策略确定、Word2vec训练词向量、BiLSTM评论特征学习进行标签及其概率输出、CRF学习上下文实现微博评论标注优化,以及观点聚类和主题词提取后最终呈现舆论焦点。[结果/结论]针对"中国警方在线"微博评论的实验表明,文章所提研究框架和模型能够有效进行舆论观点的智能化提取,为快速把握公众观点及为政府决策提供了参考。

基于ERNIE-BiLSTM-CRF模型的土壤肥力命名实体识别研究

为充分利用安徽省土壤肥力指标数据,解决现有土壤肥力命名实体识别方法普遍存在的效率低、迁移能力较差以及长文本处理影响效果等问题,文中提出了一种基于ERNIE-BiLSTM-CRF模型的土壤肥力命名实体识别方法,并构建了一套安徽省土壤肥力知识问答系统。首先将土壤肥力数据集中的长文本处理为短文本,对土壤肥力信息使用ERNIE模型编码,得到保留语义关联的词表示形式,再利用BiLSTM模型进行特征提取,对一切可能的标签序列评分并输出给CRF模型,最后使用CRF模型解码获取分数最高的标签序列,生成实体标签序列。结果表明,与HMM模型、CRF模型、BiLSTM模型、BiLSTM-CRF模型相比较,本文使用的基于ERNIE-BiLSTM-CRF模型的土壤肥力命名实体识别方法,准确率P达到92.85%、召回率R达到92.00%、F1值达到92.59%,取得了相对较好的识别效果。

基于BiLSTM-CRF的中文藏头诗敏感词检测算法

在数字化和社交媒体时代,藏头诗作为一种文化传承与现代表达相结合的文学形式,其内容监控成为了互联网平台管理的一个挑战。由于其特殊的构造方式,即每行的开头字连起来可以表达特定意义,这一特性使得其成为了隐藏敏感信息的一种手段。尤其是在社交媒体和即时通讯平台上,用户可能会利用藏头诗来规避敏感词过滤机制。本研究提出了一种基于双向长短期记忆网络(BiLSTM-CRF)的藏头诗敏感词检测算法。该算法首先采用词嵌入方法将文字表示成高维向量,再利用BiLSTM模型对藏头诗正反双向的上下文语义进行理解,并捕获文本序列中跨句藏头词的依赖关系,最后通过CRF模型根据标签相关性输出标记序列。我们对算法在不同类型的藏头诗数据集上进行了测试,结果显示该算法能够有效地识别出敏感词汇,具有较高的准确率和召回率。本算法对于监管自动生成的文本内容,尤其是在保护文化传承和遵守网络法规方面显示出其重要价值。

融合汉字部首的BERT-BiLSTM-CRF中医医案命名实体识别模型

目的/意义研究提取中医医案中医疗术语的方法,实现医案自动结构化,为医案知识发现提供结构化数据。方法/过程提出一种BERT结合长短期记忆人工神经网络、条件随机场和部首特征的深度学习命名实体识别模型,在BERT词向量中嵌入汉字部首,采用双向长短期记忆人工神经网络提取实体特征,使用条件随机场进行序列预测。将人工标注的400份共计5万余字的医案按照3∶1划分为训练集和测试集,使用该模型识别中医医案中的身体部位、药物、症状、疾病4类命名实体。结果/结论该模型在测试集F 1值为84.81%,优于其他未嵌入部首的模型,表明该模型能够更有效地识别中医医案中的命名实体,更好地结构化医案。

整合BiLSTM-CRF网络和词典资源的中文电子病历实体识别

[目的/意义]通过整合BiLSTM-CRF神经网络和具有先验领域知识的词典资源,提高中文电子病历领域中的实体识别效果。[方法/过程]采用BiLSTM-CRF神经网络模型,以CCKS-2017测评任务提供的脱敏中文电子病历数据为实验数据集,结合Word2Vec和外部词典构造神经网络的词嵌入输入改进实体识别模型。[结果/结论]与传统的CRF和单纯的BiLSTM-CRF模型相比,引入先验知识的词典资源可以取得更好的实体识别效果,F1值达到最高的90.41%。深度学习模型BiLSTM-CRF能够显著提升传统CRF方法的实体识别效果,同时先验的词典知识能进一步增强神经网络的性能。

基于BiLSTM-CRF的中文生物医学开放式概念关系抽取

目的:利用深度学习方法自动抽取中文生物医学文本中的开放式概念关系,以增强生物医学文本理解及医学知识网络构建。方法:使用BiLSTM-CRF模型从中文生物医学文献数据中抽取以句子上下文短语描述的开放式概念关系,并与基于条件随机场(Conditional Random Fields,CRF)和基于长短时记忆网络(Long Short-Term Memory,LSTM)的方法进行对比分析。结果:基于BiLSTM-CRF的中文生物医学开放式概念关系抽取方法取得F1值为0.5221,显著高于基于CRF模型的方法(F1值为0.2353)和基于LSTM模型的方法(F1值为0.3355)。结论:与单独使用CRF模型或LSTM模型的方法相比,基于BiLSTM-CRF的开放式概念关系抽取方法具有更好的鲁棒性和泛化性,对于生物医学文本理解、医学知识网络构建等研究具有借鉴意义。