基于改进BiLSTM-CRF模型的网络安全知识图谱构建

针对网络安全领域的图谱构建任务,基于BiLSTM-CRF模型引入了外部网络安全词典来加强网络安全文本的特征,并结合多头注意力机制提取多层特征,最终在网络安全数据集取得了更优异的结果。利用企业内部的日常网络运维数据,设计并构建了一个面向企业网络安全运维管理的知识图谱,为后续进一步研究基于图谱的企业网络安全智能决策等应用奠定基础。

基于BiLSTM-CRF的《神农本草经》命名实体识别研究

目的:基于BiLSTM-CRF的命名实体识别技术挖掘并展示《神农本草经》蕴含的药物理论。方法:构建自定义中医术语词库,由计算机自动化序列标注,根据不同主流命名实体识别方法以及中医古籍的文本特点,以字向量作为初始输入,构建BiLSTM-CRF模型对《神农本草经》进行命名实体识别。结果:测试结果表明,BiLSTM-CRF模型的精确率89.00%,召回率88.83%,F1值为88.91%,相对于其他模型效果较优。结论:BiLSTM-CRF模型能够有效识别《神农本草经》的实体类型,适用于中医古籍的知识挖掘,有助于中医理论实践和发挥临床应用价值。

基于BERT-BiLSTM-CRF模型的油气领域命名实体识别

针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法。该方法首先利用BERT(bidirectional encoder representations from transformers)预训练模型得到输入序列语义的词向量;然后将训练后的词向量输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)模型进一步获取上下文特征;最后根据条件随机场(conditional random fields,CRF)的标注规则和序列解码能力输出最大概率序列标注结果,构建油气领域命名实体识别模型框架。将BERT-BiLSTM-CRF模型与其他2种命名实体识别模型(BiLSTM-CRF、BiLSTM-Attention-CRF)在包括3万多条文本语料数据、4类实体的自建数据集上进行了对比实验。实验结果表明,BERT-BiLSTM-CRF模型的准确率(P)、召回率(R)和F_(1)值分别达到91.3%、94.5%和92.9%,实体识别效果优于其他2种模型。

基于BERT-BiLSTM-CRF党建领域命名实体识别

党建领域知识图谱构建过程中使用传统的命名实体识别方法时,存在实体边界不清、实体词性多义等问题,导致存在识别准确率和效率低的问题。为此,本文提出一种融合树形概率和领域词典的BERT-BiLSTM-CRF实体识别模型。该模型在BERT中嵌入领域词典进行文本向量化表示;利用BiLSTM获取上下文语义特征;将树形概率应用到CRF层的转移概率计算中提高分词准确率。与基准模型在MSRA和自构建的语料库上进行实验对比,实验结果表明本模型在F1值、召回率、精确率3个指标上都能取得较好的效果。

基于BiLSTM-CRF的航行通告命名实体识别研究

针对当前国际民航组织对数字航行通告研究仅考虑对文本航行通告环境兼容,而未考虑对数字航行通告环境兼容的问题,提出一种基于BiLSTM-CRF的航行通告命名实体识别模型,以实现文本航行通告中相关实体的自动识别,并为转换数字航行通告提供所需的基本数据。通过构建航行通告语料标记数据集对LSTM,BiLSTM,BiLSTM-CRF 3种模型进行对比实验。实验结果显示,所提模型的精确率、召回率、F 1值分别为95%,95%,95%,验证了其在航行通告领域的有效性,证明本研究可以有效识别航行通告中的重要实体信息。

基于藏文音节结合BiLSTM-CRF的藏语语义组块分类标注

针对藏语句子语义分析中语义种类繁多且广泛存在歧义的难点,提出了基于藏文音节向量和BiL-STM-CRF混合模型相结合的藏语语义组块识别方法。首先制定了13种语义组块标注规范,其次构建了13211句语义组块标注语料库,在此基础上采用TS-BiLSTM-CRF方法训练了藏语语义组块识别和分类模型。综合测试实验结果表明,该模型精确率为75.03%,召回率为76.52%,F1值为75.77%。各类语义组块识别中,指示类(INS)识别的测评结果远高于其他几类语义组块,精确率为90.87%;组织类(ORG)的测评结果偏低于其他类型,精确率为66.67%。文章研究证实了TS-BiLSTM-CRF模型在藏语语义组块识别分析任务中具有较好的性能。

基于BiLSTM-CRF模型的房屋出租App系统的设计与实现

针对文本实体信息抽取优化问题,本文以租赁行业为研究对象,首先,使用爬虫技术对客户发布的信息进行爬取,采用BiLSTM-CRF算法对信息进行实体提取和处理,将处理后的信息存储在数据库中,构建App数据来源的数据层,再基于数据层的数据开发App应用层。开发的App应用层模块包括用户认证模块和主页模块。BiLSTM-CRF模型比LSTM和Bi LSTM在实体边界的识别率更高,模型准确率、召回率和F1值分别可以达到96.58%,88.94%,92.60%。

基于BiLSTM-CRF的政府微博舆论观点抽取与焦点呈现

[目的/意义]准确把握公众微博评论中所反映的公众观点并总结舆论焦点,有助于及时获取和引导社会舆情态势,对政府公信力、快速响应能力及执行力提升具有支撑作用。[方法/过程]文章针对当前政府微博评论社会功能发挥的现实要求和其文本特征挖掘的技术需求,从基于深度学习的文本智能语义理解和挖掘出发,提出了适用的细粒度四元组标注策略,构建了政府微博评论观点抽取与焦点呈现的深度学习模型POF-BiLSTM-CRF,即通过细粒度标注策略确定、Word2vec训练词向量、BiLSTM评论特征学习进行标签及其概率输出、CRF学习上下文实现微博评论标注优化,以及观点聚类和主题词提取后最终呈现舆论焦点。[结果/结论]针对"中国警方在线"微博评论的实验表明,文章所提研究框架和模型能够有效进行舆论观点的智能化提取,为快速把握公众观点及为政府决策提供了参考。

基于BERT-BiLSTM-CRF模型的中医治疗功能性胃肠病实体识别及应用

目的:探索分析BERT-BiLSTM-CRF模型抽取中医文献摘要中的实体的可行性及识别效果。方法:在知网数据中导出500条中医疗法治疗功能性胃肠病的论文摘要,对文本中的西医病名、临床表现、方剂、中药等11类实体进行BIO标注,基于BERT-BiLSTM-CRF模型进行训练及参数调整,而后对模型进行测试,并应用于实体识别。结果:模型测试的精确率为85.07%,召回率为88.48%,F1值为0.8674,中药、方剂、西医诊断等实体类别的识别效果较好;模型应用中,自动化实体抽取结果整体较好,能够反映该领域文献的主要研究方向。结论:BERT-BiLSTM-CRF模型能够识别出论文摘要中大部分的实体,可以为知识图谱的自动化构建提供基础,同时也对中医药领域的自然语言处理应用提供了参考和借鉴。

基于视频资源与WoBERT-AT-BiLSTM-CRF的命名实体识别方法

针对教育领域命名实体识别数据集的缺乏,提出利用视频资源构建相应的学科数据集。传统的语音识别模型存在词错率高、难以处理长时序列等情况,提出使用端到端的语音识别模型Whisper。对于实体识别存在误差积累、实体多样性等问题,提出一种以词为单位的WoBERT-AT-BiLSTM-CRF命名实体识别方法。数据集通过WoBERT预训练模型学习到拥有上下文语义信息的词向量,加入对抗训练生成对抗样本提高模型鲁棒性,再通过BiLSTM获得全面的文本表示,最后使用CRF利用序列标注之间的相关性来进一步优化命名实体识别结果。实验表明,WoBERT-AT-BiLSTM-CRF模型识别结果优于其他对比模型,该模型准确率、召回率、F1值分别为94.21%、94.39%、94.30%,说明该方法的可行性,并为教育领域构建命名实体提供了一种新的方案。

基于U-net-BiLSTM-CRF的心律失常多目标检测

由于卷积滤波尺寸等限制,U-net无法学习到心电(Electrocardiographic,ECG)信号的长时序关联性以及标签间的相关性。对此提出一种基于U-net-BiLSTM-CRF的心律失常多目标检测方法,可同时输出目标心拍所属类型和位置信息。使用U-net学习融合特征,再将其输入到双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)中学习长时序依赖特征,最后使用条件随机场(Conditional Random Field,CRF)对标签间的关系建模,优化分类结果。依据ANSI/AAMI EC57:2012的心搏分类标准,对MIT-BIH心律失常数据库中共85609个心拍记录进行划分,在划分后数据集上的实验结果表明,该方法对心拍分类的准确率达99.11%,特异性为99.76%,灵敏度为97.21%,优于传统U-net在MIT-BIH心律失常数据库上的分类性能。

整合BiLSTM-CRF网络和词典资源的中文电子病历实体识别

[目的/意义]通过整合BiLSTM-CRF神经网络和具有先验领域知识的词典资源,提高中文电子病历领域中的实体识别效果。[方法/过程]采用BiLSTM-CRF神经网络模型,以CCKS-2017测评任务提供的脱敏中文电子病历数据为实验数据集,结合Word2Vec和外部词典构造神经网络的词嵌入输入改进实体识别模型。[结果/结论]与传统的CRF和单纯的BiLSTM-CRF模型相比,引入先验知识的词典资源可以取得更好的实体识别效果,F1值达到最高的90.41%。深度学习模型BiLSTM-CRF能够显著提升传统CRF方法的实体识别效果,同时先验的词典知识能进一步增强神经网络的性能。

基于BiLSTM-CRF的中文生物医学开放式概念关系抽取

目的:利用深度学习方法自动抽取中文生物医学文本中的开放式概念关系,以增强生物医学文本理解及医学知识网络构建。方法:使用BiLSTM-CRF模型从中文生物医学文献数据中抽取以句子上下文短语描述的开放式概念关系,并与基于条件随机场(Conditional Random Fields,CRF)和基于长短时记忆网络(Long Short-Term Memory,LSTM)的方法进行对比分析。结果:基于BiLSTM-CRF的中文生物医学开放式概念关系抽取方法取得F1值为0.5221,显著高于基于CRF模型的方法(F1值为0.2353)和基于LSTM模型的方法(F1值为0.3355)。结论:与单独使用CRF模型或LSTM模型的方法相比,基于BiLSTM-CRF的开放式概念关系抽取方法具有更好的鲁棒性和泛化性,对于生物医学文本理解、医学知识网络构建等研究具有借鉴意义。

基于BiLSTM-CRF的中文分组单字错误识别方法研究

近十多年来,中文自动校对取得了许多重要进展,但是单字错别字识别精度和召回率低一直是该领域的一个重要问题。该文提出一种基于BiLSTM-CRF的神经网络模型和单字分组策略识别中文错别字的方法。首先,该文提出一种构建分组单字混淆集的方法,并根据采集的分组单字混淆集自动生成错别字识别训练语料,构造了一个含有13组的汉字单字错别字识别训练语料。其次,针对传统的错别字识别方法在单字错别字召回率较低的问题,该文对错别字识别训练语料中错别字采用多标签标记的策略。再次,针对训练样本存在的数据稀疏问题,该文对训练数据集中的人名、地名、时间和机构名称这四类词语进行抽象。最后,该文利用BiLSTM-CRF的模型在错别字识别训练语料上进行训练。实验结果表明,该文提出的单字错别字识别方法在13组单字上的平均识别精确率为87.30%,平均召回率为84.36%。

基于BiLSTM-CRF的社会突发事件研判方法

社会突发事件的分类和等级研判作为应急处置中的一环,其重要性不言而喻。然而,目前研究多数采用人工或规则的方法识别证据进行研判,由于社会突发事件构成的复杂性和语言描述的灵活性,这对于研判证据识别有很大局限性。该文参考“事件抽取”思想,将事件类型和研判证据作为事件中元素,以BiLSTM-CRF方法进行细粒度的识别,并将二者结合,分类结果作为等级研判的输入,识别出研判证据。最终将识别结果结合注意力机制进行等级研判,通过对研判证据的精准识别来增强等级研判的准确性。实验表明,相比人工或规则识别研判证据,该文提出的方法有着更好的鲁棒性,社会突发事件研判时也达到了较好的效果。

基于BiLSTM-CRF与分类分层标注的微博中突发事件时空信息精细识别方法

针对现有方法从微博中识别时空信息精度较低且相对粗略的问题,该文提出基于双向长短期记忆网络和条件随机场(BiLSTM-CRF)与分类分层标注的微博中突发事件时空信息精细识别方法(MFISIE)。首先,设计一套适用于微博中突发事件的分类分层时空信息标注体系(CHSIAS),构建微博语料库;然后,结合BiLSTM-CRF构建微博时空信息识别模型,并利用117567条标注的微博语料进行实验。结果表明:与人民日报语料标注体系相比,CHSIAS与CRF、BiLSTM、BiLSTM-CRF 3种方法结合进行时空信息识别,F值均较高,且可获得多层级、精细化的突发事件时空信息,其中,基于BiLSTM-CRF的MFISIE方法的F值(91.2%)最高。使用CHSIAS时,BiLSTM-CRF对时间信息的识别效果最好,其对兴趣点、建筑物和相对位置描述识别结果的F值比BiLSTM方法分别提升了8.8%、6.3%和12.3%,比CRF方法分别提升了7.1%、7.7%和8.9%。MFISIE可更精确地提取微博中突发事件的时空信息,为突发事件应急信息的快速感知与精准应用提供技术支撑。

基于BiLSTM-CRF的MOOC课程评论抽取研究

文中主要研究从MOOC课程评论中抽取评价对象和评价词的方法。将MOOC课程评论评价对象和评价词的抽取问题看作序列标注问题,利用BiLSTM模型获取MOOC课程评论中评价对象和评价词的上下文信息,利用CRF模型获取MOOC课程评论中评价对象和评价词的整体信息,从而标注出MOOC课程评论中评价对象和评价词。提出的MOOC课程评论评价对象和评价词抽取方法的准确率为82.62%,召回率为84.10%,F1值为83.35%。实验结果表明,文中提出的BiLSTMCRF模型可以有效地从MOOC课程评论中抽取评价对象和评价词。

结合自注意力的BiLSTM-CRF的电子病历命名实体识别

为弥补现有方法不能很好捕获电子病历实体之间的长距离依赖关系的缺陷,提出一种结合自注意力的BiLSTM-CRF的命名实体识别方法。将输入文本转成神经网络可识别的数值形式;经过BiLSTM网络并结合自注意力计算得到每个字的输出特征向量;通过CRF层找到句子最适合的输出标签序列,从而确定命名实体。采用CCKS2018数据集进行实验,结果表明,改进的命名实体识别方法对电子病历具有一定的适应性,且与现有的方法相比,测试集的准确率提高了6.50~9.25个百分点。

基于BiLSTM-CRF的古汉语自动断句与词法分析一体化研究

古汉语信息处理的基础任务包括自动断句、自动分词、词性标注、专名识别等。大量的古汉语文本未经标点断句,所以词法分析等任务首先需要建立在断句基础之上。然而,分步处理容易造成错误的多级扩散,该文设计实现了古汉语断句与词法分析一体化的标注方法,基于BiLSTM-CRF神经网络模型在四种跨时代的测试集上验证了不同标注层次下模型对断句、词法分析的效果以及对不同时代文本标注的泛化能力。研究表明,一体化的标注方法对古汉语的断句、分词及词性标注任务的F1值均有提升。综合各测试集的实验结果,断句任务F1值达到78.95%,平均提升了3.5%;分词任务F1值达到85.73%,平均提升了0.18%;词性标注任务F1值达到72.65%,平均提升了0.35%。

基于BERT-BiLSTM-CRF的中文地址解析方法

中文地址解析是地址匹配的重要环节,广泛应用于地址检索、地理编码和地址信息识别等方面。但传统地址解析方法存在覆盖度有限、人工参与过多和泛化能力较差等问题。为发挥深度学习模型在深层结构上自动学习上下文特征的优势,提出一种基于BERT-BiLSTM-CRF深度学习模型的中文地址解析方法:依据中文地址要素多级分类体系,扩展BIOES标注方法并进行地址语料标注;基于预训练语言模型,构建融合BERT、BiLSTM和CRF的综合深度学习模型,通过BERT预训练语言模型获取富含语义信息的字符向量,弥补静态词向量特异性缺失的问题,提高复杂地址要素的提取能力。以2019年深圳市地址数据为例进行模型性能评估,该方法对于多数中文地址要素的解析准确率达90%以上;相比IDCNN-CRF和BiLSTM-CRF等深度学习模型,该方法对只具有小规模地址语料时的地址解析效果更优,且在解析多种地址要素类型时能保持良好的性能。