基于改进Bi-LSTM-CRF的农业问答系统研究

针对农业领域问答系统面临的实体识别困难的问题,提出一种基于改进Bi-LSTM-CRF的实体识别方法。首先通过BERT预训练模型的预处理,生成基于上下文信息的词向量,然后将训练出的词向量输入Bi-LSTM-CRF做进一步的训练处理,最后,利用Python的Django框架设计农业领域的实体识别、实体查询、农知问答等子系统。经过试验对比,所提出的改进的Bi-LSTM-CRF在农业信息领域具有更好的实体识别能力,在农业信息语料库上的精确率、召回率和F1值分别为93.23%、91.08%和92.16%。实现农业领域实体识别和农业信息问答的知识图谱网站演示,对农业信息化的发展具有重要意义。

基于改进BiLSTM-CRF模型的网络安全知识图谱构建

针对网络安全领域的图谱构建任务,基于BiLSTM-CRF模型引入了外部网络安全词典来加强网络安全文本的特征,并结合多头注意力机制提取多层特征,最终在网络安全数据集取得了更优异的结果。利用企业内部的日常网络运维数据,设计并构建了一个面向企业网络安全运维管理的知识图谱,为后续进一步研究基于图谱的企业网络安全智能决策等应用奠定基础。

基于ERNIE-BiGRU-CRF模型的煤矿安全隐患命名实体智能识别研究

为充分挖掘煤矿安全隐患文本关键知识,帮助煤矿企业安全管理人员更好的开展隐患排查治理工作,提出一种基于预训练语言模型的命名实体识别方法。首先定义煤矿安全隐患实体类别,并采用BIO标注策略构建了7个实体类别和15个实体标签;然后将收集到的煤矿隐患排查数据进行预处理,由煤矿安全领域专家人工标注相关实体,得到1500条煤矿安全隐患命名实体标准数据集;最后采用ERNIE预训练模型对煤矿安全隐患文本词向量进行表征、同时利用BiGRU结构进行上下文语义特征提取以及CRF模型进行实体标签解码,完成煤矿安全隐患命名实体识别研究。实验结果表明:ERNIE-BiGRU-CRF模型在序列标注任务上的精确率、召回率和F1值分别为56.69%、69.23%和62.34%,较于BiLSTM-CRF基线模型分别提高了6.85%、13.74%和9.83%,并且实体抽取结果与实际标注结果相差不大。另外,消融实验也验证了BiGRU层能够更好的捕捉煤矿安全隐患文本上下文语义依赖关系以及CRF层能够进一步优化标签序列的有效性。

基于BERT-BiLSTM-CRF模型的油气领域命名实体识别

针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法。该方法首先利用BERT(bidirectional encoder representations from transformers)预训练模型得到输入序列语义的词向量;然后将训练后的词向量输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)模型进一步获取上下文特征;最后根据条件随机场(conditional random fields,CRF)的标注规则和序列解码能力输出最大概率序列标注结果,构建油气领域命名实体识别模型框架。将BERT-BiLSTM-CRF模型与其他2种命名实体识别模型(BiLSTM-CRF、BiLSTM-Attention-CRF)在包括3万多条文本语料数据、4类实体的自建数据集上进行了对比实验。实验结果表明,BERT-BiLSTM-CRF模型的准确率(P)、召回率(R)和F_(1)值分别达到91.3%、94.5%和92.9%,实体识别效果优于其他2种模型。

基于藏文音节结合BiLSTM-CRF的藏语语义组块分类标注

针对藏语句子语义分析中语义种类繁多且广泛存在歧义的难点,提出了基于藏文音节向量和BiL-STM-CRF混合模型相结合的藏语语义组块识别方法。首先制定了13种语义组块标注规范,其次构建了13211句语义组块标注语料库,在此基础上采用TS-BiLSTM-CRF方法训练了藏语语义组块识别和分类模型。综合测试实验结果表明,该模型精确率为75.03%,召回率为76.52%,F1值为75.77%。各类语义组块识别中,指示类(INS)识别的测评结果远高于其他几类语义组块,精确率为90.87%;组织类(ORG)的测评结果偏低于其他类型,精确率为66.67%。文章研究证实了TS-BiLSTM-CRF模型在藏语语义组块识别分析任务中具有较好的性能。

采用BI-LSTM-CRF模型的数值信息抽取

数值信息是文本中的一种重要信息,含有主体、属性、属性值等元素。然而当前数值信息抽取方法对比较关系的表示比较单一,对于含有多个数值的句子,其数值信息抽取的效果不佳。根据文本中数量关系表述特征,提出一种数值信息表示方法和数值信息抽取框架。根据数值信息中各个元素的特点,利用BI-LSTM-CRF模型对数值信息元素进行识别;利用语言特征判断属性值和其他元素之间的语义关系。该方法对数值信息抽取的准确率、召回率和F值分别达到0.775、0.752和0.763,优于现有的抽取的方法。

基于BERT-Bi-LSTM-CRF模型的自主式交通系统参与主体识别方法

自主式交通系统(ATS)的重要组成部分是参与主体,参与主体的信息通常依靠文本进行描述。为构建自主式交通知识图谱,需要从文本中准确地识别出大量参与主体。为此,研究了基于BERT-Bi-LSTM-CRF模型的实体识别方法,对自主式交通系统参与主体进行抽取。词嵌入模型BERT为预训练语言模型,用以捕获丰富的语义特征,将捕获的语义特征输入到双向长短时记忆神经网络(Bi-LSTM)模型中提取上下文双向序列信息,经条件随机场(CRF)处理得到最优序列预测结果。收集交通专业相关的原始语料,经过数据预处理与文本标注,形成了可用于自主式交通系统参与主体识别的语料库,基于此数据开展实体识别对比实验。结果证明:BERT模型显著提升了自主式交通系统参与主体识别任务的性能。相较于传统方法 CNN-LSTM或Bi-LSTM等,所提方法可以得到最佳综合识别效果,各实体的综合F1值为86.81%,表明通过BERT模型提取参与主体的语义特征,可以增强识别方法的泛化能力。“使用者”“运营者”“提供者”“规划者”“维护者”类实体的F1值分别为90.35%,92.31%,90.48%,93.33%,95.00%。验证了所提方法识别自主式交通系统参与主体的有效性。

融合attention机制的BI-LSTM-CRF中文分词模型

中文的词语不同于英文单词,没有空格作为自然分界符,因此,为了使机器能够识别中文的词语需要进行分词操作。深度学习在中文分词任务上的研究与应用已经有了一些突破性成果,本文在已有工作的基础上,提出融合Bi-LSTM-CRF模型与attention机制的方法,并且引入去噪机制对字向量表示进行过滤,此外为改进单向LSTM对后文依赖性不足的缺点引入了贡献率?对BI-LSTM的输出权重矩阵进行调节,以提升分词效果。使用改进后的模型对一些公开数据集进行了实验。实验结果表明,改进的attention-BI-LSTM-CRF模型以及训练方法可以有效地解决中文自然语言处理中的分词、词性标注等问题,并较以前的模型有更优秀的性能。

Bi-LSTM+CRF的网络空间安全领域命名实体的识别

为细粒度分析多维度组织网络空间中威胁情报,提出一种结合双向长短时记忆网络Bi-LSTM与线性链条件随机场CRF的实体识别模型。利用网络空间安全领域词典构建、词向量训练、序列标注以及模型训练方法建立了知识图谱,通过Bi-LSTM提取特征识别网络空间安全领域中12类命名实体。结果表明,该方法评价值优于其他算法,F值达到85.00%,整体识别性能较高。

基于BERT-BiLSTM-CRF模型的地理实体命名实体识别

互联网中存在大量的与地理信息相关的信息,其中文本信息是这些信息的重要组成部分。针对构建地理实体库过程中依赖人工制定规则、信息提取不充分等问题,本文通过利用爬虫技术获取百度百科文本信息并构建地理实体语料库,端到端的深度学习模型BERT-BiLSTM-CRF模型对自建的地理实体语料库进行了命名实体识别(NER),模型在传统的BiLSTM-CRF模型上加入了BERT预训练模型,使得模型可以更好地结合文本上下文及语义信息。结果表明,该模型相比于BiLSTM-CRF模型和BiLSTM模型在地理实体命名实体识别中取得了更好的结果,且对进一步构建地理实体知识图谱、知识库等具有重要意义。

基于Bi-LSTM+CRF模型和多规则集成的证件信息识别

证件信息识别是当前重要的人工智能应用领域,可以在金融服务和电商等多个场景提升经济活动效率和商业流程、办事流程的自动化水平。该文使用百度PaddlePaddle深度学习框架和基于双向LSTM+CRF+XGBoost模型的信息抽取与分类矫正方法,融合人工规则,在统一社会信用代码证书、民办非企业单位登记证书、事业单位法人证书等为代表的证件信息识别任务上取得了超越当前商业应用的效果。

基于RoBERTa-CRF的肝癌电子病历实体识别研究

目的/意义肝癌电子病历中蕴涵大量医学专业知识,且大部分以非结构化数据形式存在,难以自动化提取。肝癌电子病历实体识别研究有助于构建肝癌领域医疗辅助决策系统和医学知识图谱。方法/过程构建RoBERTa算法与CRF算法相结合的命名实体识别模型,利用自标注肝癌电子病历真实数据进行模型训练与测试。结果/结论RoBERTa-CRF模型优于其他基线模型,具有较好实体识别效果。

基于BERT⁃BiLSTM⁃CRF的非法出入境笔录文本提取模型

为提高非法出入境笔录信息提取方面的命名实体识别能力,提出了一种融合语言模型的非法出入境笔录信息提取模型。该模型首先利用BERT模型对输入序列中的单词进行编码,得到每个单词的向量表示,然后将这些向量输入到BiLSTM网络中,利用LSTM网络对输入序列进行建模,学习输入序列中的上下文信息和语法结构等。最后,通过一个CRF层对BiLSTM网络的输出进行标注,从而得到最终的输出序列。实验结果表明,该模型能较好地应用于非法出入境笔录文本提取的任务。在与广西边防检查总站的合作项目里,最终将该模型应用于实际生产工作中,为边检警方的笔录提取工作提供便利。

基于BLSTM-CRF的自举式术语识别方法研究

[目的/意义]自动识别优质术语一直是多领域普遍关注的问题,其中一个突出困难是缺乏领域标注语料,为此本文提出一种基于BLSTM-CRF的自举式领域术语识别方法。[方法/过程]首先选取少量种子术语标注语料,训练BLSTM-CRF模型,识别候选术语;再基于术语质量特征构造筛选准则,从候选术语中挑出优质且新增的结果加入到新一轮训练的标注词汇集合,迭代标注训练,直到新增术语量小于某一阈值或迭代达到特定次数。本文还检测了模型迭代训练效率及在其他领域的推广性,将在计算机领域语料训练出的模型用于新兴的融合出版领域的技术术语识别。[局限]术语质量特征量化方法待综合多指标优化,模型改进学习机制未引入负例且迭代不易收敛等。[结果/结论]本文最终通过标注数量和标注语境丰富度实验表明了采用新增标注数据进行迭代的有效性。以50轮迭代训练后结果为例,在计算机测试语料上识别术语及其所有标注序列的F1值为0.43和0.59,新术语率为0.79,均优于基准BLSTM-CRF模型、BERT-BLSTM-CRF模型效果,证实了新方法启动成本低,领域适应性好,能够有效解决术语识别中训练语料缺乏的问题。在模型迁移效能评价中,抽样判断的术语识别平均正确率为87.7%,说明了迁移学习方法的应用潜力。

面向技术识别的专利实体抽取--以类脑智能领域为例

[研究目的]专利实体抽取是基于专利文本的技术识别的基础。目前专利实体抽取任务面临自动化程度和准确率较低等问题,该研究从两方面对此进行改进:一是建立特定领域的高质量专利语料库,二是将先进的算法模型运用到专利实体抽取中。[研究方法]定义了包含13种实体类型的细粒度信息体系,并据此对921篇类脑智能专利的标题和摘要进行人工标注,此后运用Bert-BiLSTM-CRF模型,融合深度学习和机器学习对类脑智能专利实体进行识别。[研究结论]模型在总体上获得0.8的准确率、召回率和F1值,不同类型实体的识别效果具有差异。为了验证模型的性能,设计了几个对比实验。结果显示,微调数据和增加训练规模可以提高模型性能,本模型性能优于同时期一些经典模型。

基于BiLSTM-CRF的政府微博舆论观点抽取与焦点呈现

[目的/意义]准确把握公众微博评论中所反映的公众观点并总结舆论焦点,有助于及时获取和引导社会舆情态势,对政府公信力、快速响应能力及执行力提升具有支撑作用。[方法/过程]文章针对当前政府微博评论社会功能发挥的现实要求和其文本特征挖掘的技术需求,从基于深度学习的文本智能语义理解和挖掘出发,提出了适用的细粒度四元组标注策略,构建了政府微博评论观点抽取与焦点呈现的深度学习模型POF-BiLSTM-CRF,即通过细粒度标注策略确定、Word2vec训练词向量、BiLSTM评论特征学习进行标签及其概率输出、CRF学习上下文实现微博评论标注优化,以及观点聚类和主题词提取后最终呈现舆论焦点。[结果/结论]针对"中国警方在线"微博评论的实验表明,文章所提研究框架和模型能够有效进行舆论观点的智能化提取,为快速把握公众观点及为政府决策提供了参考。

基于CRF算法的汉语比较句识别和关系抽取

比较句是表明事物之间关系的常见表达方式,对于文本挖掘,特别是情感分析,具有重要的价值。目前汉语比较句的研究还是一个新颖的课题,包括汉语比较句的识别和比较关系的抽取。对于汉语比较句的识别,在前人研究的基础上,以SVM为分类器,以特征词和CSR序列规则为特征,同时利用CRF算法抽取实体对象,并增加以实体对象的信息作为特征,显著提高了比较句识别的准确率、召回率和F-度量,最高分别达到96.55%、88.63%和92.43%。对于汉语比较关系的抽取,在CRF算法抽取实体对象的基础上,通过定义一些规则,抽取比较主体和比较基准,也取得了较好的效果,其中比较主体的抽取效果要好于比较基准。

LDA-CRF:一种基于概率图模型的目标检测方法

目标检测和识别是计算机视觉和机器学习的研究热点.近年来,主题模型(如LDA等)在无监督的图像识别和定位等应用中获得了巨大的成功.然而,LDA忽略了图像区域之间的空间关系,并且不能处理连续值的视觉特征或特征向量.而条件随机场(CRF)能够利用图像区域之间的局部相关性来提高分类准确性.基于LDA和CRF提出了一种LDA-CRF模型.通过利用LDA生成的主题信息来辅助CRF的分类,同时结合图像区域之间结构化的类别信息来改进LDA的主题生成机制.实验结果表明,LDA-CRF模型的检测效果要优于CRF.

基于CRFs和跨事件的事件识别研究

事件检测与类型识别是事件抽取的基础,具体实施分为触发词检测和事件类型识别2个阶段。分别对2个阶段进行研究,在前一阶段,针对词形特征过拟和问题,提出利用LDA模型对词语聚类的方法,考虑到中文自动分词与标注的触发词边界的不一致性,提出基于CRFs模型的触发词识别方法。在后一阶段,为提高事件类型识别的效果,将跨事件理论应用于中文事件类型识别。实验结果表明,该方法能提高系统性能,F值分别提高到66.3和62.0。

基于SVM和CRF的双层模型中文机构名识别

提出了一种基于支持向量机(SVM)和条件随机场(CRF)的双层模型进行中文机构名识别的方法.第一层模型采用CRF识别简单机构名,并将识别结果传至第二层辅助下一步的识别;第二层采用基于驱动的方法,将SVM和CRF结合进行复杂机构名的识别;最后将两层的识别结果合并,并通过一个后续处理对置信度较低的识别结果进行修正.大规模真实语料的开放测试表明,精确率达到94.83%,召回率达到95.02%,证明了该方法的有效性.