基于改进Bi-LSTM-CRF的农业问答系统研究

针对农业领域问答系统面临的实体识别困难的问题,提出一种基于改进Bi-LSTM-CRF的实体识别方法。首先通过BERT预训练模型的预处理,生成基于上下文信息的词向量,然后将训练出的词向量输入Bi-LSTM-CRF做进一步的训练处理,最后,利用Python的Django框架设计农业领域的实体识别、实体查询、农知问答等子系统。经过试验对比,所提出的改进的Bi-LSTM-CRF在农业信息领域具有更好的实体识别能力,在农业信息语料库上的精确率、召回率和F1值分别为93.23%、91.08%和92.16%。实现农业领域实体识别和农业信息问答的知识图谱网站演示,对农业信息化的发展具有重要意义。

基于BI-LSTM-CRF模型的中文分词法

递归神经网络能够很好地处理序列标记问题,已被广泛应用到自然语言处理(NLP)任务中。提出了一种基于长短期记忆(LSTM)神经网络改进的双向长短期记忆条件随机场(BI-LSTM-CRF)模型,不仅保留了LSTM能够利用上下文信息的特性,同时能够通过CRF层考虑输出标签之间前后的依赖关系。利用该分词模型,通过加入预训练的字嵌入向量,以及使用不同词位标注集在Bakeoff2005数据集上进行的分词实验,结果表明:BI-LSTM-CRF模型比LSTM和双向LSTM模型具有更好的分词性能,同时具有很好地泛化能力;相比四词位,采用六词位标注集的神经网络模型能够取得更好的分词性能。

基于Bi-LSTM-CRF的商业领域命名实体识别

[目的/意义]为解决目前网络公开平台的多源异构的企业数据的散乱、无序、碎片化问题,提出Bi-LSTM-CRF深度学习模型进行商业领域中的命名实体识别工作。[方法/过程]该方法包括对企业全称实体、企业简称实体与人名实体3类命名实体识别。[结果/结论]实验结果显示对企业全称实体、企业简称实体与人名实体3类命名实体识别的识别率平均F值为90.85%,验证了所提方法的有效性,证明了本研究有效地改善了商业领域中的命名实体识别效率。

基于Bi-LSTM-CRF模型的维吾尔语词干提取的研究

词干提取是维吾尔语自然语言处理中的基础性研究,其提取质量直接影响其他任务的性能。但目前维吾尔语词干提取研究存在过度切分、不切分和歧义切分等问题,这些问题导致词干提取质量不高,对后续任务的性能影响较大。因此该文提出了基于Bi-LSTM-CRF的维吾尔语词干提取模型,将字符作为最小切分单位,选取维吾尔语字符特征、音类特征以及语音特征为候选特征,结合模型进行实验。实验表明,该文提出的Bi-LSTM-CRF模型在维吾尔语词干提取任务上,F1值达到了88%,在融入手工提取的候选特征之后,F1值提高了1.8个点,有效提高了词干提取的准确性,缓解了上述问题带来的影响。

采用BI-LSTM-CRF模型的数值信息抽取

数值信息是文本中的一种重要信息,含有主体、属性、属性值等元素。然而当前数值信息抽取方法对比较关系的表示比较单一,对于含有多个数值的句子,其数值信息抽取的效果不佳。根据文本中数量关系表述特征,提出一种数值信息表示方法和数值信息抽取框架。根据数值信息中各个元素的特点,利用BI-LSTM-CRF模型对数值信息元素进行识别;利用语言特征判断属性值和其他元素之间的语义关系。该方法对数值信息抽取的准确率、召回率和F值分别达到0.775、0.752和0.763,优于现有的抽取的方法。

基于Gate机制与Bi-LSTM-CRF的汉语语义角色标注

目前,语义角色标注大多基于双向长短时记忆网络(Bi-LSTM)。但是,由于词向量表示由上下文窗口中的词嵌入拼接得到,导致其依赖于左右词嵌入的联合作用。针对该问题,引入Gate机制对词向量表示进行调整。为了获取更深层次的语义信息,对Bi-LSTM的深度进行扩展。此外,引入标签转移概率矩阵进行约束,并且使用条件随机场(CRF)融合全局标签信息得出最优标注序列。实验结果表明,该方法使得汉语语义角色标注的F1值提高1.71%。

融合Gate过滤机制与深度Bi-LSTM-CRF的汉语语义角色标注

语义角色标注的传统方法采用基于句法特征的统计机器学习方法。由于依存句法可以表示词语之间的语义关系,故在语义角色标注中取得了较好的性能;但该方法存在特征抽取过程繁琐,难以捕捉句子中长距离依赖等问题。随着深度学习的兴起,研究者将基于双向长短时记忆(Bidirectional Long Short-Term Memory,Bi-LSTM)神经网络模型用于语义角色标注。该模型可以自动学习特征,并对词与词之间的远距离依赖关系进行有效建模。本文提出融合Bi-LSTM-CRF模型与依存句法特征的方法,并且引入Gate过滤机制对词向量表示进行调整,以达到利用句法特征提高语义角色标注精度的同时,规避特征工程的繁琐。CPB上的实验结果表明,利用本文所提方法的汉语语义角色标注的F1值达到79.53%,比前人的方法有了较为显著的提升。

基于BERT-Bi-LSTM-CRF模型的自主式交通系统参与主体识别方法

自主式交通系统(ATS)的重要组成部分是参与主体,参与主体的信息通常依靠文本进行描述。为构建自主式交通知识图谱,需要从文本中准确地识别出大量参与主体。为此,研究了基于BERT-Bi-LSTM-CRF模型的实体识别方法,对自主式交通系统参与主体进行抽取。词嵌入模型BERT为预训练语言模型,用以捕获丰富的语义特征,将捕获的语义特征输入到双向长短时记忆神经网络(Bi-LSTM)模型中提取上下文双向序列信息,经条件随机场(CRF)处理得到最优序列预测结果。收集交通专业相关的原始语料,经过数据预处理与文本标注,形成了可用于自主式交通系统参与主体识别的语料库,基于此数据开展实体识别对比实验。结果证明:BERT模型显著提升了自主式交通系统参与主体识别任务的性能。相较于传统方法 CNN-LSTM或Bi-LSTM等,所提方法可以得到最佳综合识别效果,各实体的综合F1值为86.81%,表明通过BERT模型提取参与主体的语义特征,可以增强识别方法的泛化能力。“使用者”“运营者”“提供者”“规划者”“维护者”类实体的F1值分别为90.35%,92.31%,90.48%,93.33%,95.00%。验证了所提方法识别自主式交通系统参与主体的有效性。

基于Bi-LSTM-CRF算法的气象预警信息质控系统的实现

本文采用双向长短期记忆网络条件随机场(Bi-LSTM-CRF)算法,通过双向循环神经网络(Bi-LSTM)对已有的合法预警信息文本数据集和开放域中文分析公开数据集进行训练;采用CRF序列标注法有效地结合了预警前后的标签信息对分词进行序列标注;使用该算法建立的气象预警信息质控系统已应用在安徽省突发事件预警信息发布系统,在实际应用的过程中充分证明基于神经网络的气象预警信息质控系统能直接有效地对新的预警信息中可能含有的敏感字(词)、错别字等进行智能监测,以帮助监测人员进行气象预警判断,从而可以对发布的气象预警信息起到质量把关的作用。

基于Bi-LSTM-CRF网络的语义槽识别

自然语言理解任务的主要目标是运用自然语言处理的相关方法,对用户发出的语句进行解析,转化成结构化的语义表示。本文重点研究了基于语义槽抽取的自然语言理解方法。在基于语义槽抽取的自然语言理解任务中,任务的输入是用户的指令型语句,输出为指令的语义槽实体标注序列,如出发日期、出发地点等,故可将语义槽抽取任务看作类似于命名实体识别任务,以序列标注任务的方法解决。本文研究提出了基于Bi-LSTM-CRF模型的语义槽抽取方法,在英文语料ATIS上进行了实验。实验结果表明,基于Bi-LSTM-CRF网络的方法相比于传统机器学习的基准方法,结果得到了大幅度的提升。对于模型识别的结果,研究中采用F1值进行评价。

基于BI-LSTM-CRF模型的维吾尔语分词研究

在充分研究维吾尔语言形态特征的基础上,制定相应的分词规则并手工标注原始语料,建成原始语料库;针对传统机器学习分词方法过度依赖背景知识和特征选取的问题,提出了一种基于长短期记忆(LSTM)神经网络改进的双向长短时记忆条件随机场(BI-LSTM-CRF)网络模型来进行维吾尔语分词,其能够有效地使用过去和未来的输入特征.利用该分词模型与基于传统机器学习方法的条件随机场(CRF)模型对比,实验结果表明,使用BI-LSTM-CRF模型分词性能有明显提高,且具有良好的泛化能力.

基于双层Bi-LSTM-CRF模型的糖尿病领域命名实体识别

随着信息技术的发展,电子文档在糖尿病领域的信息记录中得到了大量应用,通过自动化技术对这些电子文档进行分析具有重大的意义。由于现有的命名实体识别方法在糖尿病领域中识别准确率偏低。为了改变这种现状,提出了双层的双向长短时记忆神经网络条件随机场模型(Bi-LSTM-CRF),并将其应用到糖尿病领域命名实体识别任务中。实验结果表明该模型在包含15种实体类别的数据集上准确率达到了89.14%,且在外部测试集上平均F 1值为72.89%,充分揭示了双层Bi-LSTM-CRF模型的有效性。

基于改进Bi-LSTM-CRF的网络安全领域知识图谱构建

针对网络安全领域实体识别,提出基于改进Bi-LSTM-CRF知识图谱的网络安全实体识别方法。该方法首先通过人工特征模板提取局部上下文特征,然后采用神经网络模型自动提取字符特征和文本全局特征。实验结果表明,通过参数调整分析后,迭代次数为40、Dropout=0.5、模型微调为true时,此时模型最优,与其他模型相比,提出的模型在网络安全实体数据集上的识别精确率和F值更高。

融合attention机制的BI-LSTM-CRF中文分词模型

中文的词语不同于英文单词,没有空格作为自然分界符,因此,为了使机器能够识别中文的词语需要进行分词操作。深度学习在中文分词任务上的研究与应用已经有了一些突破性成果,本文在已有工作的基础上,提出融合Bi-LSTM-CRF模型与attention机制的方法,并且引入去噪机制对字向量表示进行过滤,此外为改进单向LSTM对后文依赖性不足的缺点引入了贡献率?对BI-LSTM的输出权重矩阵进行调节,以提升分词效果。使用改进后的模型对一些公开数据集进行了实验。实验结果表明,改进的attention-BI-LSTM-CRF模型以及训练方法可以有效地解决中文自然语言处理中的分词、词性标注等问题,并较以前的模型有更优秀的性能。

结合注意力机制的Bi-LSTM-CRF中文电子病历命名实体识别

在中文电子病历命名实体识别任务中,为了消除传统命名实体识别方法高度依赖人工提取特征这一不足,设计了双向长短时记忆(Bi-LSTM)网络与条件随机场(CRF)结合的网络模型,并在联合网络的基础上添加注意力机制,从而优化实体识别准确率。首先,将中文电子病历数据集进行脱敏处理及序列标注等预处理;其次,结合词嵌入技术将电子病历文本序列进行词向量化表示,并利用Bi-LSTM网络模型构造包含前向和后向文本的语义特征;然后,将双向特征序列输入到注意力层,利用注意力机制对文本特征向量的语义编码分配不同的注意力权重,进一步强化当前信息与上下文信息之间潜在的语义关联性;最后,输入到CRF层中,由此提取出实体。实验结果表明,该注意力机制与Bi-LSTM-CRF模型融合的新方法能有效提高中文电子病历命名实体识别的准确率。

基于BI-LSTM-CRF的作战文书命名实体识别

为解决部分军事命名实体导致规则、统计等传统模型识别率不高的问题,提出一种基于双向长短期记忆—条件随机场(BI-LSTM-CRF)的作战文书命名实体识别方法。介绍作战文书命名实体识别的概念、特点,给出模型具体训练方法与步骤,在手工构建的数据集上进行开放性测试。结果表明,该方法能有效提升作战文书命名实体的识别准确率,模型最终的识别精确率和召回率分别达到91.40%和90.43%。

基于多维特征分析的戏曲类方志文献命名实体识别研究

方志是我国特有的一种具有极高史料价值的地方文献,对其进行数字化处理并实施知识挖掘,对传承传播中华传统文化、建设文化强国具有重要意义。命名实体识别作为一种基础性技术与关键环节,对方志知识组织与发现具有重要影响。目前,虽然方志命名实体识别已经取得了一定进展,但是仍缺乏适应方志文本特征与领域资源特征的系统化技术方案。基于此,本文提出融合多维特征与Bi-LSTM-CRF的戏曲类方志命名实体识别模型。首先,结合句法特征与符号、尾词、构词、上下文和负例等文本特征,对方志文献中的戏曲类实体特质进行解析;其次,利用在长文本结构中表现优异的Bi-LSTM-CRF模型,借助已解析的戏曲类实体特征,提升实体识别效率;最后,以《楚剧志》为具体对象开展实证研究,结果表明,本文提出的模型在命名实体识别效果上优于基准模型,F1值达到0.869。

储气库站场天然气泄漏及火灾事故应急知识图谱构建

针对消防、应急处置过程中快速进行决策支持和方案制定的难点,提出储气库站场天然气泄漏及火灾事故的应急模型,该模型应用知识图谱作为风险表征手段,利用双向编码表示转换器(BERT)和双向长短时记忆模型条件随机场算法(BiLSTM-CRF),实现对文本信息的实体识别和关系抽取。利用Neo4j图数据库构建储气库站场天然气泄漏及火灾事故的应急知识图谱。结果表明:相较于传统的应急处置、消防策略研究方法,本文提出的储气库站场天然气泄漏及火灾事故应急模型不仅可以实现对储气库站场天然气泄漏及火灾事故的早期应急处置,还能够识别事故的风险传播路径,为消防应急指挥和应急决策提供支持。

融合全局语义信息的BIG-LSTM-CRF模型

命名实体识别任务是针对输入的文本句子做序列标注的一类自然语言处理任务,其目的是抽取出文本句子中的主语实体和宾语实体.基于深度神经网络的提取方法获得了优异的性能,其中BI-LSTM-CRF是效果显著且具有代表性的模型之一.但该模型在训练过程中忽略了全局语义信息对实体识别准确度的影响.本文通过引入全局语义信息来改进BI-LSTM-CRF模型用于命名实体识别任务的性能:先通过添加一层带有激活操作的全连接层来提取输入文本句子的高维语义信息;再通过一个全连接层将高维语义信息与每个字符进行深度融合,得到该句子融合了全局语义信息的向量表示,并将其用于后续的命名实体识别任务.通过将改进后的模型用于CLUENER2020数据集上,验证了添加全局语义信息融合模块可以提升模型命名实体识别的准确度.

基于双向长短记忆网络融合模型的招标文件解析技术研究

面对国家电网公司电子招投标业务的快速扩展,供应商在海量的招标文件中迅速而精确地提取相关信息变得尤为重要。本研究开发了一种适配国网招标文件特征的解析技术,旨在将数据结构化和可视化,以帮助供应商及时锁定投标机会并支持决策制定。通过对招标文件进行篇章分析、表格检测和文本纠错处理,获取了有效的数据输入。采用五种不同的解析算法模型对数据进行分析,并基于标注数据评估各模型性能。利用国网招标文件样本,经过模型定制与调优,构建了一个集成双向长短记忆网络(Bi-directional long short-term memory,Bi-LSTM)、条件随机场(conditional random fields,CRF)的解析模型。使用823份实际招标文件样本对模型进行了训练和对比测试,结果显示双向长短记忆融合模型的性能指标优于BERT+Bi-LSTM模型。此外,CRF层能够通过学习自动引入的约束条件来确保预测结果的准确性,从而显著提升解析效果。