基于RoBERTa_BiLSTM_CRF的文本情报命名实体识别

随着网络信息的爆炸式增长,威胁情报分析作为军事情报分析与战略决策的重要组成部分,其面临着来源多样化和信息结构复杂化的挑战。传统的人工信息提取方法在处理这些大量结构化及非结构化信息时效率低下,准确性有限。文中针对这一挑战,提出了一种结合RoBERTa、BiLSTM和条件随机场(Conditional Random Fields,CRF)的命名实体识别新算法。此算法通过Ro-BERTa模型深入挖掘文本的语义特征,BiLSTM模型捕捉序列上下文信息,CRF层用于精确的实体标记,从而有效提升信息提取的准确率和效率。本文基于开源情报语料库构建了一个涉及导弹发射事件的命名实体识别数据集,并在此基础上进行了实验,结果表明,该方法在精确率、召回率及F1值等关键指标上相较于主流深度学习方法表现出显著的性能提升,其中F1值高达94.21%。

融合多尺度CNN和CRF的通用细粒度事件检测

事件检测是自然语言处理领域中事件抽取的主要任务之一,它旨在从众多非结构化信息中自动提取出结构化的关键信息.现有的方法存在特征提取不全面、特征分布不均等情况.为了提高事件检测的准确率,提出了一种融合BERT预训练模型与多尺度CNN的神经网络模型(BMCC,BERT+Multi-scale CNN+CRF).首先通过BERT(Bidirectional Encoder Representations from Transformers)预训练模型来进行词向量的嵌入,并利用其双向训练的Transformer机制来提取序列的状态特征;其次使用不同尺度的卷积核在多个卷积通道中进行卷积训练,以此来提取不同视野的语义信息,丰富其语义表征.最后将BIO机制融入到条件随机场(CRF)来对序列进行标注,实现事件的检测.实验结果表明,所提出的模型在MAVEN数据集上的F1值为65.17%,表现了该模型的良好性能.

基于BiLSTM-CRF的航行通告命名实体识别研究

针对当前国际民航组织对数字航行通告研究仅考虑对文本航行通告环境兼容,而未考虑对数字航行通告环境兼容的问题,提出一种基于BiLSTM-CRF的航行通告命名实体识别模型,以实现文本航行通告中相关实体的自动识别,并为转换数字航行通告提供所需的基本数据。通过构建航行通告语料标记数据集对LSTM,BiLSTM,BiLSTM-CRF 3种模型进行对比实验。实验结果显示,所提模型的精确率、召回率、F 1值分别为95%,95%,95%,验证了其在航行通告领域的有效性,证明本研究可以有效识别航行通告中的重要实体信息。

基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

基于RoBERTa-BiLSTM-SelfAttention-CRF的中文地址解析方法

针对中文地址解析精准度不高、效率低以及忽略细粒度地址要素等问题,提出融合自注意力机制的RoBERTa-BiLSTM-SelfAttention-CRF的中文地址解析方法。首先,利用RoBERTa提取地址文本的深层语义特征和丰富的上下文信息;其次,通过BiLSTM网络建模地址文本的序列关系,捕捉地址要素之间的关系依赖;然后,在不同地址要素之间引入自注意力机制建立有效关联,优化模型在解析中文地址时的表现;最后,采用CRF标注地址序列,实现精确的地址解析。实验结果表明,自注意力机制的引入有助于提升中文地址解析效果,该方法在自建数据集上,准确率为0.9594,召回率为0.9697,F1值为0.9645。在CCKS2021公开数据集上,准确率为0.9080,召回率为0.9158,F1值为0.9119,较目前先进方法F1值提升0.0069,表现出良好的性能及泛化能力。

基于改进BiLSTM-CRF模型的网络安全知识图谱构建

针对网络安全领域的图谱构建任务,基于BiLSTM-CRF模型引入了外部网络安全词典来加强网络安全文本的特征,并结合多头注意力机制提取多层特征,最终在网络安全数据集取得了更优异的结果。利用企业内部的日常网络运维数据,设计并构建了一个面向企业网络安全运维管理的知识图谱,为后续进一步研究基于图谱的企业网络安全智能决策等应用奠定基础。

Bi⁃LSTM和CRF结合的藏文分词方法研究

本研究旨在探索基于双向长短时记忆网络(Bi⁃LSTM)和条件随机场(CRF)的藏语分词方法。研究评估了Bi⁃LSTM和Bi⁃LSTM结合CRF模型在藏文分词任务中的性能,针对未登录音节词进行了模型优化。研究还将分词系统应用到CCMT2023藏汉机器翻译任务中,并进行了评估。实验结果表明,本文提出的分词系统在藏语分词任务中具有良好的性能,并且在藏汉机器翻译任务上有效提升了性能。

基于BERT-BiLSTM-CRF模型的中医治疗功能性胃肠病实体识别及应用

目的:探索分析BERT-BiLSTM-CRF模型抽取中医文献摘要中的实体的可行性及识别效果。方法:在知网数据中导出500条中医疗法治疗功能性胃肠病的论文摘要,对文本中的西医病名、临床表现、方剂、中药等11类实体进行BIO标注,基于BERT-BiLSTM-CRF模型进行训练及参数调整,而后对模型进行测试,并应用于实体识别。结果:模型测试的精确率为85.07%,召回率为88.48%,F1值为0.8674,中药、方剂、西医诊断等实体类别的识别效果较好;模型应用中,自动化实体抽取结果整体较好,能够反映该领域文献的主要研究方向。结论:BERT-BiLSTM-CRF模型能够识别出论文摘要中大部分的实体,可以为知识图谱的自动化构建提供基础,同时也对中医药领域的自然语言处理应用提供了参考和借鉴。

Mixed D-vine copula-based conditional quantile model for stochastic monthly streamflow simulation

Copula functions have been widely used in stochastic simulation and prediction of streamflow.However,existing models are usually limited to single two-dimensional or three-dimensional copulas with the same bivariate block for all months.To address this limitation,this study developed a mixed D-vine copula-based conditional quantile model that can capture temporal correlations.This model can generate streamflow by selecting different historical streamflow variables as the conditions for different months and by exploiting the conditional quantile functions of streamflows in different months with mixed D-vine copulas.The up-to-down sequential method,which couples the maximum weight approach with the Akaike information criteria and the maximum likelihood approach,was used to determine the structures of multivariate Dvine copulas.The developed model was used in a case study to synthesize the monthly streamflow at the Tangnaihai hydrological station,the inflow control station of the Longyangxia Reservoir in the Yellow River Basin.The results showed that the developed model outperformed the commonly used bivariate copula model in terms of the performance in simulating the seasonality and interannual variability of streamflow.This model provides useful information for water-related natural hazard risk assessment and integrated water resources management and utilization.

基于ERNIE-BiGRU-Attention-CRF的电子病历命名实体识别方法

目的/意义改善中文电子病历命名实体识别模型的性能,更好地开展医疗信息的组织和挖掘。方法/过程构建ERNIE-BiGRU-Attention-CRF中文电子病历命名实体识别模型,首先采用ERNIE1.0预训练模型生成具有语义特征的词向量,然后利用BiGRU捕获全局语义特征与语法结构特征,通过Attention机制进一步增强语义特征的捕获,最后连接CRF解码层输出全局概率最大的标签序列。结果/结论在公开的医疗文本数据集CCKS2017开展对比实验、消融实验,利用生成的模型进行实例分析,取得较好的识别效果。

基于BERT-BiLSTM-CRF模型的油气领域命名实体识别

针对油气领域知识图谱构建过程中命名实体识别使用传统方法存在实体特征信息提取不准确、识别效率低的问题,提出了一种基于BERT-BiLSTM-CRF模型的命名实体识别研究方法。该方法首先利用BERT(bidirectional encoder representations from transformers)预训练模型得到输入序列语义的词向量;然后将训练后的词向量输入双向长短期记忆网络(bi-directional long short-term memory,BiLSTM)模型进一步获取上下文特征;最后根据条件随机场(conditional random fields,CRF)的标注规则和序列解码能力输出最大概率序列标注结果,构建油气领域命名实体识别模型框架。将BERT-BiLSTM-CRF模型与其他2种命名实体识别模型(BiLSTM-CRF、BiLSTM-Attention-CRF)在包括3万多条文本语料数据、4类实体的自建数据集上进行了对比实验。实验结果表明,BERT-BiLSTM-CRF模型的准确率(P)、召回率(R)和F_(1)值分别达到91.3%、94.5%和92.9%,实体识别效果优于其他2种模型。

基于BiLSTM-CRF的《神农本草经》命名实体识别研究

目的:基于BiLSTM-CRF的命名实体识别技术挖掘并展示《神农本草经》蕴含的药物理论。方法:构建自定义中医术语词库,由计算机自动化序列标注,根据不同主流命名实体识别方法以及中医古籍的文本特点,以字向量作为初始输入,构建BiLSTM-CRF模型对《神农本草经》进行命名实体识别。结果:测试结果表明,BiLSTM-CRF模型的精确率89.00%,召回率88.83%,F1值为88.91%,相对于其他模型效果较优。结论:BiLSTM-CRF模型能够有效识别《神农本草经》的实体类型,适用于中医古籍的知识挖掘,有助于中医理论实践和发挥临床应用价值。

Attribute Reduction of Hybrid Decision Information Systems Based on Fuzzy Conditional Information Entropy

The presence of numerous uncertainties in hybrid decision information systems(HDISs)renders attribute reduction a formidable task.Currently available attribute reduction algorithms,including those based on Pawlak attribute importance,Skowron discernibility matrix,and information entropy,struggle to effectively manages multiple uncertainties simultaneously in HDISs like the precise measurement of disparities between nominal attribute values,and attributes with fuzzy boundaries and abnormal values.In order to address the aforementioned issues,this paper delves into the study of attribute reduction withinHDISs.First of all,a novel metric based on the decision attribute is introduced to solve the problem of accurately measuring the differences between nominal attribute values.The newly introduced distance metric has been christened the supervised distance that can effectively quantify the differences between the nominal attribute values.Then,based on the newly developed metric,a novel fuzzy relationship is defined from the perspective of“feedback on parity of attribute values to attribute sets”.This new fuzzy relationship serves as a valuable tool in addressing the challenges posed by abnormal attribute values.Furthermore,leveraging the newly introduced fuzzy relationship,the fuzzy conditional information entropy is defined as a solution to the challenges posed by fuzzy attributes.It effectively quantifies the uncertainty associated with fuzzy attribute values,thereby providing a robust framework for handling fuzzy information in hybrid information systems.Finally,an algorithm for attribute reduction utilizing the fuzzy conditional information entropy is presented.The experimental results on 12 datasets show that the average reduction rate of our algorithm reaches 84.04%,and the classification accuracy is improved by 3.91%compared to the original dataset,and by an average of 11.25%compared to the other 9 state-of-the-art reduction algorithms.The comprehensive analysis of these research results clearly indicates that our algorithm is highly effective in managing the intricate uncertainties inherent in hybrid data.

基于LSTM和CRF的加工过程运行状态识别

针对加工过程中时序信号截取成本高和运行状态自动识别困难的问题,提出一种结合双向循环神经网络BiLSTM和条件随机场(CRF)的加工过程信号状态识别模型,适用于变参数加工场景。采用LSTM来捕捉时间序列数据的前后依赖性关系,并利用该网络对振动信号进行深层特征提取。在此基础上,为了进一步捕捉状态数据,将LSTM的输出特征输入至条件随机场(CRF)模型和多层感知机(MLP)中进行边界帧分类,进行预测并输出结果标签序列。最后以变参数下的铣削实验为例,验证了基于BiLSTM-CRF的信号状态识别模型在复杂变参数场景下的有效性。

基于BETR-BiGRU-CRF模型的文物档案知识图谱构建研究——以北京中轴线文化遗产档案为例

建立文物档案知识图谱便于对文物档案进一步的研究与利用。以中轴线文化遗产档案为原始数据集,采用BERT-BiGRU-CRF模型进行文物档案实体识别,在此基础上构建中轴线文化遗产档案知识图谱,使用Neo4j图数据库完成知识存储。经实验验证,BERT-BiGRU-CRF模型在文物档案实体识别任务中具有更高的精确度与召回率,有助于建立准确、一致、完整的文物档案知识图谱,能够为文物档案管理与保护、文化遗产保护与传承等提供参考与借鉴。

融合全局语义信息的BIG-LSTM-CRF模型

命名实体识别任务是针对输入的文本句子做序列标注的一类自然语言处理任务,其目的是抽取出文本句子中的主语实体和宾语实体.基于深度神经网络的提取方法获得了优异的性能,其中BI-LSTM-CRF是效果显著且具有代表性的模型之一.但该模型在训练过程中忽略了全局语义信息对实体识别准确度的影响.本文通过引入全局语义信息来改进BI-LSTM-CRF模型用于命名实体识别任务的性能:先通过添加一层带有激活操作的全连接层来提取输入文本句子的高维语义信息;再通过一个全连接层将高维语义信息与每个字符进行深度融合,得到该句子融合了全局语义信息的向量表示,并将其用于后续的命名实体识别任务.通过将改进后的模型用于CLUENER2020数据集上,验证了添加全局语义信息融合模块可以提升模型命名实体识别的准确度.

基于ERNIE-BiGRU-CRF模型的煤矿安全隐患命名实体智能识别研究

为充分挖掘煤矿安全隐患文本关键知识,帮助煤矿企业安全管理人员更好的开展隐患排查治理工作,提出一种基于预训练语言模型的命名实体识别方法。首先定义煤矿安全隐患实体类别,并采用BIO标注策略构建了7个实体类别和15个实体标签;然后将收集到的煤矿隐患排查数据进行预处理,由煤矿安全领域专家人工标注相关实体,得到1500条煤矿安全隐患命名实体标准数据集;最后采用ERNIE预训练模型对煤矿安全隐患文本词向量进行表征、同时利用BiGRU结构进行上下文语义特征提取以及CRF模型进行实体标签解码,完成煤矿安全隐患命名实体识别研究。实验结果表明:ERNIE-BiGRU-CRF模型在序列标注任务上的精确率、召回率和F1值分别为56.69%、69.23%和62.34%,较于BiLSTM-CRF基线模型分别提高了6.85%、13.74%和9.83%,并且实体抽取结果与实际标注结果相差不大。另外,消融实验也验证了BiGRU层能够更好的捕捉煤矿安全隐患文本上下文语义依赖关系以及CRF层能够进一步优化标签序列的有效性。

基于BERT-BiLSTM-CRF党建领域命名实体识别

党建领域知识图谱构建过程中使用传统的命名实体识别方法时,存在实体边界不清、实体词性多义等问题,导致存在识别准确率和效率低的问题。为此,本文提出一种融合树形概率和领域词典的BERT-BiLSTM-CRF实体识别模型。该模型在BERT中嵌入领域词典进行文本向量化表示;利用BiLSTM获取上下文语义特征;将树形概率应用到CRF层的转移概率计算中提高分词准确率。与基准模型在MSRA和自构建的语料库上进行实验对比,实验结果表明本模型在F1值、召回率、精确率3个指标上都能取得较好的效果。

Application of the Conditional Nonlinear Local Lyapunov Exponent to Second-Kind Predictability

In order to quantify the influence of external forcings on the predictability limit using observational data,the author introduced an algorithm of the conditional nonlinear local Lyapunov exponent(CNLLE)method.The effectiveness of this algorithm is validated and compared with the nonlinear local Lyapunov exponent(NLLE)and signal-to-noise ratio methods using a coupled Lorenz model.The results show that the CNLLE method is able to capture the slow error growth constrained by external forcings,therefore,it can quantify the predictability limit induced by the external forcings.On this basis,a preliminary attempt was made to apply this method to measure the influence of ENSO on the predictability limit for both atmospheric and oceanic variable fields.The spatial distribution of the predictability limit induced by ENSO is similar to that arising from the initial conditions calculated by the NLLE method.This similarity supports ENSO as the major predictable signal for weather and climate prediction.In addition,a ratio of predictability limit(RPL)calculated by the CNLLE method to that calculated by the NLLE method was proposed.The RPL larger than 1 indicates that the external forcings can significantly benefit the long-term predictability limit.For instance,ENSO can effectively extend the predictability limit arising from the initial conditions of sea surface temperature over the tropical Indian Ocean by approximately four months,as well as the predictability limit of sea level pressure over the eastern and western Pacific Ocean.Moreover,the impact of ENSO on the geopotential height predictability limit is primarily confined to the troposphere.

基于视频资源与WoBERT-AT-BiLSTM-CRF的命名实体识别方法

针对教育领域命名实体识别数据集的缺乏,提出利用视频资源构建相应的学科数据集。传统的语音识别模型存在词错率高、难以处理长时序列等情况,提出使用端到端的语音识别模型Whisper。对于实体识别存在误差积累、实体多样性等问题,提出一种以词为单位的WoBERT-AT-BiLSTM-CRF命名实体识别方法。数据集通过WoBERT预训练模型学习到拥有上下文语义信息的词向量,加入对抗训练生成对抗样本提高模型鲁棒性,再通过BiLSTM获得全面的文本表示,最后使用CRF利用序列标注之间的相关性来进一步优化命名实体识别结果。实验表明,WoBERT-AT-BiLSTM-CRF模型识别结果优于其他对比模型,该模型准确率、召回率、F1值分别为94.21%、94.39%、94.30%,说明该方法的可行性,并为教育领域构建命名实体提供了一种新的方案。