基于双向长短期记忆循环神经网络和条件随机场的钻井工况识别方法

传统钻井作业中,钻井工况主要通过基于机理模型与人工判断的方法进行识别,无法保证钻井工况识别的实时性与精准度。为此,采用近年来热门的人工智能算法,将井深与钻头位置的差、钻头位置、井深、大钩高度、大钩载荷、转速、钻压、扭矩、排量共9项钻井参数作为输入特征项,训练调优并建立了基于双向长短期记忆循环神经网络和条件随机场的钻井工况智能识别模型,对复合钻进、滑动钻进、上提开泵划眼、下放开泵划眼、静止、坐卡、原地循环等共计20种钻机动态进行实时智能识别,训练集、测试集的正确率分别为96.49%、97.23%。该模型的成功建立,验证了人工智能算法的优越性,为人工智能算法在钻井工程领域的后续应用提供了丰富经验。

基于BERT-BiLSTM-CRF模型的畜禽疫病文本分词研究

针对畜禽疫病文本语料匮乏、文本内包含大量疫病名称及短语等未登录词问题,提出了一种结合词典匹配的BERT-BiLSTM-CRF畜禽疫病文本分词模型。以羊疫病为研究对象,构建了常见疫病文本数据集,将其与通用语料PKU结合,利用BERT(Bidirectional encoder representation from transformers)预训练语言模型进行文本向量化表示;通过双向长短时记忆网络(Bidirectional long short-term memory network,BiLSTM)获取上下文语义特征;由条件随机场(Conditional random field,CRF)输出全局最优标签序列。基于此,在CRF层后加入畜禽疫病领域词典进行分词匹配修正,减少在分词过程中出现的疫病名称及短语等造成的歧义切分,进一步提高了分词准确率。实验结果表明,结合词典匹配的BERT-BiLSTM-CRF模型在羊常见疫病文本数据集上的F1值为96.38%,与jieba分词器、BiLSTM-Softmax模型、BiLSTM-CRF模型、未结合词典匹配的本文模型相比,分别提升11.01、10.62、8.3、0.72个百分点,验证了方法的有效性。与单一语料相比,通用语料PKU和羊常见疫病文本数据集结合的混合语料,能够同时对畜禽疫病专业术语及疫病文本中常用词进行准确切分,在通用语料及疫病文本数据集上F1值都达到95%以上,具有较好的模型泛化能力。该方法可用于畜禽疫病文本分词。

基于U-net-BiLSTM-CRF的心律失常多目标检测

由于卷积滤波尺寸等限制,U-net无法学习到心电(Electrocardiographic,ECG)信号的长时序关联性以及标签间的相关性。对此提出一种基于U-net-BiLSTM-CRF的心律失常多目标检测方法,可同时输出目标心拍所属类型和位置信息。使用U-net学习融合特征,再将其输入到双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)中学习长时序依赖特征,最后使用条件随机场(Conditional Random Field,CRF)对标签间的关系建模,优化分类结果。依据ANSI/AAMI EC57:2012的心搏分类标准,对MIT-BIH心律失常数据库中共85609个心拍记录进行划分,在划分后数据集上的实验结果表明,该方法对心拍分类的准确率达99.11%,特异性为99.76%,灵敏度为97.21%,优于传统U-net在MIT-BIH心律失常数据库上的分类性能。

一种用于关系抽取的双层时空图卷积神经网络

关系抽取是自然语言处理中一项基础的上游任务.句子的结构信息在某种意义上蕴含了实体及其关系信息,有助于提高关系抽取的准确率,然而使用现有自然语言处理(Natural Language Processing,NLP)语言工具进行句法分析时会引入一定的错误传播问题,且现有的基于图结构的关系抽取模型在一定程度上忽略了句子的时序信息.通过结合双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi LSTM)捕获句子序列的上下文关系,同时使用传统条件随机场(Conditional Random Field,CRF)的关系标注结果矫正NLP工具的错误传播问题,提出了一种用于关系抽取的双层时空图卷积神经网络(Bilayer Spatiotemporal Graph Convolution Neural Network,Bi SpGCN)模型.该模型在中文糖尿病数据集和中文人物关系数据集上的实验结果表明,相较于传统的多头注意力引导的图卷积神经网络(Attention Guided Graph Convolutional Networks for Relation Extraction,AGGCN)模型,BiSpGCN模型能够充分利用句子的有效信息,具有更好的关系抽取性能.

融合先验知识和字形特征的中文命名实体识别

针对命名实体识别(NER)任务中相关模型通常仅对字符及相关词汇进行建模,未充分利用汉字特有的字形结构信息和实体类型信息的问题,提出一种融合先验知识和字形特征的命名实体识别模型。首先,采用结合高斯注意力机制的Transformer对输入序列进行编码,并从中文维基百科中获取实体类型的中文释义,采用双向门控循环单元(BiGRU)编码实体类型信息作为先验知识,利用注意力机制将它与字符表示进行组合;其次,采用双向长短时记忆(BiLSTM)网络编码输入序列的远距离依赖关系,通过字形编码表获得繁体的仓颉码和简体的现代五笔码,采用卷积神经网络(CNN)提取字形特征表示,并根据不同权重组合繁体与简体字形特征,利用门控机制将它与经过BiLSTM编码后的字符表示进行组合;最后,使用条件随机场(CRF)解码,得到命名实体标注序列。在偏口语化的数据集Weibo、小型数据集Boson和大型数据集PeopleDaily上的实验结果表明,与基线模型MECT(Multi-metadata Embedding based Cross-Transformer)相比,所提模型的F1值别提高了2.47、1.20和0.98个百分点,验证了模型的有效性。

面向机加工艺规程文本的实体识别模型

为实现非结构化工艺规程文本中关键信息的高效识别,建立一种基于机加工领域词典和神经网络的命名实体识别模型.首先,结合机加工领域词典与jieba分词技术进行数据集的自动标注,并在对工艺参数信息进行标注的过程中将数字和标志字母划分为一个分词单位以增强后续特征提取效果;其次,在word2vec词嵌入的基础上,采用双向长短时记忆网络对文本进行特征提取;最后,采用条件随机场综合上下文逻辑以提高关键工艺信息的识别准确率.在包含431条工步内容的数据集上,对所提模型的识别效果进行实验,结果表明,所提模型的准确率、召回率和F1值分别为90.20%,93.88%和92.00%,在与领域内传统模型的对比上具有一定优势,并使用3个不同工艺规程数据集验证了该模型的鲁棒性.

基于ALBERT的中文简历命名实体识别

现有的电子简历实体识别方法准确率低,采用BERT预训练语言模型虽能取得较高的准确率,但BERT模型参数量过大,训练时间长,其实际应用场景受限,提出一种基于ALBERT的中文电子简历命名实体识别方法。通过轻量版ALBERT语言模型对输入文本进行词嵌入,获取动态词向量,解决一词多义的问题;使用BiLSTM获取上下文结构特征,深层次挖掘语义关系;将拼接后的向量输入到CRF层进行维特比解码,学习标签间约束关系,输出正确标签。实验结果表明,该方法在Resume电子简历数据集中取得了94.86%的F1值。

面向电子装备领域的标准数字化探索应用

针对数字化转型过程中传统纸质或影印标准文件难以满足标准知识的实时性、准确性、关联性、对比性以及快速响应的获取需求,结合典型电子装备领域行业标准文件,采用TF-IDF和余弦相似度计算方法对标准文本进行词频统计及关联性分析,构建电子装备领域词表;然后利用基于规则和BERT-BiLSTM-CRF模型完成了分层知识抽取,采用Neo4j图数据库构建了电子装备领域知识图谱;最后设计了电子装备领域知识图谱应用系统架构、功能模块以及应用原型系统界面,为电子装备领域标准数字化的应用提供了解决方案和思路.

基于双向编码器表示模型和注意力机制的食品安全命名实体识别

针对于目前传统的命名实体识别模型在食品案件纠纷裁判文书领域的准确率不足的问题,在双向长短时记忆网络的基础上提出一种基于双向编码器表示模型(bidirectional encoder representations from transformers, Bert)和注意力机制的命名实体识别模型。模型通过Bert层进行字向量预训练,根据上下文语意生成字向量,字向量序列输入双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)层和Attention层提取语义特征,再通过条件随机场(conditional random field, CRF)层预测并输出字的最优标签序列,最终得到食品案件纠纷裁判文书中的实体。实验表明,该模型在食品纠纷法律文书上面的准确率和F1值分别达到了92.56%和90.25%,准确率相较于目前应用最多的BiLSTM-CRF模型提升了6.76%。Bert-BiLSTM-Attention-CRF模型通过对字向量的预训练,充分结合上下文语意,能够有效克服传统命名实体识别模型丢失字的多义性的问题,提高了食品案件纠纷裁判文书领域命名实体识别的准确率。

基于BiLSTM-CRF的玻璃文物知识点抽取研究

在玻璃文物领域中,有大量的文物数据没有被充分研究并利用.提出基于字向量的BiLSTM-CRF模型与玻璃文物特征字典相结合的命名实体识别方法,首先基于玻璃文物特征字典BIO标注文本并构建玻璃文物语料库,接着使用BiLSTM训练语料库并输出结果,最后CRF层结合训练结果对实体进行筛选并分类,抽取出正确的实体.实验表明,该方法在玻璃文物语料库中准确率达到91.56%,召回率达到88.25%,综合评价指标达到89.87%.

基于方剂数据集的知识图谱构建研究

目的:构建基于方剂数据集的知识图谱,以系统性地展示方剂实体及其之间的关系。方法:首先建立方剂数据处理与知识图谱构建的规范化流程,获取方剂数据集,然后在4种常用命名实体识别模型中遴选最优模型进行实体抽取,最后利用Neo4j图数据库构建知识图谱。结果:最终遴选出基于Transformer的双向编码模型-双向长短期记忆网络-条件随机场(BERT-BiLSTM-CRF)模型,从数据集中抽取出症状、中西医病名、中医证候等医学实体,平均F1值达90.55%,形成了规范的方剂数据集并构建了方剂知识图谱。结论:利用本文方法抽取出的医学实体为中医药的临床实践和科学研究提供了系统性展示方剂实体及其之间关系的可靠数据基础。所建立的方剂知识图谱实现了中药方剂的知识检索,不仅有助于发现方剂数据中的潜在知识与内在关系,而且为中医药领域的信息整合和知识发现提供了坚实基础,推动中医药的现代化进程。

基于深度学习的消费者投诉信息提取仿真

投诉平台的投诉信息中包含了许多消费者对产品及服务问题的反馈,快速、完整且准确地从消费者投诉信息中识别出问题的类别,并提取相关实体,可以为商家及时提升服务、提高用户满意度提供有效辅助。以黑猫投诉平台中的投诉数据作为数据基础,采用pipeline的方法对实体-多标签进行抽取。构建了Bert-BiLstm模型,提取实体之间的多标签类型,同时建立了Bert-BiLstm-CRF模型对实体对进行抽取。实验结果表明,所提出的实体-多标签抽取模型具有较好的性能,与基准模型对比,F1-score评估指标提升了0.96%~3.22%。

基于BI＿LSTM＿CRF神经网络的序列标注中文分词方法

当前主流的中文分词方法是基于有监督的学习算法,该方法需要大量的人工标注语料,并且提取的局部特征存在稀疏等问题。针对上述问题,提出一种双向长短时记忆条件随机场(BI_LSTM_CRF)模型,可以自动学习文本特征,能对文本上下文依赖信息进行建模,同时CRF层考虑了句子字符前后的标签信息,对文本信息进行了推理。该分词模型不仅在MSRA,PKU,CTB 6.0数据集上取得了很好的分词结果,而且在新闻数据、微博数据、汽车论坛数据、餐饮点评数据上进行了实验,实验结果表明,BI_LSTM_CRF模型不仅在测试集上有很好的分词性能,同时在跨领域数据测试上也有很好的泛化能力。

基于BiLSTM-CRF的商情实体识别模型

结合语言模型条件随机场(CRF)和双向长短时记忆(BiLSTM)网络,构建一种BiLSTM-CRF模型,以提取商情文本序列中的招标人、招标代理以及招标编号3类实体信息。将规范化后的招标文本序列按字进行向量化,利用BiLSTM神经网络获取序列化文本的前向、后向文本特征,并通过CRF提取出双向本文特征中相应的实体。实验结果表明,与传统机器学习算法CRF相比,该模型3类实体的精确率、召回率和F1值平均提升15.21%、12.06%和13.70%。

结合注意力机制的Bi-LSTM-CRF中文电子病历命名实体识别

在中文电子病历命名实体识别任务中,为了消除传统命名实体识别方法高度依赖人工提取特征这一不足,设计了双向长短时记忆(Bi-LSTM)网络与条件随机场(CRF)结合的网络模型,并在联合网络的基础上添加注意力机制,从而优化实体识别准确率。首先,将中文电子病历数据集进行脱敏处理及序列标注等预处理;其次,结合词嵌入技术将电子病历文本序列进行词向量化表示,并利用Bi-LSTM网络模型构造包含前向和后向文本的语义特征;然后,将双向特征序列输入到注意力层,利用注意力机制对文本特征向量的语义编码分配不同的注意力权重,进一步强化当前信息与上下文信息之间潜在的语义关联性;最后,输入到CRF层中,由此提取出实体。实验结果表明,该注意力机制与Bi-LSTM-CRF模型融合的新方法能有效提高中文电子病历命名实体识别的准确率。

基于BiLSTM-CRF纪检监察事件命名实体识别

根据纪检监察领域的任务需求,构建了纪检监察事件语料库为数据集,使用BIOES序列标注方法标记该数据集的实体,并提出BiLSTM-CRF(双向长短期记忆网络-条件随机场)深度学习模型进行纪检监察事件的命名实体识别,该方法对事件中纪检监察机构,人名以及该嫌疑人所受处分名三类命名实体进行识别。采用BiLSTM,BiLSTM-CRF进行对比实验。实验结果显示,使用的方法对三类实体识别的P、R、F值分别为99.63%,99.63%,99.63%,验证了所提方法在纪检监察领域的有效性,证明本研究可以有效获取纪检监察事件中的重要实体信息。

基于注意力机制和BiLSTM-CRF的消极情绪意见目标抽取

基于方面情感分析(Aspect-Based Sentiment Analysis,ABSA)是自然语言处理的热门课题,其中意见目标抽取和意见目标情感极性分类是ABSA的基本子任务之一。而很少有研究直接抽取特定情感极性的意见目标,尤其是抽取更有潜在价值的消极情绪意见目标。文中提出了一种全新的ABSA子任务--抽取消极情绪意见目标(Negative-Emotion Opinion Target Extraction,NE-OTE),并提出了基于注意力机制和单词与字符混合嵌入的BiLSTM-CRF模型(Attention-based BiLSTM-CRF with Word Embedding and Character Embedding,AB-CE),在双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)学习文本语义信息和捕获长距离双向语义依赖关系的基础上,通过注意力机制使模型更好地关注输入序列中的关键部分和捕获与意见目标及其情感倾向相关的隐含特征,最终通过CRF层预测句子级别的全局最佳标签序列,实现对消极情绪意见目标的抽取。文中基于主流ABSA任务基准数据集构建了3个NE-OTE任务数据集,并在这些数据集上进行了广泛的实验,实验结果显示,所提模型能够有效识别消极情绪意见目标,且识别效果明显优于其他基线模型,验证了所提方法的有效性。

基于Bi-LSTM-CRF的中文电力实体识别

电力系统科学研究与生产实践的长期发展,积累了大量的非结构化和半结构化文本。对电力领域文本进行中文实体识别,是其进一步信息抽取的基础工作。为探索有效的电力实体识别方法,文中首先把电力实体分成十六种并对三类电力文本信息进行标注,进而采用双向长短时记忆网络和条件随机场的混合方法,对标注的电力文本进行了中文实体识别实验,并与隐马尔科夫法、独立的条件随机场法和独立的双向长短时记忆网络法进行对比。实验结果表明,文中采用的Bi-LSTM-CRF方法可以更加准确有效地识别文本中的电力实体。

基于置信度的Active-BiLSTM-CRF中文层级地址分词方法

中文层级地址分词是中文地址标准化的基础工作和地理编码的重要手段,同时也是中文分词和地理研究领域中关注的重点。高质量中文地址层级提取方法通常依赖于大量人工标注数据,而获取带标注的数据集耗时长,成本昂贵,不易实现。为解决上述问题,文中提出基于置信度的双向长短时记忆和条件随机场主动学习混合模型(Active-BiLSTM-CRF)来构建地址词库,创新性的基于CRF模型在样本上的置信度高效筛出需要标注的关键地址样本,利用BiLSTM记忆地址的上下文信息,通过CRF的转移概率矩阵控制地址标注输出的能力,循环标注并训练模型。最后基于某区县户籍地址数据验证了该方法在有限标注成本下的准确率及召回率,实验显示当标记数据占比在20%时,Active-BiLSTM-CRF模型准确率能达到97.71%,召回率能达到97.34%。

基于Bert-BiLSTM-CRF模型的电子病历隐私信息识别方法

随着电子病历数据开放共享的需求越来越大,电子病历去隐私性问题亟需解决。利用自然语言处理技术,提出一种基于Bert-BiLSTM-CRF模型的电子病历隐私信息识别方法。采用某三甲中医院的电子病历作为数据来源,结合当前公开的数据集进行训练,得到正确率为94.02%、召回率为94.25%、F1为93.98%的中医电子病历隐私信息识别模型。与其他传统模型进行对比实验表明,Bert-BiLSTM-CRF模型能有效识别并保护电子病历中的隐私数据,有助于医疗数据的开放共享。