基于改进Bi-LSTM-CRF的农业问答系统研究

针对农业领域问答系统面临的实体识别困难的问题,提出一种基于改进Bi-LSTM-CRF的实体识别方法。首先通过BERT预训练模型的预处理,生成基于上下文信息的词向量,然后将训练出的词向量输入Bi-LSTM-CRF做进一步的训练处理,最后,利用Python的Django框架设计农业领域的实体识别、实体查询、农知问答等子系统。经过试验对比,所提出的改进的Bi-LSTM-CRF在农业信息领域具有更好的实体识别能力,在农业信息语料库上的精确率、召回率和F1值分别为93.23%、91.08%和92.16%。实现农业领域实体识别和农业信息问答的知识图谱网站演示,对农业信息化的发展具有重要意义。

融合attention机制的BI-LSTM-CRF中文分词模型

中文的词语不同于英文单词,没有空格作为自然分界符,因此,为了使机器能够识别中文的词语需要进行分词操作。深度学习在中文分词任务上的研究与应用已经有了一些突破性成果,本文在已有工作的基础上,提出融合Bi-LSTM-CRF模型与attention机制的方法,并且引入去噪机制对字向量表示进行过滤,此外为改进单向LSTM对后文依赖性不足的缺点引入了贡献率?对BI-LSTM的输出权重矩阵进行调节,以提升分词效果。使用改进后的模型对一些公开数据集进行了实验。实验结果表明,改进的attention-BI-LSTM-CRF模型以及训练方法可以有效地解决中文自然语言处理中的分词、词性标注等问题,并较以前的模型有更优秀的性能。

基于BERT⁃BiLSTM⁃CRF的非法出入境笔录文本提取模型

为提高非法出入境笔录信息提取方面的命名实体识别能力,提出了一种融合语言模型的非法出入境笔录信息提取模型。该模型首先利用BERT模型对输入序列中的单词进行编码,得到每个单词的向量表示,然后将这些向量输入到BiLSTM网络中,利用LSTM网络对输入序列进行建模,学习输入序列中的上下文信息和语法结构等。最后,通过一个CRF层对BiLSTM网络的输出进行标注,从而得到最终的输出序列。实验结果表明,该模型能较好地应用于非法出入境笔录文本提取的任务。在与广西边防检查总站的合作项目里,最终将该模型应用于实际生产工作中,为边检警方的笔录提取工作提供便利。

基于Bi-LSTM+CRF模型和多规则集成的证件信息识别

证件信息识别是当前重要的人工智能应用领域,可以在金融服务和电商等多个场景提升经济活动效率和商业流程、办事流程的自动化水平。该文使用百度PaddlePaddle深度学习框架和基于双向LSTM+CRF+XGBoost模型的信息抽取与分类矫正方法,融合人工规则,在统一社会信用代码证书、民办非企业单位登记证书、事业单位法人证书等为代表的证件信息识别任务上取得了超越当前商业应用的效果。

一种基于景区评论的静态热词提取模型

热词提取对于景区的发展具有重要意义,目前热词提取方法仍存在分词效果不佳、训练模型耗费大等问题,文中提出一种基于景区评论的静态热词提取模型CRF+TBTT。该模型利用新型算法流程过滤非关键词,分析高频词和特色词,提取候选词,最后得到准确的静态热词。通过对59107条景区评论数据进行实验,结果表明,CRF+TBTT模型的性能均明显优于比较模型,对景区前20个热词提取准确率达到90%,说明该模型对静态热词提取的效果较好,有助于旅游部门对景区进行有效管理和规划。

LDA-CRF:一种基于概率图模型的目标检测方法

目标检测和识别是计算机视觉和机器学习的研究热点.近年来,主题模型(如LDA等)在无监督的图像识别和定位等应用中获得了巨大的成功.然而,LDA忽略了图像区域之间的空间关系,并且不能处理连续值的视觉特征或特征向量.而条件随机场(CRF)能够利用图像区域之间的局部相关性来提高分类准确性.基于LDA和CRF提出了一种LDA-CRF模型.通过利用LDA生成的主题信息来辅助CRF的分类,同时结合图像区域之间结构化的类别信息来改进LDA的主题生成机制.实验结果表明,LDA-CRF模型的检测效果要优于CRF.

基于SVM和CRF的双层模型中文机构名识别

提出了一种基于支持向量机(SVM)和条件随机场(CRF)的双层模型进行中文机构名识别的方法.第一层模型采用CRF识别简单机构名,并将识别结果传至第二层辅助下一步的识别;第二层采用基于驱动的方法,将SVM和CRF结合进行复杂机构名的识别;最后将两层的识别结果合并,并通过一个后续处理对置信度较低的识别结果进行修正.大规模真实语料的开放测试表明,精确率达到94.83%,召回率达到95.02%,证明了该方法的有效性.

CRF模型中参数f在字标注汉语分词中的适用性研究

汉语分词作为中文信息处理的首要环节,其精确度对后续步骤的准确度和处理速度成逐级放大性影响.如何提高分词的准确度和处理速度成为近年研究的重点.采用条件随机场模型进行汉语分词,通过定量分析CRF工具包训练参数f,研究减少特征对分词准确度以及模型大小的影响程度,实验分别在国际汉语分词评测Bakeoff2005提供的北京大学和微软亚洲研究院两个语料上进行封闭测试,并对比采用不同模板时增加f参数值对分词性能的影响,最终得出实验结果:随着f参数值的增加,分词的准确度和生成的模型大小成正比,且F值减小的程度相对训练生成模型大小的减小程度要小得多.

基于CRF模型的短文本信息流话题提取

为更有效地在中文短文本信息流中进行话题提取,给出了一种基于CRF模型的话题提取方法。根据短文本信息流的特点,定义了短文本信息流中关键词语相似度。充分利用上下文信息对特征信息进行全局归一化的处理,进一步得到全局的最优值。在真实的短信文本信息集上将此方法与决策树方法进行比较,取得了较明显的优势。

基于CRF模型的高分辨率遥感影像变化检测

针对传统高分辨率遥感影像变化检测方法大多直接利用光谱信息进行计算,导致检测精度不高的缺陷,提出了一种基于条件随机场模型(CRF)的高分辨率遥感影像变化检测方法。该方法利用CRF模型融合差值影像的光谱项和空间项,在融合过程中,引入EM迭代策略不断更新影像检测结果,提高变化检测精度。试验结果表明,本文方法的分类精度好于传统方法,并且稳定性良好。

基于CRF模型和标签代价的群组多目标跟踪算法

目标身份切换现象在目前的视频多目标跟踪算法中普遍存在,特别是在遮挡严重的场景中.针对这一问题,提出一种结合了CRF(condition random field)模型和标签代价函数的多目标跟踪算法.该算法将多目标跟踪问题转化为求解统一能量函数的最小解问题;同时,将目标的群组状态融合到跟踪器中,减少了目标发生身份切换的概率,提高了算法的鲁棒性.在多个公共数据集中对该算法进行仿真,实验结果显示,在多个性能指标特别是目标发生身份切换次数指标中,该算法优于目前主流的跟踪算法.

结合Bi-LSTM和注意力模型的问答系统研究

针对传统的问答系统普遍存在回答准确率不高、语义识别能力差等问题,提出一种结合双向长短时记忆网络(Bi-LSTM)和注意力(Attention)模型的问答系统。利用生成的句向量,学习句子中的语义特征以及问答之间的匹配关系,获取上下文信息;融合注意力模型,能够找到对话的主题信息,从而为用户做出精准的回答。实验结果表明,该系统的回答准确率高于其他模型,可达到80.76%。

基于Bi-LSTM模型的时间序列遥感作物分类研究

【目的】及时、准确地作物分类制图是农情监测的重要依据。本研究基于双向长短期记忆网络模型探究深度学习技术在时间序列遥感作物分类与早期识别中的应用潜力。【方法】本文以黄河三角洲地区为例,以哨兵2号全年可用卫星影像为数据源,构建年时间序列NDVI数据集;采用循环神经网络构架,搭建针对结构化时序数据的双向长短期记忆网络模型(bidirectional long short-term memory,Bi-LSTM),开展遥感作物分类,并评估模型的泛化能力;通过输入不同长度时间序列遥感数据,探究满足一定制图精度条件下的作物最早可识别时间。【结果】作物年生长时序特征对于大多数作物遥感分类识别都具有较好的区分能力,基于年时间序列NDVI数据的Bi-LSTM模型作物分类总体准确率达90.9%,Kappa系数达到0.892。通过测试不同时间序列长度对作物分类的影响发现,对大多数作物来说,其分类精度随着数据时间序列长度增加而不断提高,冬小麦、水稻等作物在生长季早期即具有较为独特的分类特征,因而利用生长季早期的时间序列影像即可获得较高的制图精度,而棉花、春玉米等作物需要完整生长序列影像才能更好地保证分类精度。【结论】卫星影像时间序列蕴含的结构化特征信息可以有效地降低特定时段的作物光谱混淆;双向循环神经网络模型能够同时考虑前向和后向的时间状态信息,可以学习作物不同阶段的光谱变化特征,在水稻、棉花、春玉米等易混淆作物的识别上表现优异;模型能够有效地把握样本总体上的变化趋势,在农作物多分类任务中表现出较好的泛化能力和鲁棒性。本研究通过集成深度学习和遥感时间序列,为及时、快速的区域作物高精度制图提供了可行的思路。

地耳草总黄酮对5/6肾切除大鼠CRF模型肾纤维化相关因子影响研究

目的:研究地耳草总黄酮(MSN)对大鼠CRF模型肾纤维化中结缔组织生长因子CTGF、白细胞介素IL-6和纤维粘连蛋白FN表达的影响,探讨其抗纤维化作用机理。方法:采用ELISA法检测5/6肾切除大鼠CRF模型血清中CTGF和IL-6的含量,采用免疫组化法检测FN的含量。结果:MSN低、中、高各剂量组CTGF、IL-6和FN含量远低于模型组,具有明显统计学差异。结论:MSN能有效降低5/6肾切除大鼠CRF模型纤维化因子CTGF、IL-6及FN含量,干预CRF模型残余肾组织纤维化,延缓慢性肾衰。

融合深度学习模型和上下文特征的健康话题短文本分类

公众社交媒体中,健康话题短文本存在特征维度稀疏、语义模糊、数据规模大等特点,导致其文本特征难以提取。对此,提出一种融合ERNIE和Bi-LSTM的融合模型ERNIE-Bi-LSTM,通过渐进式学习方法和双向注意力机制,提升健康话题短文本的分类效果。以微博、知乎、今日头条等7个社交媒体的热榜数据为实验对象,使用ERNIE模型完成预训练,利用BiLSTM双向注意力机制提取短文本词向量的特征,最终将获取的特征向量进行融合,并通过全连接层和Softmax分类器,获得短文本分类结果。实验结果表明,在真实社交媒体健康话题数据中,ERNIE-Bi-LSTM较ERNIE、Bert等4种文本分类模型具有较好的分类准确性,有效解决了健康话题短文本的分类问题。

基于Co-training训练CRF模型的评价对象识别

评价对象是指某段评论中评价词语所修饰的对象或对象的属性。为了识别评论中的评价对象,提出基于Co-training的训练CRF模型方法。该方法首先人工标注少量的原始数据集,使用Co-training方式对未标注数据进行自动识别,以扩大已标注训练数据。通过原始标注数据集和Co-training方式标注数据集,训练CRF模型。在汽车领域中,对待标注汽车评论语料中评价对象识别的精确率为67.483%,召回率为67.832%。

基于BERT-CRF模型的中文事件检测方法研究

事件抽取是自然语言处理中信息抽取的关键任务之一。事件检测是事件抽取的第一步,事件检测的目标是识别事件中的触发词并为其分类。现有的中文事件检测存在由于分词造成的误差传递,导致触发词提取不准确。将中文事件检测看作序列标注任务,提出一种基于预训练模型与条件随机场相结合的事件检测模型,采用BIO标注方法对数据进行标注,将训练数据通过预训练模型BERT得到基于远距离的动态字向量的触发词特征,通过条件随机场CRF对触发词进行分类。在ACE2005中文数据集上的实验表明,提出的中文事件检测模型与现有模型相比,准确率、召回率与F1值都有提升。

基于CRF模型的临床医嘱信息实体识别方法应用研究

将命名实体识别技术运用于临床业务系统中,实现对临床医嘱的实体识别,提高临床医疗的工作效率。以上海市胸科医院为研究背景,提出嵌入于临床业务信息系统的临床医嘱实体识别方法。基于历年医嘱数据建立专项语料词库,运用CRF模型进行实时实体识别。随着识别系统上线使用,共处理了8362条医嘱,实验结果表明其准确率较好,在信息支撑度方面提升了医护人员的满意度。医嘱实体识别技术能够有效提高执行效率和医疗质量,也为医疗领域的知识挖掘工作提供了参考依据。

基于ResUNet和Dense CRF模型的地震裂缝识别方法

针对人工解释地震资料耗时长、效率低、受主观因素影响较大的不足,提出了一种基于ResUNet和全连接条件随机场(dense conditional random field, Dense CRF)模型的裂缝识别方法。该方法首先使用ResUNet模型提取地震振幅数据体中裂缝的不同分辨率的特征,实现地震裂缝识别;然后利用Dense CRF模型进一步优化识别结果,从而实现地震裂缝的精准识别。将该方法与传统UNet、ResUNet模型在合成地震振幅数据体和F3工区地震数据体进行了实验比较,结果表明运用所提方法识别的裂缝更准确、裂缝尺寸更细、连续性更好。

采用BERT-BiLSTM-CRF模型的中文位置语义解析

针对利用当前神经网络模型进行中文位置语义解析存在多义词解析效果差、泛化能力差等问题,提出一种基于BERT-BiLSTM-CRF模型的中文位置语义解析方法。首先利用BERT预训练模型对中文位置信息进行预训练,获取所有层中的上下文信息,增强中文位置信息的语义表征能力,然后通过BiLSTM模型提取向量特征信息,最后通过CRF模型进行解码,获取全局最优标注序列。实验结果表明,在不同数量和区域的中文位置信息数据集基础上,BERT-BiLSTM-CRF模型在所有测试集上分词准确率与F1值都优于目前常用的神经网络模型,最高分别可达到93.91%和93.96%。利用BERT-BiLSTM-CRF模型对中文位置信息进行语义解析,不仅有效提高了中文位置信息解析与多义词解析的准确率,而且具有更好的泛化能力。