基于条件随机场挖掘文本史料中事件信息的方法与实证研究——以《拉贝日记》数字人文研究为例

文本史料被广泛数字化,如何从文本中提取地理命名实体及相关信息,有效开展地理信息挖掘成为重要研究课题。本文针对历史档案文档的特点,提出一种以地理命名实体为核心,使语义信息与地理位置关联,将文本描述的事件信息转化为各个地理命名实体的属性数据的事件抽取理念,提取出有关时间、地点、人物、事物、事件、现象等与地理命名实体相关的事件要素。研究以《拉贝日记》中收录的《日本士兵在南京安全区的暴行》档案为实证案例,采用条件随机场方法,抽取事件信息,结合历史地图等相关资料,将地理信息最终映射到地图上。本文方法有助于拓展文本资料在数字信息时代的开发利用方式,开辟文本挖掘分析与知识发现的新思路。

基于条件随机场和斯塔克尔伯格模型的决策系统研究

文章依托驾驶模拟器平台,对CarSim、Simulink和VeriStand等软件进行设置,搭建硬件在环仿真平台,使用头部姿态估计网络算法检测头部姿态,采集试验数据。建立基于条件随机场的驾驶意图在线识别系统,对左换道、右换道和车道保持3种驾驶意图进行识别,与隐马尔可夫模型对比,证明该系统能够稳定输出驾驶员的驾驶意图。建立基于斯塔克尔伯格博弈模型的人机共驾决策系统,设立仿真试验场景,验证基于驾驶意图识别的人机共驾决策系统的有效性。

自适应特征融合和条件随机场的乳腺病理图像诊断算法

肿瘤病理学分析是常见的癌症诊断方法之一。基于深度学习的病理检测方法取得了良好性能,然而针对组织切片的处理方法往往会忽略病理组织空间相关性,为了更加准确地获取乳腺癌分类结果和恶性肿瘤位置信息,提出嵌入自适应特征融合模块和均值条件随机场的Transformer框架,利用反向传播算法端到端地训练整个框架。自适应特征融合模块采用可学习参数将改进的自注意力和多感受野卷积模块自适应结合,获取多尺度语义特征,从全局和局部的角度增强模型特征提取能力;提出均值条件随机场与主干网络结合,整合组织切片间的空间相关性,获取病理组织间的形态学信息。实验结果表明:所提方法在切片级图像上准确率高达95.51%,在全切片扫描图像的AUC、FROC分别为0.974 5、0.810 2,有较好的可行性,提高了病理图像分类临床诊断准确率。

基于Voronoi图与条件随机场的自然场景文本检测方法

在自然场景中准确有效地检测文本是一项艰巨的任务,故提出一种基于条件随机场(CRF)框架的场景文本检测方法。通过利用贝叶斯推断估计文本极大值区域的置信度作为一元成本项,通过使用维诺图(Voronoi图)来构建CRF空间邻域信息,从而构建图模型,通过最大流算法最小化成本函数区分文本与非文本标记;利用字符的几何特性通过聚类方法聚合成行。实验结果表明,该算法比传统基于最大稳定极值区域(MSER)算法性能有所提高,自然场景文本检测正确率能达到87%。

基于规则+词典+条件随机场的中医医案实体识别研究

目的:针对中医医案中实体具有边界不清晰、类别易混淆等难点,提出了基于规则、词典、条件随机场相结合的实体识别模型。方法:构建中医术语词典,分析医案文本规则,构建特征函数,使用jieba工具对中医医案进行分词,人工标注医案中的5类实体作为训练集和验证集,实现基于条件随机场的医案实体识别研究;最后采用准确率、召回率、F1值对模型进行评价,以探究词典、不同实体类别、文本特征对实体识别结果的影响。结果:模型F1值达到了83.5%,实现了较好的识别效果;词典的加入对实体识别有着显著的促进作用;上下文特征对于模型识别效果影响最大;不同类别的实体识别结果差异较大,其中“方药”的识别效果最好,其次是“治法”和“体征”,“证型”与“症状”的识别效果最差。结论:本研究提供了一个有效的实体识别模型,这种方法能够极大地提高中医医案实体识别的准确度,也为未来的研究提供了有价值的参考。

基于层叠条件随机场的中文病历命名实体识别

提出了一种基于层叠条件随机场的中文病历命名实体识别新方法,该方法在第一层条件随机场模型中实现对病历中身体基本部位或组织和基本疾病名称的识别,将识别结果传递到第二层条件随机场模型(Conditional Random Field,CRF),同时定义一个由词性和实体特征结合而成的组合特征,与字符特征、词边界特征及上下文特征共同作为第二层CRF模型的特征集,为疾病名称和临床症状两类命名实体的识别提供决策支持。在利用CRF++进行的开放测试中,本文模型相比于无自定义组合特征的层叠CRF模型,F值提高了3%;相比于单层CRF模型,F值提高了7%,总体性能有显著提高。

基于层叠条件随机场模型的中文机构名自动识别

中文机构名的自动识别是自然语言处理中的一个比较困难的问题.本文提出了一种新的基于层叠条件随机场模型的中文机构名自动识别算法.该算法在低层条件随机场模型中解决对人名、地名等简单命名实体的识别,将识别结果传递到高层模型,为高层的机构名条件随机场模型实现对复杂机构名的识别提供决策支持.文中为机构名条件随机场模型设计了有效的特征模板和特征自动选择算法.对大规模真实语料的开放测试中,召回率达到90.05%,准确率达到88.12%,性能优于其它中文机构名识别算法.

基于条件随机场(CRFs)的中文词性标注方法

本文提出一种基于CRFs模型的中文词性标注方法。该方法利用CRFs模型能够添加任意特征的优点,在使用词的上下文信息的同时,针对兼类词和未登录词添加了新的统计特征。在《人民日报》1月份语料库上进行的封闭测试和开放测试中,该方法的标注准确率分别为98.56%和96.60%。

基于多层条件随机场的中文命名实体识别

命名实体识别属于自然语言处理的基础研究领域,是信息抽取、信息检索、机器翻译、组块分析、问答系统等多种自然语言处理技术的重要基础。主要研究中文命名实体中对复杂地名和复杂机构名的识别,提出一种基于多层条件随机场的命名实体识别的方法。对大规模真实语料进行开放测试,两项识别的召回率、准确率和F值分别达到91.95%、89.99%、90.50%和90.07%、88.72%、89.39%。

基于条件随机场的中医命名实体识别

中医医案蕴藏着丰富的知识,如何完成对海量医案的自动标注以便对其进行知识挖掘显得尤为重要.针对明清古医案中症状、病机的自动识别标注问题,采用了基于条件随机场(CRF)的方法,提出数据清洗以及缩减合并词性以减少特征空间规模.最后,通过仿真实验将该方法与最大熵、支持向量机这两种统计方法进行对比.结果表明:该方法在针对明清古医案中症状、病机这类中医命名实体识别具有明显的优势.

基于条件随机场的汽车领域术语抽取

中文领域术语抽取是中文信息处理领域的一项重要研究任务,在词典构建、领域本体构造等方面有重要的应用.采用条件随机场(conditional random fields,CRFs),从汽车知识网站上爬取网页,预处理后得到纯文本,然后分析汽车领域的术语组成特点并制定相应的语料标注规则进行人工标注,对汽车领域进行了术语抽取.在使用词和词性特征的基础上增加了词典特征、领域词频和背景领域词频等特征,精确率、召回率和F-值分别达到84.61%、80.50%和82.50%.与其他方法比较说明所提出的汽车领域术语抽取方法是有效的.

基于条件随机场的中医临床病历命名实体抽取

中医临床病历是中医重要的科研数据资源,但目前临床病历仍以文本为主要表达形式,对病历数据深入分析的前提是进行结构化信息抽取,而命名实体抽取是其基础性步骤。针对中医临床病历的命名实体,如症状、疾病和诱因等的抽取问题,通过手工标注的413份病历数据(以中文字为特征)与4类特征模版,将条件随机场(CRF)、隐马尔科夫模型(HMM)和最大熵马尔科夫模型(MEMM)用于中医病历命名实体抽取的实验,并进行比较分析。结果表明,结合合适的特征模版,CRF命名实体抽取方法取得了较好的性能,F1值的症状达到0.80,疾病名称达到0.74,诱因0.74。与HMM和MEMM相比,CRF有最高的准确率和召回率,是一种较为适用的中医临床病历命名实体抽取方法。

基于条件随机场的领域术语识别研究

领域术语是各个领域的核心词汇,在研究了大量领域文献的基础上,提出了一种识别领域术语的方法。该方法以现有成熟工具为依托,使用条件随机场模型统计领域术语的词性组合概率。在选定特征集后,通过调整特征和窗口的组合,制定一个最优特征模板,同时通过10倍交叉验证法确定模型训练参数。实验结果表明,通过条件随机场模型分析领域术语的词性组合概率能够有效地识别领域术语。

基于条件随机场的藏语自动分词方法研究与实现

藏语自动分词是藏语信息处理的基础性关键问题,而紧缩词识别是藏语分词中的重点和难点。目前公开的紧缩词识别方法都是基于规则的方法,需要词库支持。该文提出了一种基于条件随机场的紧缩词识别方法,并在此基础上实现了基于条件随机场的藏语自动分词系统。实验结果表明,基于条件随机场的紧缩词识别方法快速、有效,而且可以方便地与分词模块相结合,显著提高了藏语分词的效果。

基于条件随机场的DDoS攻击检测方法

近年来,基于机器学习算法的分布式拒绝服务(distributed denial-of-service,简称DDoS)攻击检测技术已取得了很大的进展,但仍存在一些不足:(1)不能充分利用蕴涵于标记和特征观测序列中的上下文信息;(2)对多特征的概率分布存在过强的假设.条件随机场模型具有融合利用上下文信息和多特征的能力,将其应用于DDoS检测,能够有效地弥补上述不足.提出了一种基于条件随机场的DDoS攻击检测方法:首先,定义流特征条件熵(traffic feature conditional entropy,简称TFCE)、行为轮廓偏离度(behavior profile deviate degree,简称BPDD)两组统计量,对TCPflood,UDP flood,ICMP flood这3类攻击的特点进行描述;然后以此为基础,使用条件随机场,通过对其有效训练,分别为3类攻击建立分类模型;最后,通过对模型的有效训练,应用模型推断来完成对DDoS攻击的检测.实验结果表明,该方法能够充分发挥条件随机场模型的优势,准确区分正常流量和攻击流量,与同类方法相比,具有更好的抗背景流量干扰的能力.

基于条件随机场的农作物病虫害及农药命名实体识别

互联网农技问答平台现仅依靠人工提供答题服务,响应速度慢,回答质量难以保证。实现智能农技问题解答,构建农技知识库,需要从现有问答数据提取"农作物-病虫害-农药"命名实体三元组。现有对农业中文命名实体识别的研究较少,且准确率较低。根据农作物、病虫害及农药命名实体的特点,针对农技问答数据,提出基于条件随机场的农作物、病虫害及农药命名实体的识别方法。对数据集进行格式整理及自动分词,并对分词后的语料,针对是否包含特定界定词、是否含特定偏旁部首、是否是数量词、是否是特定左右指界词及词性等特征进行自动标注。利用标注后的数据训练CRF模型,可以对语料进行分类,包括判断语料是否属于农作物、病虫害、农药3类命名实体并识别该语料在复合命名实体中的位置,从而实现了对3类命名实体的识别,由此可自动构建关联三元组。通过试验选择特征组合和调整上下文窗口大小,提高了本方法的识别准确度,降低了模型训练时间,对农作物、病虫害、农药命名实体识别的准确度分别达97.72%、87.63%、98.05%,比现有方法有显著提高。

基于词向量和条件随机场的领域术语识别方法

针对基于统计特征的领域术语识别方法忽略了术语的语义和领域特性,从而影响识别结果这一问题,提出一种基于词向量和条件随机场(CRF)的领域术语识别方法。该方法利用词向量具有较强的语义表达能力、词语与领域术语之间的相似度具有较强的领域表达能力这一特点,在统计特征的基础上,增加了词语的词向量与领域术语的词向量之间的相似度特征,构成基于词向量的特征向量,并采用CRF方法综合这些特征实现了领域术语识别。最后在领域语料库和Sogou CA语料库上进行实验,识别结果的准确率、召回率和F测度分别达到了0.985 5、0.943 9和0.964 3,表明所提的领域术语识别方法取得了较好的效果。

最大熵和条件随机场模型相融合的藏文人名识别

藏文人名识别是藏文信息处理领域研究的难点之一,其识别效果直接影响到藏文自动分词的精度和相关应用系统的性能,包括藏汉翻译、藏文信息检索、文本分类等。该文在分析藏文人名构成规律和特点的基础上,提出了一种最大熵和条件随机场相融合的藏文人名识别方法。实验表明,该方法可以获取较好的识别效果,在我们的测试集上F-测度值到达了93.08%。

基于条件随机场的蒙古语词性标注方法

为了保留蒙古语词缀中大量的语法、语义信息和缩小蒙古语词典的规模,蒙古语词性标注需要对词干和词缀都进行词性标注。针对这一问题提出了一种基于条件随机场(CRF)的蒙古语词性标注方法。该方法利用CRF模型能够添加任意特征的特点,充分使用蒙文上下文信息,针对词素之间的相互影响添加了新的统计特征,并在3.8万句的蒙古语词性标注语料上进行了封闭测试,该方法的标注准确率达到了96.65%,优于使用隐马尔可夫模型(HMM)的词性标注模型。

基于SVM和扩展条件随机场的Web实体活动抽取

在传统信息抽取的基础上,研究Web实体活动抽取,基于格语法对实体活动进行了形式化定义,并提出一种基于SVM(supported vector machine)和扩展条件随机场的Web实体活动抽取方法,能够从Web上准确地抽取实体的活动信息.首先,为了避免人工标注训练数据的繁重工作,提出一种基于启发式规则的训练数据生成算法,将语义角色标注的训练数据集转化为适合Web实体活动抽取的训练数据集,分别训练支持向量机分类器和扩展条件随机场.在抽取过程中,通过分类器获得包含实体活动的语句,然后利用扩展条件随机场对传统条件随机场中不能利用的标签频率特征和关系特征建模,标注自然语句中的待抽取信息,提高标注的准确率.通过多领域的实验,其结果表明,所提出的抽取方法能够较好地适用于Web实体活动抽取.