基于条件随机场挖掘文本史料中事件信息的方法与实证研究——以《拉贝日记》数字人文研究为例

文本史料被广泛数字化,如何从文本中提取地理命名实体及相关信息,有效开展地理信息挖掘成为重要研究课题。本文针对历史档案文档的特点,提出一种以地理命名实体为核心,使语义信息与地理位置关联,将文本描述的事件信息转化为各个地理命名实体的属性数据的事件抽取理念,提取出有关时间、地点、人物、事物、事件、现象等与地理命名实体相关的事件要素。研究以《拉贝日记》中收录的《日本士兵在南京安全区的暴行》档案为实证案例,采用条件随机场方法,抽取事件信息,结合历史地图等相关资料,将地理信息最终映射到地图上。本文方法有助于拓展文本资料在数字信息时代的开发利用方式,开辟文本挖掘分析与知识发现的新思路。

n值R_(0)命题逻辑系统中公式的条件随机真度

基于条件概率的思想和赋值集的随机化方法,在n值R_(0)命题系统中提出公式的条件随机真度,证明条件随机真度的MP规则和HS规则。其次,引入公式间的条件随机相似度和条件随机伪距离,建立条件随机逻辑度量空间,进一步给出在条件Γ下的近似推理理论。

基于随机森林算法的山东省区域臭氧污染事件中气象条件和排放贡献影响研究

山东省作为我国东部的工业大省,近年在经济快速发展的同时也面临着严重的臭氧(O_(3))污染;在不利气象条件的影响下,发生过多次影响范围大、持续时间长的O_(3)污染事件.因此,如何基于地面观测数据剥离气象条件及排放的影响,成为O_(3)污染防控政策评估和政策制定中的重要问题.为此,本研究基于2020−2022年山东省地面国控监测站点O_(3)浓度逐时观测数据及对应气象数据,运用随机森林模型对气象条件和排放的贡献进行了剥离;基于沙普利加和模型,定量分析了各气象因子对O_(3)污染的影响;此外,研究中定义了区域O_(3)污染事件,并对事件期间气象条件及排放的影响进行了深入的对比分析.结果表明:2020−2022年山东省3个亚区域O_(3)前体物排放影响呈逐年上升趋势,年变化速率分别为3.3%(鲁西)、7.8%(鲁中)和4.4%(鲁东),2020年和2021年气象条件有利于高浓度O_(3)的消减,导致O_(3)年均浓度下降2.27~8.26μg/m^(3),属于“天帮忙”;而2022年气象条件相对不利,气象条件贡献了O_(3)年均浓度的5.16~10.69μg/m^(3).排放对O_(3)浓度的相对贡献在24个O_(3)区域污染期间与非污染期间较为一致,不利的气象条件是O_(3)污染形成的主要诱因.在各气象因子中,温度和相对湿度是影响O_(3)浓度最主要的气象因素,其中温度的影响最为显著,对O_(3)小时浓度的贡献为33.36~89.61μg/m^(3).研究显示,2020−2022年山东省O_(3)前体物排放贡献的年际变化差异不显著,不利气象条件则是造成O_(3)污染的重要因素,后续应更加重视在高温低湿条件下的O_(3)污染防控工作.

基于条件随机场和斯塔克尔伯格模型的决策系统研究

文章依托驾驶模拟器平台,对CarSim、Simulink和VeriStand等软件进行设置,搭建硬件在环仿真平台,使用头部姿态估计网络算法检测头部姿态,采集试验数据。建立基于条件随机场的驾驶意图在线识别系统,对左换道、右换道和车道保持3种驾驶意图进行识别,与隐马尔可夫模型对比,证明该系统能够稳定输出驾驶员的驾驶意图。建立基于斯塔克尔伯格博弈模型的人机共驾决策系统,设立仿真试验场景,验证基于驾驶意图识别的人机共驾决策系统的有效性。

Vasicek随机利率模型下基于条件矩匹配的算术平均亚式期权定价

在Vasicek随机利率模型下,本文引入了基于条件矩匹配的近似方法对算术平均型的亚式期权进行定价.该方法的基本原理是运用条件矩匹配找到伽马分布或者对数正态分布去近似在给定到期日标的资产价格的条件下的标的资产的积分的分布函数.为了在带有Vasicek随机利率的二维随机模型下运用分层近似方法,需要运用测度变换技巧去分离在期权价格公式中关于期权在到期日支付函数折现期望中的随机利率和标的资产函数,从而使得可将近似分布用于替换标的资产的积分的分布.基于用蒙特卡洛模拟得到的亚式期权的基准价格,我们通过几个数值例子测试本文提出的分层近似方法的有效性和稳健性.本文发现,分层近似方法与蒙特卡洛方法相比能极大地提高了亚式期权价格的计算速度,同时也保证了定价的准确性,并且用对数正态分布近似比用伽马分布的准确度更高.

基于随机支付卡条件价值法视角的长沙市和石家庄市居民大气环境质量改善支付意愿及影响因素

基于随机价值理论,以湖南省长沙市和河北省石家庄市为例,采用随机支付卡价值诱导技术,实证分析了居民对大气环境质量改善的支付意愿及影响因素,旨在为条件价值法改进及大气环境治理政策成本−效益分析提供依据。结果表明:①2市居民在支付意愿选择态度上存在显著差异,石家庄市居民持积极态度的占比高于长沙市,这与个人对环境治理的角色定位、支付能力及机构信任紧密相关。②石家庄市居民的平均支付意愿显著高于长沙市,长沙市居民支付意愿均值的样本平均数为97.87元/月,标准差为128.69,石家庄市分别为108.24元/月和142.64。③影响居民支付意愿最主要的微观因素是受教育程度,其次是对政府的信任度、收入水平、风险偏好、对政府的满意度评价及预期收入变化,最主要的宏观因素是居住城市和区域,其次是人均地区生产总值。

自适应特征融合和条件随机场的乳腺病理图像诊断算法

肿瘤病理学分析是常见的癌症诊断方法之一。基于深度学习的病理检测方法取得了良好性能,然而针对组织切片的处理方法往往会忽略病理组织空间相关性,为了更加准确地获取乳腺癌分类结果和恶性肿瘤位置信息,提出嵌入自适应特征融合模块和均值条件随机场的Transformer框架,利用反向传播算法端到端地训练整个框架。自适应特征融合模块采用可学习参数将改进的自注意力和多感受野卷积模块自适应结合,获取多尺度语义特征,从全局和局部的角度增强模型特征提取能力;提出均值条件随机场与主干网络结合,整合组织切片间的空间相关性,获取病理组织间的形态学信息。实验结果表明:所提方法在切片级图像上准确率高达95.51%,在全切片扫描图像的AUC、FROC分别为0.974 5、0.810 2,有较好的可行性,提高了病理图像分类临床诊断准确率。

基于Voronoi图与条件随机场的自然场景文本检测方法

在自然场景中准确有效地检测文本是一项艰巨的任务,故提出一种基于条件随机场(CRF)框架的场景文本检测方法。通过利用贝叶斯推断估计文本极大值区域的置信度作为一元成本项,通过使用维诺图(Voronoi图)来构建CRF空间邻域信息,从而构建图模型,通过最大流算法最小化成本函数区分文本与非文本标记;利用字符的几何特性通过聚类方法聚合成行。实验结果表明,该算法比传统基于最大稳定极值区域(MSER)算法性能有所提高,自然场景文本检测正确率能达到87%。

带Navier边界条件的广义随机Navier-Stokes方程解的适定性

对于有界区域二维随机Navier-Stokes方程(有界区域的边界条件为Navier滑移边界条件),给出了该方程弱解在L^(2)和L^(4)中的先验估计,证明了非线性项的单调性,并利用经典的Minty-Browder方法证明了方程随机弱解的整体存在性和唯一性.

基于规则+词典+条件随机场的中医医案实体识别研究

目的:针对中医医案中实体具有边界不清晰、类别易混淆等难点,提出了基于规则、词典、条件随机场相结合的实体识别模型。方法:构建中医术语词典,分析医案文本规则,构建特征函数,使用jieba工具对中医医案进行分词,人工标注医案中的5类实体作为训练集和验证集,实现基于条件随机场的医案实体识别研究;最后采用准确率、召回率、F1值对模型进行评价,以探究词典、不同实体类别、文本特征对实体识别结果的影响。结果:模型F1值达到了83.5%,实现了较好的识别效果;词典的加入对实体识别有着显著的促进作用;上下文特征对于模型识别效果影响最大;不同类别的实体识别结果差异较大,其中“方药”的识别效果最好,其次是“治法”和“体征”,“证型”与“症状”的识别效果最差。结论:本研究提供了一个有效的实体识别模型,这种方法能够极大地提高中医医案实体识别的准确度,也为未来的研究提供了有价值的参考。

基于层叠条件随机场的中文病历命名实体识别

提出了一种基于层叠条件随机场的中文病历命名实体识别新方法,该方法在第一层条件随机场模型中实现对病历中身体基本部位或组织和基本疾病名称的识别,将识别结果传递到第二层条件随机场模型(Conditional Random Field,CRF),同时定义一个由词性和实体特征结合而成的组合特征,与字符特征、词边界特征及上下文特征共同作为第二层CRF模型的特征集,为疾病名称和临床症状两类命名实体的识别提供决策支持。在利用CRF++进行的开放测试中,本文模型相比于无自定义组合特征的层叠CRF模型,F值提高了3%;相比于单层CRF模型,F值提高了7%,总体性能有显著提高。

基于层叠条件随机场模型的中文机构名自动识别

中文机构名的自动识别是自然语言处理中的一个比较困难的问题.本文提出了一种新的基于层叠条件随机场模型的中文机构名自动识别算法.该算法在低层条件随机场模型中解决对人名、地名等简单命名实体的识别,将识别结果传递到高层模型,为高层的机构名条件随机场模型实现对复杂机构名的识别提供决策支持.文中为机构名条件随机场模型设计了有效的特征模板和特征自动选择算法.对大规模真实语料的开放测试中,召回率达到90.05%,准确率达到88.12%,性能优于其它中文机构名识别算法.

基于条件随机场(CRFs)的中文词性标注方法

本文提出一种基于CRFs模型的中文词性标注方法。该方法利用CRFs模型能够添加任意特征的优点,在使用词的上下文信息的同时,针对兼类词和未登录词添加了新的统计特征。在《人民日报》1月份语料库上进行的封闭测试和开放测试中,该方法的标注准确率分别为98.56%和96.60%。

基于随机Hough变换的复杂条件下圆检测与数目辨识

在复杂背景和光照条件中检测不规则分布的圆,并且准确辨识其数目,可为一些专用的智能仪器提供理论依据,有着广泛的工业应用价值。针对需要检测的圆数量大、光照不均匀、光照强度变化、分布不规则、相互间有遮挡及边界模糊和灰度接近等复杂条件,在随机Hough变换的基础上进行改进,利用圆的特性和梯度算法对圆进行判定,可以在复杂条件下对圆进行准确的检测判定和数目辨识。通过对钢管储存现场图像检测的计算与分析,证明此算法在较高的干扰下可以准确地对钢管进行定位和数目辨识,对于相互遮挡的钢管也可以准确识别。相对于目前通用的圆检测算法,本算法可以达到更好的识别效果,完全满足工业实际应用的要求。

基于条件随机场的DDoS攻击检测方法

近年来,基于机器学习算法的分布式拒绝服务(distributed denial-of-service,简称DDoS)攻击检测技术已取得了很大的进展,但仍存在一些不足:(1)不能充分利用蕴涵于标记和特征观测序列中的上下文信息;(2)对多特征的概率分布存在过强的假设.条件随机场模型具有融合利用上下文信息和多特征的能力,将其应用于DDoS检测,能够有效地弥补上述不足.提出了一种基于条件随机场的DDoS攻击检测方法:首先,定义流特征条件熵(traffic feature conditional entropy,简称TFCE)、行为轮廓偏离度(behavior profile deviate degree,简称BPDD)两组统计量,对TCPflood,UDP flood,ICMP flood这3类攻击的特点进行描述;然后以此为基础,使用条件随机场,通过对其有效训练,分别为3类攻击建立分类模型;最后,通过对模型的有效训练,应用模型推断来完成对DDoS攻击的检测.实验结果表明,该方法能够充分发挥条件随机场模型的优势,准确区分正常流量和攻击流量,与同类方法相比,具有更好的抗背景流量干扰的能力.

基于多层条件随机场的中文命名实体识别

命名实体识别属于自然语言处理的基础研究领域,是信息抽取、信息检索、机器翻译、组块分析、问答系统等多种自然语言处理技术的重要基础。主要研究中文命名实体中对复杂地名和复杂机构名的识别,提出一种基于多层条件随机场的命名实体识别的方法。对大规模真实语料进行开放测试,两项识别的召回率、准确率和F值分别达到91.95%、89.99%、90.50%和90.07%、88.72%、89.39%。

基于条件随机场的中医命名实体识别

中医医案蕴藏着丰富的知识,如何完成对海量医案的自动标注以便对其进行知识挖掘显得尤为重要.针对明清古医案中症状、病机的自动识别标注问题,采用了基于条件随机场(CRF)的方法,提出数据清洗以及缩减合并词性以减少特征空间规模.最后,通过仿真实验将该方法与最大熵、支持向量机这两种统计方法进行对比.结果表明:该方法在针对明清古医案中症状、病机这类中医命名实体识别具有明显的优势.

基于条件随机域的复杂最长名词短语识别

识别句子中的最长名词短语是一个对机器翻译等任务具有重要实际价值的难题.为了克服传统方法在处理词之间的长程关联的不足和标注偏置等问题,本文采用条件随机域建立统计模型,有针对性的研究了复杂最长名词短语的识别,并给出了一种带置信度估计的解码算法,提高了本文工作的实用性.

基于条件随机场的领域术语识别研究

领域术语是各个领域的核心词汇,在研究了大量领域文献的基础上,提出了一种识别领域术语的方法。该方法以现有成熟工具为依托,使用条件随机场模型统计领域术语的词性组合概率。在选定特征集后,通过调整特征和窗口的组合,制定一个最优特征模板,同时通过10倍交叉验证法确定模型训练参数。实验结果表明,通过条件随机场模型分析领域术语的词性组合概率能够有效地识别领域术语。

基于条件随机场的汽车领域术语抽取

中文领域术语抽取是中文信息处理领域的一项重要研究任务,在词典构建、领域本体构造等方面有重要的应用.采用条件随机场(conditional random fields,CRFs),从汽车知识网站上爬取网页,预处理后得到纯文本,然后分析汽车领域的术语组成特点并制定相应的语料标注规则进行人工标注,对汽车领域进行了术语抽取.在使用词和词性特征的基础上增加了词典特征、领域词频和背景领域词频等特征,精确率、召回率和F-值分别达到84.61%、80.50%和82.50%.与其他方法比较说明所提出的汽车领域术语抽取方法是有效的.