基于BERT-BiLSTM-CRF党建领域命名实体识别

党建领域知识图谱构建过程中使用传统的命名实体识别方法时,存在实体边界不清、实体词性多义等问题,导致存在识别准确率和效率低的问题。为此,本文提出一种融合树形概率和领域词典的BERT-BiLSTM-CRF实体识别模型。该模型在BERT中嵌入领域词典进行文本向量化表示;利用BiLSTM获取上下文语义特征;将树形概率应用到CRF层的转移概率计算中提高分词准确率。与基准模型在MSRA和自构建的语料库上进行实验对比,实验结果表明本模型在F1值、召回率、精确率3个指标上都能取得较好的效果。

基于树形条件随机场的跨语言时态标注

提出时态树的概念和构造方法,从而将汉英时态转换问题转换为时态树标注的问题.而后,使用树形条件随机场为未标注时态树的结点标注英语时态.提出的特征函数的模板较好地满足了模型推断的需要.实验结果表明:与基于线性条件随机场模型的时态标注方法相比,基于时态树方法的准确率有大幅度的提高,说明使用时态树能够更好地表达子句间时态的依赖关系.

CRF与规则相结合的医学病历实体识别

针对电子病历结构化中命名实体识别困难的问题,提出了一种基于CRF与规则相结合的医学病历实体识别算法。该算法采用CRF进行病历实体的初始识别,然后基于规则进行病历实体识别结果优化,其中规则包括基于决策树生成的规则和临床知识规则。实验证明,该算法对病历实体进行识别时准确率及召回率分别最高达到91.03%和87.26%,满足临床中系统应用需求,同时实验表明该算法具有很好的鲁棒性和稳定性。

基于频繁依存子树模式的中心词提取方法研究

条件随机场模型通过抓取问句中心词各方面统计特征来进行中心词标注,但未能充分利用中心词特征间存在的深层统计关系。该文利用中文问句的依存关系树结构,通过挖掘问句依存关系树所蕴藏的中心词各维度特征之间的统计概率关系,为正确提取中心词提供依据,通过挖掘频繁依存子树模式以生成相应统计规则模式,使用条件随机场模型进行中心词初始标注,使用频繁依存子树模式统计规则进行中心词标注校正等。该文方法属于典型的客观方法,建立在严格的统计语料基础上,标注的稳定性、适应性和鲁棒性较好。实验结果表明,该文方法将条件随机场模型的中心词标注准确率提高约3%。

基于声学相关特征与词典语法相关特征的汉语重音检测

重音对提高语音合成系统的自然度、可懂度以及语音识别系统的正确率等方面扮演着非常重要的作用.该文基于大规模韵律标注的语料库,利用声学相关特征及词典语法相关特征对汉语重音进行检测.采用Boosting集成分类回归树对当前音节的声学相关特征以及词典语法相关特征进行建模,Boosting集成分类回归树充分利用了当前音节的特性.同时还对词典语法相关特征采用条件随机场方法建模,条件随机场很好地利用了当前音节的上下文特性.最后,将Boosting集成分类回归树模型和条件随机场模型加权组合获得识别率更高的混合模型.该混合模型克服了Boosting集成分类回归树模型的不足,实现了Boosting集成分类回归树和条件随机场的优势互补.实验结果表明该方法具有较好的分类效果,在ASCCD语料库上能够获得84.82%重音检测正确率.同时,与之前其他人的工作在相同的条件下(相同的训练集和测试集)对比,在正确率方面,该方法分别有4.01%和1.67%的提高.另外,该文中,对英语的重音检测和汉语的重音检测做了对比,并通过特征分析方法从另一个层面验证了一些语言学上的结论.

面向产品评论的细粒度情感分析

针对传统粗粒度情感分析忽略具体评价对象,以及现有细粒度情感分析方法忽略无关评价要素的问题,提出结合条件随机场(CRF)和语法树剪枝的方法对产品评论进行细粒度情感分析。采用基于MapReduce的并行化协同训练(Tri-training)的方法对语料进行半自主标注,利用融合多种语言特征的条件随机场模型,获取评论中的评价对象和正负面评价词。通过建立领域本体和句法路径库实现语法树剪枝,对含有多个评价对象和评价词的文本,去掉无关评价对象的干扰,抽取出正确的评价单元,最后形成可视化产品报告。实验结果显示,提出的方法在两种不同领域数据集上,识别情感要素的综合准确率达89%左右,情感评价单元的综合准确率也达89%左右。实验结果表明,与传统方法相比,结合CRF和语法树剪枝的方法识别准确率更高,性能更好。

基于互补模型的汉语重音检测

针对现有汉语重音检测方法正确率较低的问题,利用声学、词典和语法相关特征的不同分类器组合,基于Boosting分类回归树+条件随机场的互补模型,提出一种改进的汉语重音检测方法。在ASCCD语料库上的实验结果表明,该方法能获得84.9%的重音检测正确率,相比基于神经网络+决策树的基线系统提高2.7%。

基于完全联系的条件随机场的图像标注

传统的图像标注模型通常存在两个问题:只能够对短距离的像素上下文信息进行建模和复杂的模型推理过程。为了提高图像标注的精度、简化图像标注的模型推理过程,采用完全联系的条件随机场模型进行图像标注,提出利用基于高斯kd树的平均场估计方法实现该模型的高效推理。为了更好地验证算法的有效性,实验的图片数据库不仅包含标准的图片库——剑桥大学微软研究图片库(MSRC-9),还包含作者制作的机械零件图片库(My Dataset_1)和办公桌图片库(My Dataset_2)。新算法在三个图片库上的平均标注精度分别可以达到77.96%、97.15%和95.35%,每幅图的平均运行时间为2 s。实验结果表明,基于完全联系的条件随机场的图像标注能够更充分地考虑不同的像素上下文信息来提高标注精度,而基于高斯kd树的模型推理能够提高模型推理的效率。

基于条件随机域的上下文人类动作识别

提出一种新的基于条件随机域和隐马尔可夫模型(HMM)的人类动作识别方法——HMCRF。目前已有的动作识别方法均使用隐马尔可夫模型及其变型,这些模型一个最突出的不足就是要求观察值相互独立。条件模型很容易表示上下文相关性,且可使用动态规划做到有效且精确的推论,它的参数可以通过凸函数优化训练得到。把条件图形模型应用于动作识别之上,并通过大量的实验表明,所提出的方法在识别正确率方面明显优于一般线性结构的CRF和HMM。

基于互补模型的汉语韵律间断自动检测

自动韵律间断检测和标注对语音理解和语音合成有十分重要的作用。提出了利用声学、词典和语法相关特征的互补模型方法检测汉语韵律间断。该方法具有下列优点:(1)摒弃了声学相关特征和词典、语法相关特征的独立性假设;(2)互补模型方法不仅在特征层上利用当前音节的上下文信息,而且在模型层次上利用了当前音节的上下文信息。在ASCCD语料库上验证了该方法能够获得90.34%的韵律间断的检测准确率,较基线系统有6.09%的提高。

基于事件抽取的学科建设知识图谱构建与应用

学科建设是高校发展的核心,随着高校学科建设的不断深入与强化,学科建设信息持续增加,且以离散的文件组织形式难以对学科建设成果进行高效的管理,不利于后续分析与评估工作的开展.针对此问题,对学科建设知识图谱的构建及相关应用进行了研究.首先通过BERT-BiLSTM-CRF模型对学科建设文本进行事件抽取,并使用爬虫进行相关知识的补充.然后选择属性图模型存储知识,完成学科建设知识图谱的初步构建.基于构建好的知识图谱,搭建了学科建设可视化系统,并引入最小斯坦纳树算法实现智能问答应用.最后,通过对学科建设事件抽取与智能问答方法进行实验分析,验证了本文所提出方法的有效性.

基于Tree LSTM+CRF的属性级观点挖掘

评价对象与观点内容的提取是观点挖掘中非常重要的任务。本研究提出了一个树结构长短期记忆网络(Tree LSTM)结合条件随机场(CRF)的联合模型抽取评价对象和观点内容。首先对评论句进行依存句法分析,根据句子的依存分析树构建Tree LSTM,并设计树结构下LSTM单元的计算方法;接着将Tree LSTM的输出作为CRF的输入进行序列标注,实现评价对象与观点内容的抽取。最后在SemEval Challenge 2014任务4的数据集上对模型性能进行了验证,评价对象和观点内容抽取结果的平均F1值在餐馆和笔记本电脑领域分别为86.76%、83.22%和79.86%、80.42%,优于现有的评价对象和观点内容抽取方法。实验结果表明,设计的Tree LSTM能很好地学习词语之间的层次关系,同时联合模型有效避免了传统CRF需要构建特征工程的弊端。

基于症状构成成分的上下位关系自动抽取方法

针对症状间上下位关系具有较强结构特性的问题,提出一种基于症状构成成分的上下位关系自动抽取方法。首先,通过观察症状实体,发现症状可以切分为原子症状词、修饰词等八种成分,且成分的构成序列满足一定的规则。然后,利用词法分析系统和条件随机场模型对症状进行切分和成分标注。最后,把症状之间的关系抽取看作一个分类问题,选取症状成分的构成特征、词典特征以及通用特征作为分类算法的特征;基于多种分类算法训练模型,将症状间的关系分为上下位关系和非上下位关系。实验结果表明,当选用支持向量机算法,同时选用三类特征时,取得了最好的效果,准确率、召回率和F1值分别达到了82.68%、82.13%和82.40%。在此基础上,使用所提出的关系抽取算法,抽取了20 619条上下位关系,构建了具有上下位关系的症状知识库。