基于伪实体数据增强的高精准率医学领域实体关系抽取

针对医学领域知识密集、实体抽取和关系分类存在误差传递的问题,提出一种基于伪实体数据增强的高精准率的实体关系抽取框架。首先,在实体抽取模块添加基于Transformer的特征读取单元捕捉类别信息,以在密集的实体中准确识别医学长实体;其次,在流水线抽取框架的基础上插入关系负例生成模块,通过基于欠采样的伪实体生成模型生成混淆关系分类模型的伪实体,并通过三种数据增强生成策略提升模型鉴别主语宾语颠倒、主语宾语边界错误和关系分类错误的能力;最后,通过基于悬浮标记的关系分类模型缓解数据增强带来的训练时间剧增的问题。在CMeIE数据集中,对比了目前主流的4个模型。实体抽取部分相较于次优模型PL-Marker(Packed Levitated Marker),F1值提升了2.26%;实体关系抽取相较于次优模型CBLUE(Chinese Biomedical Language Understanding Evaluation)提出的流水线抽取模型,F1值提升了5.45%,精准率提升了15.62%。实验结果表明使用特征读取单元和伪实体数据增强模块可有效提高抽取的精准率。

融入互注意力的风险领域实体关系抽取研究

风险领域实体关系抽取是扩充现有知识图谱与泛化知识工程应用的关键问题.当前特定领域实体关系抽取面临人工标注语料的严重依赖、实体间关系的交叉互联以及远程监督标注存在噪声数据等核心难题,简单的解决方案是运用风险领域已有的知识图谱作为指导.然而,相比通用领域知识图谱,风险领域知识图谱的规模往往较小,难以满足当前领域实体关系抽取的知识需求.因此,本文既要利用已有的风险领域知识图谱,又要充分挖掘蕴含于领域文本数据中规律性的风险知识.本文提出基于知识图谱与文本互注意力的风险领域实体关系抽取方案.首先,根据已有的知识图谱抽象出风险领域实体关系及其约束条件;其次,运用少量高质的实体关系与大规模风险领域语料训练知识图谱与文本的互注意力机制模型,并融合文本表示学习与深度神经网络的方法进行风险领域实体关系的抽取.最后,针对给定的领域文本数据,综合关系约束与关系抽取结果得出风险领域实体关系类型.本文以风险领域数据为例,仅用少量的领域知识,即可获取较好的实体关系抽取效果.

基于指针标注的跨境民族文化实体关系抽取方法

跨境民族文化领域文本中存在较多的领域词汇,使得模型提取领域信息困难,造成上下文领域信息缺失,在该领域中实体密度分布高,面临实体关系重叠的问题。考虑到领域信息对跨境民族文化文本语义表征有着重要的作用,该文提出一种基于指针标注的跨境民族文化实体关系抽取方法,在字符向量表示中融入领域词典信息来增强领域信息用于解决领域实体标注不准确问题,通过多层指针标注解决跨境民族文化领域实体关系重叠问题。实验结果表明,在跨境民族文化实体关系抽取数据集上所提出方法相比于基线方法的F_(1)值提升了2.34%。

最近对寻址的专利实体关系抽取方法

针对专利领域没有公开数据集的问题,标注一个中文专利实体关系抽取数据集PERD(patent entity relation dataset)。为完成实体关系抽取任务,提出最近对寻址的实体关系抽取模型NPAM(nearest pair addressing entity relationship extraction model),实体位置信息获取方法的改进、注意力机制建模矩阵和实体抽取方法的创新,使该模型在PERD上F1值达到72.74%,相比模型PRGC提升12.64个百分点。实验结果验证了该模型的有效性。

地质领域文本实体关系联合抽取方法

地质领域实体关系抽取是构建地质知识图谱的基础,对地质领域文本信息抽取与知识库构建具有重要的作用。针对地质领域实体关系复杂、缺少人工标注语料库等特点,提出了面向地质领域实体关系联合抽取模型,着重对多地质文本中存在的复杂重叠关系进行识别,避免传统流水线模型中由于实体识别错误造成级联误差。文章构建了高质量地质领域实体关系语料库,提出了基于预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)和双向门控循环单元BiGRU(Bidirectional Gated Recurrent Units)与条件随机场CRF(Conditional Random Field)的序列标注模型,实现对实体关系的联合抽取。在构建数据集上进行了实验,结果表明,本文提出的联合抽取模型在实体关系抽取上的F1值达到0.671,验证了本文模型在地质实体关系抽取的有效性。

面向地质领域的实体关系联合抽取研究

构建地质领域的知识图谱有助于便捷高效地共享和应用多源地质知识,而地质关系三元组抽取对地质领域知识图谱构建具有重要意义。针对现有实体关系联合抽取模型无法有效识别重叠三元组的问题,考虑地质领域专业知识的特殊性,基于预训练语言模型BERT建立一种用于地质领域关系三元组抽取的层级标注模型HtERT。采用中文预训练语言模型BERT-wwm替代原始的BERT模型作为底层编码器,以提高模型对中文的编码能力。在实体识别阶段,引入关于实体起始位置的嵌入表示来限制实体的抽取长度,从而提升实体识别的准确度。引入全局上下文信息和BiLSTM网络使得模型抽取到的特征能更精确地表示地质样本信息,增强模型对地质关系三元组以及重叠三元组的抽取能力。在地质领域数据集上的实验结果表明,HtERT模型相比于PCNN、BiLSTM、PCNN+ATT、CASREL等基线模型具有明显优势,精确率、召回率以及F1值分别平均提升15.24、10.96和13.20个百分点,验证了该模型在地质领域实体关系联合抽取任务中的有效性。

地质领域开放式实体关系联合抽取

为解决地质领域实体关系类型复杂且缺乏大量标注语料的问题,建立基于句法结构的开放式实体关系联合抽取模型CSSEM(Chinese syntactic structure extraction model)。给出一种基于模式的地质领域实体识别方法,解决地质领域缺乏实体标注语料的问题;基于少量标注语料自动学习关系抽取模式,使用基于句法结构的抽取模式从非结构化文本中开放式地抽取三元组。基于AUC(area under curve)评价标准,CSSEM与其它方法在地质领域和通用领域的数据集上进行对比分析。分析结果表明,该模型在上述两个领域取得了更好的准确率和召回率。

旅游领域嵌套实体和重叠关系联合抽取模型BPNRel

针对旅游领域信息抽取过程中出现的实体嵌套和关系重叠问题,提出一种基于多标签指针网络和双仿射分类器的实体关系联合抽取模型BPNRel.该模型通过共享编码层参数在实体抽取部分使用多标签指针网络确定嵌套实体和非嵌套实体的实体边界和实体类型.在关系抽取部分融合了实体类型信息的编码层参数,经过双仿射分类器进行关系分类,在构建的旅游领域关系抽取数据集TFRED上的F1达到了90.4%,有效地解决了实体嵌套和关系重叠问题.此外,针对模型存在的标签不平衡问题使用Focal Loss损失函数调整正负样本损失值,并使用对抗训练提升模型的泛化能力,最后在百度DuIE数据集上与主流联合抽取模型进行了对比实验.实验证明,使用增强策略的BPNRel模型抽取优于主流的联合抽取模型.

面向中文开放领域的多元实体关系抽取研究

针对当前中文开放领域多元实体关系抽取研究较少的情况,借鉴国外已有的研究成果,结合中文自身的特点,提出了中文领域多元实体关系抽取的方法。该方法以句法分析结果的根节点作为入口,迭代地获取所有谓语的主语、宾语及其定语成分,再利用句法分析结果对这些成分进行完善,最终获取句子中的多个实体之间的语义关系。该方法被应用在不同的领域并进行了对比分析,实验结果表明:其具有一定的参考价值。另外,对实验数据进行了详细的分析,归纳了错误的主要情形,为今后的研究工作指明了方向。

无指导的中文开放式实体关系抽取

传统的实体关系抽取需要预先定义关系类型体系,然而定义一个全面的实体关系类型体系是很困难的.开放式实体关系抽取技术解决了预先定义关系类型体系的问题,但是在中文上的研究还比较少.提出面向大规模网络文本的无指导开放式中文实体关系抽取方法,首先使用实体之间的距离限制和关系指示词的位置限制获取候选关系三元组;然后采用全局排序和类型排序的方法来挖掘关系指示词;最后使用关系指示词和句式规则对关系三元组进行过滤.在获取大量关系三元组的同时,还保证了80%以上的微观平均准确率.

中文开放式多元实体关系抽取

传统信息抽取针对特定的领域。当转换到新领域时,需要人工编写新的抽取规则和人工标记新的训练样本。开放信息抽取突破了传统信息抽取的局限性。现有的开放式信息抽取系统大多针对英文,然而,目前对于中文的研究相对较少,并主要以抽取三元组为主,没有针对中文抽取多元组的方法。因此提出了一种基于依存分析的中文开放式多元实体关系抽取方法。首先,对文本集进行预处理和依存关系分析;然后将动词视为候选关系词,将与此动词有满足条件的有效依存路径的基本名词短语视为实体词,关联两个及两个以上的实体词的关系词可与实体词组成候选多元实体关系组;最后,使用经过训练的逻辑回归分类器对多元实体关系组进行过滤。对百度百科数据集的抽取结果显示,所提方法在抽取大量实体关系多元组时准确性可达到81%。

基于依存分析的开放式中文实体关系抽取方法

实体关系抽取是信息抽取的组成部分,其目标是确定实体之间是否存在某种语义关系。由于中文语法错综复杂、表达方式灵活、语义多样等固有性质的限制,导致在中文中以动词作为关系表述容易引起实体间的关系含糊不清。为此,利用依存分析,提出一种开放式中文实体关系抽取方法。对输入的单句进行依存分析,通过依存分析输出的依存弧判断单句是否为动词谓语句,如果是动词谓语句则结合中文语法启发式规则抽取关系表述。根据距离确定论元位置,对三元组进行评估,输出符合条件的三元组。在Sogou CA和Sogou CS语料库上的实验结果表明,提出的方法适用于大规模语料库,具有较好的性能与可移植性。与基于卷积树核的无监督层次聚类方法相比,F值提高了16.68%。

基于关系指示词库的开放式实体关系抽取算法

为解决传统实体关系抽取方法适应性较差的问题,提出基于关系指示词库的开放式实体关系抽取方法(WCORE)。根据上下文环境自动构建与人工补充的方式构建关系指示词库,两种方式相互补充,主要论述3个问题:关系三元组的确立;关系指示词信息增益的计算与关系指示词库的构建;基于关系指示词库的分类实体关系信息抽取。以真实微博文本作为语料,平均F值达到了75.90%,实验结果表明该方法具有较好的可行性和适应性。

面向某地区电网继电保护装置缺陷知识图谱构建的实体关系抽取

继电保护装置缺陷时有发生,威胁其作为第一道防线的可靠性,进而影响电网安全稳定运行。随着电网规模扩大,保护装置数量增加,现场运维工作需要智能化辅助减小运维压力;同时,保护装置历史缺陷数据累积,蕴含有助于辅助运维的信息有待文本挖掘。有鉴于此,该文以某地区电网实际继电保护装置缺陷数据和专业词典为基础,提出了一种面向继电保护装置缺陷知识图谱构建的实体关系抽取方法。首先,以传统本体构建思想为基础,借助词频–逆文档频率(term frequency-inverse document frequency,TF-IDF)方法,抽取了继电保护装置领域术语,并定义了概念及其间关系,实现了继电保护装置缺陷本体构建;其次,根据继电保护装置缺陷记录文本特征,提出了基于语法规则的实体关系抽取方法,实现了近邻词位实体的关系抽取;再次,提出了基于远程监督学习的实体关系抽取方法,实现了长间隔词位实体关系抽取;进一步,利用关系抽取可信度评价指标,实现了综合语法规则和远程监督的实体关系抽取;最后,利用Protégé对装置缺陷本体及关系抽取结果做了局部可视化展示。

融合多特征的基于远程监督的中文领域实体关系抽取

针对从未标记的文本中抽取中文领域实体关系的问题,文中提出基于远程监督的领域实体属性关系抽取的混合方法,利用知识库中已有结构化的关系三元组,从自然语言文本中自动获取训练语料.针对远程监督方法标注数据存在大量噪声的问题,采用隐含狄利克雷分布主题模型抽取主题关键词,再与关系类型进行相似度计算和对关键词模式匹配进行去噪.最后提取词性特征、依存关系特征和短语句法树特征,并进行融合,训练关系抽取模型.实验表明,3种特征融合的F值较高,抽取性能较好.

面向领域知识图谱的实体关系联合抽取

文本数据中的实体和关系抽取是领域知识图谱构建和更新的来源.针对金融科技领域中文本数据存在重叠关系、训练数据缺乏标注样本等问题,提出一种融合主动学习思想的实体关系联合抽取方法.首先,基于主动学习,以增量的方式筛选出富有信息量的样本作为训练数据;其次,采用面向主实体的标注策略将实体关系联合抽取问题转化为序列标注问题;最后,基于改进的BERT-BiGRU-CRF模型实现领域实体与关系的联合抽取,为知识图谱构建提供支撑技术,有助于金融从业者根据领域知识进行分析、投资、交易等操作,从而降低投资风险.针对金融领域文本数据进行实验测试,实验结果表明,本文所提出的方法有效,验证了该方法后续可用于金融知识图谱的构建.

面向中文专利的开放式实体关系抽取研究

针对传统实体关系抽取需要预先指定关系类型和制定抽取规则等无法胜任大规模文本的情况,开放式信息抽取(Open Information Extraction,OIE)在以英语为代表的西方语言中取得了重大进展,但对于汉语的研究却显得不足。为此,研究了在组块层次标注基础上应用马尔可夫逻辑网分层次进行中文专利开放式实体关系抽取的方法。实验表明:以组块为出发点降低了对句子理解的难度,外层和内层组块可以统一处理,减少了工程代价;而且在相同特征条件下与支持向量机相比,基于马尔可夫逻辑网的关系抽取效果更理想,外层和内层识别结果的F值分别可达到77.92%和69.20%。

旅游领域实体和关系联合抽取方法研究

从文本信息中抽取关系三元组是构建知识图谱的关键任务,近年来受到工业界和学术界的广泛关注。针对旅游领域信息抽取过程中出现的实体嵌套和关系重叠问题,提出了一种基于双仿射注意力机制的实体关系联合抽取模型BAMRel,该模型通过共享编码层参数利用双仿射注意力机制在实体识别部分和关系抽取部分构建分类矩阵,并在关系抽取部分融合实体类型信息,提升关系抽取效果的同时增加了两个任务之间的交互。此外,通过远程监督和人工校验构建了旅游领域关系抽取数据集TFRED,BAMRel模型在此数据集上F1值达到了91.8%,有效地解决了实体嵌套和关系重叠问题。为了验证模型的鲁棒性,在百度DuIE数据集上与主流联合抽取模型进行了对比实验,BAMRel模型取得了最高的F1值80.2%。

基于BLSTM-ATT的老挝语军事领域实体关系抽取

为了对互联网上大量的老挝语军事类文本进行结构化分析,该文提出了一种基于双向长短期记忆网络和多头自注意力机制的军事领域实体关系抽取方法。针对老挝语语料匮乏问题,提出了"硬匹配"和"软匹配"的思想,在完成语料获取和预处理的基础上,利用预定义的关系词表进行"硬匹配",之后再通过词典匹配和相似度计算相结合的方法进行"软匹配",以提高关系类型的泛化能力,进而自行构建了关系抽取标注语料库;然后,通过分析老挝语语言特点,融入了词、词性、实体类型、相对位置关系等特征进行模型训练,并设置了四轮针对不同变量的对比实验,验证了不同的神经网络模型、注意力机制、嵌入的特征以及语料规模对抽取效果的影响程度,实验结果表明融合双向长短期记忆网络和多头自注意力的方法对老挝语军事领域实体关系抽取具有更好的性能。

面向医学文本的实体关系抽取研究综述

实体抽取和关系抽取作为信息抽取的重要子任务,近些年众多学者利用多种技术在该领域开展了深入研究。将这些技术应用于医学领域,抽取非结构化和半结构化的医学文本构建医学知识图谱,可服务于下游子任务。从医学领域实体关系抽取的相关概念出发,从不同角度对深度学习模型进行分类;进而依据数据集的构建方式,对监督学习和远程监督的多实例学习模型进行分析和讨论;最后展望了面向医学文本的实体关系抽取的未来研究方向。