面向法律领域的实体和关系抽取

中文司法领域的实体和关系抽取技术在提高办案效率方面具有重要作用,但现有的关系抽取模型缺乏领域知识且难以处理重叠实体,造成难以准确区分和提取实体与关系等问题.通过引入领域知识,提出一种法律信息增强模块,增强了用所提法律潜在关系与全局对应(legal potential relationship and global correspondence,LPRGC)模型理解法律文本中术语、规则和上下文信息的能力,从而提高了实体和关系的识别准确性,进而提升了实体和关系抽取算法的性能.为解决重叠实体问题,设计了一种基于潜在关系和实体对齐的关系抽取方法.通过精确标注实体位置,筛选潜在关系,并利用全局矩阵对齐实体,解决重叠实体的关系抽取问题,能够更准确地捕捉到重叠实体之间的关系,并有效地将其映射到正确的实体对上,从而提高抽取结果的准确性.在中国法律智能技术评测数据集上进行实体和关系抽取实验,结果表明,LPRGC模型的准确率、召回率和F_(1)值分别为85.21%、81.19%和83.15%,均优于对比模型,特别是在处理实体重叠问题时,LPRGC模型在单实体重叠类型的抽取中,F_(1)值达到了81.45%;在多实体重叠类型的抽取中,F_(1)值达80.67%.LPRGC模型在实体和关系抽取的准确性上较现有方法有明显改进,在处理复杂法律文本中的实体重叠问题上取得了显著效果.

基于改进CasRel模型的党建领域实体关系抽取研究

随着实体关系抽取技术在党建领域数据处理的应用,有效地加强了党建工作信息化,为党建领域数据支持和智能分析提供了保障。然而,党建领域文本有复杂的语境和逻辑关系,为进一步解决党建数据集中实体嵌套以及三元组关系重叠的问题,提出了一种CasRel改进模型的实体关系抽取算法,首先,使用ERNIE编码器进行编码,完成对语义信息的深度挖掘;其次,在编码层增加BiLSTM模块以解决党建数据集中实体跨度较长的问题;最后,在客实体-关系识别层中加入layer normalization和linear层,确保模型能够更好地捕捉输入数据的信息,实现党建领域的实体关系抽取。实验表明,在自行构建的党建领域数据集和DuIE数据集上,与原CasRel模型相比,改进模型的F1值分别提升了3.21%和4.85%,证实了改进模型对党建领域数据集中重叠关系抽取的有效性。

地质领域开放式实体关系联合抽取

为解决地质领域实体关系类型复杂且缺乏大量标注语料的问题,建立基于句法结构的开放式实体关系联合抽取模型CSSEM(Chinese syntactic structure extraction model)。给出一种基于模式的地质领域实体识别方法,解决地质领域缺乏实体标注语料的问题;基于少量标注语料自动学习关系抽取模式,使用基于句法结构的抽取模式从非结构化文本中开放式地抽取三元组。基于AUC(area under curve)评价标准,CSSEM与其它方法在地质领域和通用领域的数据集上进行对比分析。分析结果表明,该模型在上述两个领域取得了更好的准确率和召回率。

基于伪实体数据增强的高精准率医学领域实体关系抽取

针对医学领域知识密集、实体抽取和关系分类存在误差传递的问题,提出一种基于伪实体数据增强的高精准率的实体关系抽取框架。首先,在实体抽取模块添加基于Transformer的特征读取单元捕捉类别信息,以在密集的实体中准确识别医学长实体;其次,在流水线抽取框架的基础上插入关系负例生成模块,通过基于欠采样的伪实体生成模型生成混淆关系分类模型的伪实体,并通过三种数据增强生成策略提升模型鉴别主语宾语颠倒、主语宾语边界错误和关系分类错误的能力;最后,通过基于悬浮标记的关系分类模型缓解数据增强带来的训练时间剧增的问题。在CMeIE数据集中,对比了目前主流的4个模型。实体抽取部分相较于次优模型PL-Marker(Packed Levitated Marker),F1值提升了2.26%;实体关系抽取相较于次优模型CBLUE(Chinese Biomedical Language Understanding Evaluation)提出的流水线抽取模型,F1值提升了5.45%,精准率提升了15.62%。实验结果表明使用特征读取单元和伪实体数据增强模块可有效提高抽取的精准率。

基于通用信息抽取大模型的特定领域文本实体关系抽取研究

引言实体关系抽取是基于自然语言处理,利用信息抽取技术,从大规模非结构或半结构的自然语言文本中抽取结构化信息,并识别实体之间的关系,生成“实体、关系、实体”三元组的过程。这些实体可以是人物、国家、组织、装备等,而关系则是指这些实体之间的联系或互动。在特定领域,实体关系抽取的应用十分广泛,如情报分析、态势感知、战略决策等。

面向中文开放领域的多元实体关系抽取研究

针对当前中文开放领域多元实体关系抽取研究较少的情况,借鉴国外已有的研究成果,结合中文自身的特点,提出了中文领域多元实体关系抽取的方法。该方法以句法分析结果的根节点作为入口,迭代地获取所有谓语的主语、宾语及其定语成分,再利用句法分析结果对这些成分进行完善,最终获取句子中的多个实体之间的语义关系。该方法被应用在不同的领域并进行了对比分析,实验结果表明:其具有一定的参考价值。另外,对实验数据进行了详细的分析,归纳了错误的主要情形,为今后的研究工作指明了方向。

无指导的中文开放式实体关系抽取

传统的实体关系抽取需要预先定义关系类型体系,然而定义一个全面的实体关系类型体系是很困难的.开放式实体关系抽取技术解决了预先定义关系类型体系的问题,但是在中文上的研究还比较少.提出面向大规模网络文本的无指导开放式中文实体关系抽取方法,首先使用实体之间的距离限制和关系指示词的位置限制获取候选关系三元组;然后采用全局排序和类型排序的方法来挖掘关系指示词;最后使用关系指示词和句式规则对关系三元组进行过滤.在获取大量关系三元组的同时,还保证了80%以上的微观平均准确率.

中文开放式多元实体关系抽取

传统信息抽取针对特定的领域。当转换到新领域时,需要人工编写新的抽取规则和人工标记新的训练样本。开放信息抽取突破了传统信息抽取的局限性。现有的开放式信息抽取系统大多针对英文,然而,目前对于中文的研究相对较少,并主要以抽取三元组为主,没有针对中文抽取多元组的方法。因此提出了一种基于依存分析的中文开放式多元实体关系抽取方法。首先,对文本集进行预处理和依存关系分析;然后将动词视为候选关系词,将与此动词有满足条件的有效依存路径的基本名词短语视为实体词,关联两个及两个以上的实体词的关系词可与实体词组成候选多元实体关系组;最后,使用经过训练的逻辑回归分类器对多元实体关系组进行过滤。对百度百科数据集的抽取结果显示,所提方法在抽取大量实体关系多元组时准确性可达到81%。

基于依存分析的开放式中文实体关系抽取方法

实体关系抽取是信息抽取的组成部分,其目标是确定实体之间是否存在某种语义关系。由于中文语法错综复杂、表达方式灵活、语义多样等固有性质的限制,导致在中文中以动词作为关系表述容易引起实体间的关系含糊不清。为此,利用依存分析,提出一种开放式中文实体关系抽取方法。对输入的单句进行依存分析,通过依存分析输出的依存弧判断单句是否为动词谓语句,如果是动词谓语句则结合中文语法启发式规则抽取关系表述。根据距离确定论元位置,对三元组进行评估,输出符合条件的三元组。在Sogou CA和Sogou CS语料库上的实验结果表明,提出的方法适用于大规模语料库,具有较好的性能与可移植性。与基于卷积树核的无监督层次聚类方法相比,F值提高了16.68%。

基于RoBERTa和加权图卷积网络的中文地质实体关系抽取

知识是大数据和人工智能的基石,知识图谱的可解释性和可扩展性等优势使其成为智能系统的重要技术。智能决策在各个领域都有迫切的应用需求,为知识图谱提供基于数据分析和推理的决策支持和应用场景,但领域场景复杂、数据多源、知识维度广,因此知识图谱的构建和应用都面临着很多挑战。针对地质领域知识图谱构建过程中领域知识模式完备性差的问题,以及现有实体关系抽取方法在处理非欧氏数据时存在的不足,提出了一种基于图结构的实体关系抽取模型RoGCN-ATT。该模型使用RoBERTa-wwm-ext-large中文预训练模型作为序列编码器,结合BiLSTM获取更丰富的语义信息,使用加权图卷积网络结合注意力机制获取结构依赖信息,以增强模型对关系三元组的抽取性能。在地质数据集上F1值达78.56%,与其他模型的对比实验表明,RoGCN-ATT有效提升了实体关系抽取性能,为地质知识图谱的构建和应用提供了有力的支持。

融入互注意力的风险领域实体关系抽取研究

风险领域实体关系抽取是扩充现有知识图谱与泛化知识工程应用的关键问题.当前特定领域实体关系抽取面临人工标注语料的严重依赖、实体间关系的交叉互联以及远程监督标注存在噪声数据等核心难题,简单的解决方案是运用风险领域已有的知识图谱作为指导.然而,相比通用领域知识图谱,风险领域知识图谱的规模往往较小,难以满足当前领域实体关系抽取的知识需求.因此,本文既要利用已有的风险领域知识图谱,又要充分挖掘蕴含于领域文本数据中规律性的风险知识.本文提出基于知识图谱与文本互注意力的风险领域实体关系抽取方案.首先,根据已有的知识图谱抽象出风险领域实体关系及其约束条件;其次,运用少量高质的实体关系与大规模风险领域语料训练知识图谱与文本的互注意力机制模型,并融合文本表示学习与深度神经网络的方法进行风险领域实体关系的抽取.最后,针对给定的领域文本数据,综合关系约束与关系抽取结果得出风险领域实体关系类型.本文以风险领域数据为例,仅用少量的领域知识,即可获取较好的实体关系抽取效果.

基于关系指示词库的开放式实体关系抽取算法

为解决传统实体关系抽取方法适应性较差的问题,提出基于关系指示词库的开放式实体关系抽取方法(WCORE)。根据上下文环境自动构建与人工补充的方式构建关系指示词库,两种方式相互补充,主要论述3个问题:关系三元组的确立;关系指示词信息增益的计算与关系指示词库的构建;基于关系指示词库的分类实体关系信息抽取。以真实微博文本作为语料,平均F值达到了75.90%,实验结果表明该方法具有较好的可行性和适应性。

最近对寻址的专利实体关系抽取方法

针对专利领域没有公开数据集的问题,标注一个中文专利实体关系抽取数据集PERD(patent entity relation dataset)。为完成实体关系抽取任务,提出最近对寻址的实体关系抽取模型NPAM(nearest pair addressing entity relationship extraction model),实体位置信息获取方法的改进、注意力机制建模矩阵和实体抽取方法的创新,使该模型在PERD上F1值达到72.74%,相比模型PRGC提升12.64个百分点。实验结果验证了该模型的有效性。

基于指针标注的跨境民族文化实体关系抽取方法

跨境民族文化领域文本中存在较多的领域词汇,使得模型提取领域信息困难,造成上下文领域信息缺失,在该领域中实体密度分布高,面临实体关系重叠的问题。考虑到领域信息对跨境民族文化文本语义表征有着重要的作用,该文提出一种基于指针标注的跨境民族文化实体关系抽取方法,在字符向量表示中融入领域词典信息来增强领域信息用于解决领域实体标注不准确问题,通过多层指针标注解决跨境民族文化领域实体关系重叠问题。实验结果表明,在跨境民族文化实体关系抽取数据集上所提出方法相比于基线方法的F_(1)值提升了2.34%。

融合多特征的基于远程监督的中文领域实体关系抽取

针对从未标记的文本中抽取中文领域实体关系的问题,文中提出基于远程监督的领域实体属性关系抽取的混合方法,利用知识库中已有结构化的关系三元组,从自然语言文本中自动获取训练语料.针对远程监督方法标注数据存在大量噪声的问题,采用隐含狄利克雷分布主题模型抽取主题关键词,再与关系类型进行相似度计算和对关键词模式匹配进行去噪.最后提取词性特征、依存关系特征和短语句法树特征,并进行融合,训练关系抽取模型.实验表明,3种特征融合的F值较高,抽取性能较好.

面向领域知识图谱的实体关系联合抽取

文本数据中的实体和关系抽取是领域知识图谱构建和更新的来源.针对金融科技领域中文本数据存在重叠关系、训练数据缺乏标注样本等问题,提出一种融合主动学习思想的实体关系联合抽取方法.首先,基于主动学习,以增量的方式筛选出富有信息量的样本作为训练数据;其次,采用面向主实体的标注策略将实体关系联合抽取问题转化为序列标注问题;最后,基于改进的BERT-BiGRU-CRF模型实现领域实体与关系的联合抽取,为知识图谱构建提供支撑技术,有助于金融从业者根据领域知识进行分析、投资、交易等操作,从而降低投资风险.针对金融领域文本数据进行实验测试,实验结果表明,本文所提出的方法有效,验证了该方法后续可用于金融知识图谱的构建.

面向地质领域的实体关系联合抽取研究

构建地质领域的知识图谱有助于便捷高效地共享和应用多源地质知识,而地质关系三元组抽取对地质领域知识图谱构建具有重要意义。针对现有实体关系联合抽取模型无法有效识别重叠三元组的问题,考虑地质领域专业知识的特殊性,基于预训练语言模型BERT建立一种用于地质领域关系三元组抽取的层级标注模型HtERT。采用中文预训练语言模型BERT-wwm替代原始的BERT模型作为底层编码器,以提高模型对中文的编码能力。在实体识别阶段,引入关于实体起始位置的嵌入表示来限制实体的抽取长度,从而提升实体识别的准确度。引入全局上下文信息和BiLSTM网络使得模型抽取到的特征能更精确地表示地质样本信息,增强模型对地质关系三元组以及重叠三元组的抽取能力。在地质领域数据集上的实验结果表明,HtERT模型相比于PCNN、BiLSTM、PCNN+ATT、CASREL等基线模型具有明显优势,精确率、召回率以及F1值分别平均提升15.24、10.96和13.20个百分点,验证了该模型在地质领域实体关系联合抽取任务中的有效性。

面向中文专利的开放式实体关系抽取研究

针对传统实体关系抽取需要预先指定关系类型和制定抽取规则等无法胜任大规模文本的情况,开放式信息抽取(Open Information Extraction,OIE)在以英语为代表的西方语言中取得了重大进展,但对于汉语的研究却显得不足。为此,研究了在组块层次标注基础上应用马尔可夫逻辑网分层次进行中文专利开放式实体关系抽取的方法。实验表明:以组块为出发点降低了对句子理解的难度,外层和内层组块可以统一处理,减少了工程代价;而且在相同特征条件下与支持向量机相比,基于马尔可夫逻辑网的关系抽取效果更理想,外层和内层识别结果的F值分别可达到77.92%和69.20%。

地质领域文本实体关系联合抽取方法

地质领域实体关系抽取是构建地质知识图谱的基础,对地质领域文本信息抽取与知识库构建具有重要的作用。针对地质领域实体关系复杂、缺少人工标注语料库等特点,提出了面向地质领域实体关系联合抽取模型,着重对多地质文本中存在的复杂重叠关系进行识别,避免传统流水线模型中由于实体识别错误造成级联误差。文章构建了高质量地质领域实体关系语料库,提出了基于预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)和双向门控循环单元BiGRU(Bidirectional Gated Recurrent Units)与条件随机场CRF(Conditional Random Field)的序列标注模型,实现对实体关系的联合抽取。在构建数据集上进行了实验,结果表明,本文提出的联合抽取模型在实体关系抽取上的F1值达到0.671,验证了本文模型在地质实体关系抽取的有效性。

基于BLSTM-ATT的老挝语军事领域实体关系抽取

为了对互联网上大量的老挝语军事类文本进行结构化分析,该文提出了一种基于双向长短期记忆网络和多头自注意力机制的军事领域实体关系抽取方法。针对老挝语语料匮乏问题,提出了"硬匹配"和"软匹配"的思想,在完成语料获取和预处理的基础上,利用预定义的关系词表进行"硬匹配",之后再通过词典匹配和相似度计算相结合的方法进行"软匹配",以提高关系类型的泛化能力,进而自行构建了关系抽取标注语料库;然后,通过分析老挝语语言特点,融入了词、词性、实体类型、相对位置关系等特征进行模型训练,并设置了四轮针对不同变量的对比实验,验证了不同的神经网络模型、注意力机制、嵌入的特征以及语料规模对抽取效果的影响程度,实验结果表明融合双向长短期记忆网络和多头自注意力的方法对老挝语军事领域实体关系抽取具有更好的性能。