基于并联残差膨胀卷积网络的短文本实体关系联合抽取

关系抽取旨在从文本中提取出实体对之间存在的语义关系,但现有的关系抽取方法均存在关系冗余和重叠的不足,尤其是对于短文本,会因上下文信息不足而出现语义信息不足和噪声大等问题。此外,一般流水线式的关系抽取模型还存在误差传递问题。为此,文中提出一种基于并联残差膨胀卷积网络的短文本实体关系联合抽取方法。该方法利用BERT生成语义特征信息,采用并联残差膨胀卷积网络来捕获语义信息,从而提升上下文信息的捕获能力并缓解噪声。联合抽取框架通过抽取潜在关系来过滤无关关系,然后再抽取实体以预测三元组,从而解决关系冗余和重叠问题,并提高计算效率。实验结果表明,与现有的主流模型相比,所提模型在三个公共数据集NYT、WebNLG和DuIE上的F1值分别为90.9%、91.3%和73.5%,相较于基线模型均有提升,验证了该模型的有效性。

面向法律领域的实体和关系抽取

中文司法领域的实体和关系抽取技术在提高办案效率方面具有重要作用,但现有的关系抽取模型缺乏领域知识且难以处理重叠实体,造成难以准确区分和提取实体与关系等问题.通过引入领域知识,提出一种法律信息增强模块,增强了用所提法律潜在关系与全局对应(legal potential relationship and global correspondence,LPRGC)模型理解法律文本中术语、规则和上下文信息的能力,从而提高了实体和关系的识别准确性,进而提升了实体和关系抽取算法的性能.为解决重叠实体问题,设计了一种基于潜在关系和实体对齐的关系抽取方法.通过精确标注实体位置,筛选潜在关系,并利用全局矩阵对齐实体,解决重叠实体的关系抽取问题,能够更准确地捕捉到重叠实体之间的关系,并有效地将其映射到正确的实体对上,从而提高抽取结果的准确性.在中国法律智能技术评测数据集上进行实体和关系抽取实验,结果表明,LPRGC模型的准确率、召回率和F_(1)值分别为85.21%、81.19%和83.15%,均优于对比模型,特别是在处理实体重叠问题时,LPRGC模型在单实体重叠类型的抽取中,F_(1)值达到了81.45%;在多实体重叠类型的抽取中,F_(1)值达80.67%.LPRGC模型在实体和关系抽取的准确性上较现有方法有明显改进,在处理复杂法律文本中的实体重叠问题上取得了显著效果.

基于证据和图推理的文档级关系抽取方法:以医学关系为例

针对生物医学文献句式冗长、实体密集从而导致关系抽取复杂度高、难度大的问题,提出一种证据路径增强的图推理框架(EPE-GR)。首先建立一种引入结构化偏差的图注意力机制(B-GAT)增强图推理中信息聚合的指向性,结合提及级和实体级图建模学习全局交互特征和局部依赖信息;其次使用启发式搜索聚焦证据句子,同时构建一种基于掩膜多头注意力(MMHA)机制的路径推理结构,强化非邻居证据句子之间的相关性并缓解细粒度证据编码带来的复杂度剧增的问题;最后协同全局、局部和路径推理预测实体之间的语义关系。与已有方法相比,EPE-GR在药物-突变相互作用(DMI)数据集和化学物质诱导疾病(CDR)数据集上都获得了最佳的性能,前者在二分类和多分类任务的设定下相比次优方法准确率分别提高了5.65和5.13百分点,后者F1值提高了2.85百分点,证明所提方法是一个有效的生物医学文档级关系抽取方法且具有较好的泛化能力。此外,通过进一步的实验表明所提出的关系依赖建模和证据路径推理机制能够有效提升模型推理句间关系的能力。

面向文本实体关系抽取研究综述

信息抽取是知识图谱构建的基础,关系抽取作为信息抽取的关键流程和核心步骤,旨在从文本数据中定位实体并识别实体间的语义联系。因此提高关系抽取的效率可以有效提升信息抽取的质量,进而影响到知识图谱的构建以及后续的下游任务。关系抽取按照抽取文本长度可以分为句子级关系抽取和文档级关系抽取,两种级别的抽取方法在不同应用场景下各有优缺点。句子级关系抽取适用于较小规模数据集的应用场景,而文档级关系抽取适用于新闻事件分析、长篇报告或文章的关系挖掘等场景。不同于已有的关系抽取,介绍了关系抽取的基本概念以及领域内近年来的发展历程,罗列了两种级别关系抽取所采用的数据集,对数据集的特点进行概述;分别对句子级关系抽取和文档级关系抽取进行了阐述,介绍了不同级别关系抽取的优缺点,并分析了各类方法中代表模型的性能以及局限性;总结了当前研究领域中存在的问题并对关系抽取发展前景进行了展望。

基于深度字词融合的小麦种质信息实体关系联合抽取

为获得结构化的小麦品种表型和遗传描述,针对非结构化小麦种质数据中存在的实体边界模糊以及关系重叠问题,提出一种基于深度字词融合的小麦种质信息实体关系联合抽取模型WGIE-DCWF(wheat germplasm information extraction model based on deep character and word fusion)。模型编码层通过深度字词融合和上下文语义特征融合,提高密集实体特征识别能力;模型三元组抽取层建立层叠指针网络,提高重叠关系的提取能力。在小麦种质数据集和公开数据集上的一系列对比实验结果表明,WGIE-DCWF模型能够有效提高小麦种质数据实体关系联合抽取效果,同时拥有较好的泛化性,可以为小麦种质信息知识库构建提供技术支撑。

融合关系和结构编码的规则抽取与推理研究

领域知识图谱拥有不完备性和语义复杂多样性的特点,从而导致其在规则抽取和选择问题上的不足,影响了其推理的能力.针对此问题,提出了一种融合关系和结构编码的规则抽取模型.通过提取目标子图中的关系和结构信息并进行特征编码,从而实现了一种多维度的嵌入表达方法.设计了融合关系和结构信息的自注意力机制,使模型能够更好地捕捉输入序列中的依赖关系和局部结构信息,从而提升了模型对于上下文的理解和表达能力,进而解决了在语义复杂情况下规则的抽取和选择的问题.通过在真实汽车部件故障工业数据集和公共数据集的实验,表明了在链接预测与规则质量评估任务中,所提出的模型都有一定的提升(规则长度为3时, mean reciprocal rank (MRR)平均提升了7.1百分点, Hits@10平均提升了8.6百分点;规则长度为2时, MRR平均提升了7.4百分点, Hits@10平均提升了3.9百分点),证实了关系和结构信息对于规则抽取与推理的有效性.

基于自动生成句法模板的方法类实体关系抽取——以CSDN人工智能主题博客为例

[目的/意义]方法类实体与应用场景、问题、组织机构等实体之间存在着较多的关联关系,抽取这些实体关系有助于捕捉技术发展趋势,助力创新能力提升。[方法/过程]文章探讨了一种基于自动生成句法模板的方法类实体关系抽取方法,通过设计一种新的自适应模板,提高抽取的灵活性和适应性,降低对大规模标注数据的依赖。文章实证以CSDN人工智能主题博客为例,使用少量种子三元组迭代生成句法模板抽取方法类实体及其关系,并通过过滤器模型提高抽取质量。[结果/结论]经过5轮迭代抽取,模型抽取三元组的精确度达到55.2%,优于现有通用模型。研究结果表明,该方法能够高效利用有限的标注数据,实现特定领域方法类实体及其关系的高效抽取,为学术界和产业界的科技情报分析提供支持。

基于BERT模型自适应的科技项目申报书关键文本抽取方法

科技项目申报书内容涵盖了科技领域主要的研究方向和创新性。为提升科技领域项目文本关键内容的抽取效果,本文提出了一种基于BERT(bidirectional encoder representations from transformers)模型自适应的科技项目申报书关键文本抽取方法。在该方法中,首先进行原始文本的预处理;其次,将BERT和伪标签相结合进行模型训练,并构建自适应阈值确保模型训练最优化;最后,本文将模型工程化,进行实际应用。通过实验对比验证:提出的方法在文本抽取过程中表现出良好的性能,数据标注准确度随着数据规模不断增大而呈现提升;该方法在准确率、精确率、召回率与F1值等方面,均优于模型LSTM+SAT(long short-term memory+short-term memery)和模型BERT+PL(BERT+pseudo label)。

融合事件类型的中文事件抽取方法

事件抽取技术是自动化地从文本信息中获得结构性数据的重要手段,也是自然语言处理领域的重点研究方向之一。事件抽取包含两个子任务,事件类型检测与事件论元抽取。近年来的事件抽取研究引入了预训练语言模型作为文本的语义表征,然后采用序列标注BIO完成抽取任务,但此类方法容易存在标签歧义问题。因此又有学者提出在事件文本特征中融入特征知识以避免歧义,可现有的融合方法忽略了事件抽取各个子任务间的依赖关系。为解决以上问题,针对事件抽取任务采用联合学习的算法框架,通过门融合机制将事件类型信息作为新知识融入事件的文本表示中,再进行事件触发词抽取与事件论元抽取。实验结果证明该算法模型在论元抽取任务上较之基线方法表现更优异。

基于提示学习和全局指针网络的中文古籍实体关系联合抽取方法

基于“预训练+微调”范式的实体关系联合抽取方法依赖大规模标注数据,在数据标注难度大、成本高的中文古籍小样本场景下微调效率低,抽取性能不佳;中文古籍中普遍存在实体嵌套和关系重叠的问题,限制了实体关系联合抽取的效果;管道式抽取方法存在错误传播问题,影响抽取效果。针对以上问题,提出一种基于提示学习和全局指针网络的中文古籍实体关系联合抽取方法。首先,利用区间抽取式阅读理解的提示学习方法对预训练语言模型(PLM)注入领域知识以统一预训练和微调的优化目标,并对输入句子进行编码表示;其次,使用全局指针网络分别对主、客实体边界和不同关系下的主、客实体边界进行预测和联合解码,对齐成实体关系三元组,并构建了PTBG(Prompt Tuned BERT with Global pointer)模型,解决实体嵌套和关系重叠问题,同时避免了管道式解码的错误传播问题;最后,在上述工作基础上分析了不同提示模板对抽取性能的影响。在《史记》数据集上进行实验的结果表明,相较于注入领域知识前后的OneRel模型,PTBG模型所取得的F1值分别提升了1.64和1.97个百分点。可见,PTBG模型能更好地对中文古籍实体关系进行联合抽取,为低资源的小样本深度学习场景提供了新的研究思路与方法。

融合层次对比学习的威胁情报实体关系抽取

针对当前威胁情报领域实体关系抽取语义利用不充分、准确率低下的问题,提出一种基于层次对比学习的威胁情报领域实体关系抽取模型。利用预训练模型提取文本特征,融合三元组、句子级别正负样例信息输入到层次对比层进行全局语义和局部边界增强,通过级联解码层加强实体识别与关系抽取的交互,采用层叠指针标注方式抽取出所有的实体关系三元组。根据威胁情报数据特点设计实体关系标注方案,构建数据集进行实验验证,模型在自建数据集上F1值达到82%,在公开数据集上的结果达到79%,验证了模型的有效性。

基于改进CasRel模型的党建领域实体关系抽取研究

随着实体关系抽取技术在党建领域数据处理的应用,有效地加强了党建工作信息化,为党建领域数据支持和智能分析提供了保障。然而,党建领域文本有复杂的语境和逻辑关系,为进一步解决党建数据集中实体嵌套以及三元组关系重叠的问题,提出了一种CasRel改进模型的实体关系抽取算法,首先,使用ERNIE编码器进行编码,完成对语义信息的深度挖掘;其次,在编码层增加BiLSTM模块以解决党建数据集中实体跨度较长的问题;最后,在客实体-关系识别层中加入layer normalization和linear层,确保模型能够更好地捕捉输入数据的信息,实现党建领域的实体关系抽取。实验表明,在自行构建的党建领域数据集和DuIE数据集上,与原CasRel模型相比,改进模型的F1值分别提升了3.21%和4.85%,证实了改进模型对党建领域数据集中重叠关系抽取的有效性。

基于深度学习的信息抽取模型研究

对信息抽取中的关系抽取展开研究,针对现有关系抽取技术中存在的难以捕捉文本间更深层次语义信息的问题提出基于深度学习的信息抽取模型,使用BERT模型进行词向量嵌入,通过图卷积网络构建依存关系图,利用注意力机制为不同特征分配不同权重,Softmax完成关系分类,实现关系的抽取,在DocRED数据集上与5个基准模型做实验对比,证明所提模型的F1值最优,说明该模型能够提高抽取的准确度。

基于改进空间双模态图推理的收据信息抽取法

针对空间双模态图推理的SDMG-R算法未深入分析复杂文档布局,关键信息抽取精度低等问题,该文提出了一种改进的SDMG-R算法。为了增强模型对图像中重要信息的关注能力,减少噪声和不相关信息的敏感,在图像特征提取模块中融入了注意力机制;为了扩大卷积核的感受野,捕捉更广泛的上下文信息,在U-Net下采样部分将普通的卷积改成扩张卷积;为了捕捉句子中复杂的依赖关系,使用BERT预训练模型来提取收据中的文本特征;且为了能够更好地处理数据中节点之间的复杂关系,在图推理模块中嵌入句子长度之比。实验结果表明,相较于原空间双模态图推理的SDMG-R算法,改进方法的精度在WildReceipt数据集上提升了2.32%。该文所提关键信息抽取的方法对收据的智能化管理与分析具有现实意义。

在位抽取式烟气碳排放在线监测系统研究

采用热湿紫外差分法的在线监测系统的监测点位增加了CO_(2)等碳排放因子的监测,故面临复杂改造和高成本等问题。为此,研制了一种在位抽取式烟气碳排放在线监测系统。采用了基于半导体电子制冷的冷干预处理原理及非分散红外检测原理。重点介绍了系统核心器件及结构组成、非分散红外光学设计及检测流程、预处理流程以及应用模式,并对系统的关键性能进行了详细试验。试验结果表明,系统H_(2)O对CO_(2)的干扰误差不超过0.68%F.S.(在环境温度50℃下)、线性误差不超过-0.57%F.S.、重复性不超过0.12%、一周零点漂移为0%F.S.、一周量程漂移不超过0.12%F.S.,均符合国家和行业标准要求。该系统适用于固定污染源烟气碳排放在线监测,有助于稳步推进碳监测体系的建设。

AMFRel:一种中文电子病历实体关系联合抽取方法

中文电子病历实体关系抽取是构建医疗知识图谱,服务下游子任务的重要基础。目前,中文电子病例进行实体关系抽取仍存在因医疗文本关系复杂、实体密度大而造成医疗名词识别不准确的问题。针对这一问题,提出了基于对抗学习与多特征融合的中文电子病历实体关系联合抽取模型AMFRel(adversarial learning and multi-feature fusion for relation triple extraction),提取电子病历的文本和词性特征,得到融合词性信息的编码向量;利用编码向量联合对抗训练产生的扰动生成对抗样本,抽取句子主语;利用信息融合模块丰富文本结构特征,并根据特定的关系信息抽取出相应的宾语,得到医疗文本的三元组。采用CHIP2020关系抽取数据集和糖尿病数据集进行实验验证,结果显示:AMFRel在CHIP2020关系抽取数据集上的Precision为63.922%,Recall为57.279%,F1值为60.418%;在糖尿病数据集上的Precision、Recall和F1值分别为83.914%,67.021%和74.522%,证明了该模型的三元组抽取性能优于其他基线模型。

融合方面语义和网格标记的多语言意见元组抽取

面向方面的细粒度意见抽取(Aspect-oriented Fine-grained Opinion Extraction,AFOE)任务的目的是以意见对的形式抽取文本评论中的方面和意见词或者再抽取情感极性,形成意见三元组。以往的研究通常以管道方式抽取意见元素,容易出现错误传播的问题,而且大多数只关注方面词和意见词的单个子任务抽取,忽略了不同意见元素之间的相互影响和指示信息,导致意见挖掘任务不完整。此外,面向中文的意见元素抽取任务的研究较少。针对以上问题,文中提出了融合方面语义和网格标记的多语言意见元组抽取模型。首先,使用向内LSTM(Inward-LSTM)和向外LSTM(Outward-LSTM)编码方面词及其对应的上下文信息建立方面和候选意见词的关联,再结合全局信息生成特定方面语义特征的上下文表示,有利于提高下游意见元素抽取的性能。其次,使用网格标记方案的推理策略,利用方面和意见词之间的依赖指示信息进行更准确的抽取,以端到端的方式处理AFOE任务。相比基线模型,对于方面意见对抽取任务,改进的模型在中英文数据集上的F1值提高了0.89%~4.11%,对于三元组抽取任务提高了1.36%~3.11%,实验结果表明,改进的模型能有效地对中英文评论的意见元素进行抽取,性能显著优于基线模型。

基于双仿射注意力的迭代式开放域信息抽取

当前的开放域信息抽取(OpenIE)方法无法同时兼顾抽取结果的紧凑性和模型的性能,导致其抽取结果不能更好地被应用到下游任务中。为此,提出一个基于双仿射注意力进行表格填充及迭代抽取的模型。首先,该模型通过双仿射注意力学习单词之间的方向信息、捕获单词对之间的相互作用,随后对二维表格进行填充,使句子中的成分相互共享并识别紧凑成分;其次,使用多头注意力机制将谓词和参数的表示应用于上下文的嵌入中,使谓词和参数的提取相互依赖,更好地链接关系成分和参数成分;最后,对于含有多个关系成分的句子,使用迭代抽取的方式在无须重新编码的情况下捕获每次提取之间固有的依赖关系。在公开数据集CaRB和Wire57上的实验表明,该方法比基线方法实现了更高的精度和召回率,F_(1)值提升了至少1.4%和3.2%,同时产生了更短、语义更丰富的提取。

基于深度学习的医学实体和关系联合抽取研究综述

命名实体识别与关系抽取作为医学领域信息抽取的核心任务,能够从非结构化或半结构化的文本中自动识别实体边界、实体类型以及实体之间的关系。不仅能够促进知识的发现与整合,应用于临床决策,加强药物的发现和再利用,还可以助力公共卫生监测和疾病预防。回顾了实体识别和关系抽取的发展历程,介绍了常用评价指标和医学领域实体关系联合抽取数据集,指出目前联合抽取领域存在医学文本结构比较复杂、实体关系重叠句子抽取率低等问题。根据这些问题,进一步探讨了基于深度学习的实体关系联合抽取方法在医学领域上的应用。这些方法根据模型解码的方式主要分为基于共享参数的联合抽取模型和基于联合解码的联合抽取模型,从问题解决角度对不同的模型的优缺点进行探讨分析和总结。讨论了医学领域实体关系抽取面临的挑战和未来的研究方向。

基于自适应损失函数的句子级远程监督关系抽取

远程监督关系抽取是一种关系抽取方法,现有方法主要采用多实例学习,在具有相同实体对的样例包上进行关系抽取。但是,包级方法只能缓解却并不能完全解决错误标签问题。基于此,文中首先分析了干净数据和噪声数据的分布,提出了一种新的自适应损失函数;在此基础上,提出了一种基于自适应损失函数的句子级远程监督关系抽取方法。在公开数据集NYT-10以及基于TACRED的合成数据集上的实验结果表明:文中提出的方法优于对比文献中的方法,能够更有效地区分错误标签噪声样例和干净样例,提高了句子级远程监督关系抽取的准确率。