基于双仿射注意力的迭代式开放域信息抽取

当前的开放域信息抽取(OpenIE)方法无法同时兼顾抽取结果的紧凑性和模型的性能,导致其抽取结果不能更好地被应用到下游任务中。为此,提出一个基于双仿射注意力进行表格填充及迭代抽取的模型。首先,该模型通过双仿射注意力学习单词之间的方向信息、捕获单词对之间的相互作用,随后对二维表格进行填充,使句子中的成分相互共享并识别紧凑成分;其次,使用多头注意力机制将谓词和参数的表示应用于上下文的嵌入中,使谓词和参数的提取相互依赖,更好地链接关系成分和参数成分;最后,对于含有多个关系成分的句子,使用迭代抽取的方式在无须重新编码的情况下捕获每次提取之间固有的依赖关系。在公开数据集CaRB和Wire57上的实验表明,该方法比基线方法实现了更高的精度和召回率,F_(1)值提升了至少1.4%和3.2%,同时产生了更短、语义更丰富的提取。

国内基于本体的信息抽取研究现状与热点分析

以国内2002年1月至2016年5月间发表的与基于本体的信息抽取有关的期刊文献为分析对象,运用内容分析法从领域本体的构建及基于本体的信息抽取方法、信息抽取模型、信息抽取算法、信息抽取系统、信息抽取的应用领域等6个方面对国内该领域的研究现状与热点进行分析,认为目前国内该研究领域具有研究内容从理论走向实践、研究主体多样性、尚未形成核心作者和核心团队等特点,指出本体构建的自动化及基于本体的信息抽取的评估机制、信息抽取的实践应用将成为未来的发展趋势。

基于文档顺序与多模态模型的金融票据信息抽取

目前的文档信息抽取方法大多针对简单的文档,在抽取包含背景干扰和结构复杂的金融票据时效果不佳。针对复杂金融票据中实体关系难以正确匹配的问题,提出了顺序重构方法和LayoutLMv3-GRU信息抽取模型。构建背景复杂的金融票据数据集,利用文本、布局和图像三个模态进行信息抽取。利用Layout-Parser工具,设计排序模块,使文本信息按照上下文关系排序,并把空间距离较远且逻辑关系较近的单词进行重新的排列组合。通过结合改进的LayoutLMv3模型与GRU网络,使模型的准确率进一步提升。并在公共数据集FUNSD与自建的复杂金融数据集进行实验。结果表明,该方法的F1值比LayoutLM3模型提升2.37%。尤其在自建的复杂金融数据集上,模型F1值达到了88.36%,验证了该方法在抽取复杂票据信息时的优越性与处理各种文档时的通用性。

基于规则匹配的道路交通事故重要信息抽取方法研究

针对道路交通事故报告,提出基于规则匹配的道路交通事故重要信息抽取方法。首先,结合道路交通事故报告特点构建道路交通事故关键信息指标体系,并对非结构道路交通事故报告进行分句、分词处理;其次,构建每项指标的提取规则进行信息提取;最后,将提出的基于规则匹配模型的道路交通事故重要信息抽取方法应用于实际案例,验证模型的有效性。实验结果表明,采用此方法能够较为准确地抽取道路交通事故重要信息。

国外Web信息抽取研究综述

Web信息抽取旨在为人们提供获取网络知识单元的有力工具,以应对信息爆炸带来的严峻挑战。在回顾Web信息抽取基本理论的基础之上,评述了Web信息抽取主要研究内容的现状,并着重对Web信息抽取的评价研究和应用研究进行了介绍,以期有助于本研究继续向前发展。

微博文本灾情信息抽取系统设计与实现

为了充分利用突发自然灾害发生时微博平台产生的大量灾情相关信息,建立一个微博灾情信息抽取系统具有重要意义。本文设计并实现了一个多线程爬虫系统。该系统基于Flask框架、Echarts可视化类库和百度地图API,并利用MySQL作为数据库管理系统。实际应用结果显示,该系统能够快速的采集微博数据,实现了微博文本灾情信息抽取与可视化分析。

基于大型语言模型指令微调的心理健康领域联合信息抽取

信息抽取目的在于从文本中提取关键的信息。心理健康领域的信息抽取能力反映了语言模型对人类心理健康相关信息的自然语言理解能力。提高语言模型的领域信息抽取能力,还能为AI心理健康服务提供重要的知识来源。但目前心理健康信息抽取的中文指令数据集十分匮乏,这限制了相关研究和应用的发展。针对以上问题,该文在心理学专家的指导下提示ChatGPT生成样本实例,并通过设计生成指令以及数据增强,构建了5641条包含命名实体识别、关系抽取和事件抽取三项基本抽取任务的心理健康领域联合信息抽取指令数据集,旨在填补心理健康领域信息抽取中文指令数据集的不足。随后使用该指令数据集对大型语言模型进行参数高效微调。与基线模型的性能对比以及人工评估的实验结果表明,大型语言模型经过有效的指令微调后可以完成心理健康领域信息抽取的联合任务。

基于Transformer交互指导的医患对话联合信息抽取方法

针对电子病历构建过程中难以捕捉信息抽取任务之间的关联性和医患对话上下文信息的问题,提出了一种基于Transformer交互指导的联合信息抽取方法,称为CT-JIE(collaborative Transformer for joint information extraction)。首先,该方法使用滑动窗口并结合Bi-LSTM获取对话中的历史信息,利用标签感知模块捕捉对话语境中与任务标签相关的信息;其次,通过全局注意力模块提高了模型对于症状实体及其状态的上下文感知能力;最后,通过交互指导模块显式地建模了意图识别、槽位填充与状态识别三个任务之间的交互关系,以捕捉多任务之间的复杂语境和关系。实验表明,该方法在IMCS21和CMDD两个数据集上的性能均优于其他基线模型和消融模型,在处理联合信息抽取任务时具有较强的泛化能力和性能优势。

面向飞机故障文本的信息抽取

针对人工提取飞机故障信息工作量大、效率低、成本高等问题,提出一种基于领域词典、规则和BiGRU-CRF模型的信息抽取方法。结合飞机领域知识的特点,基于飞机故障文本信息构建领域词典库和模板规则,并对故障信息进行语义标注。采用BiGRU-CRF深度学习模型进行命名实体识别,BiGRU获取上下文的语义关系,CRF解码生成实体标签序列。实验结果表明,基于领域词典、规则和BiGRU-CRF模型的信息抽取方法准确率高达95.2%,验证了该方法的有效性。本文方法能够准确识别出飞机故障文本中的关键词如时间、机型、故障件名称、故障件制造单位等信息,同时,根据领域词典和规则对识别结果进行修正,有效提高了信息抽取的效率和准确性,解决了传统实体抽取模型长期依赖人工特征的问题。

一种面向催化材料领域的文献信息抽取方法

为有效利用PDF文献中的非结构化文本数据,面向费托合成催化材料领域文献,设计了关键信息抽取流水线从PDF文献中抽取表格及其相应注释等关键信息。以微分二值化网络(differentiable binarization network, DBNet)为基准模型,通过引入自适应空间注意力(adaptive spatial attention, ASA)模块,提出了DB-ASA文本检测模型,提高了检测精度。采用单视觉文本识别模型(scene text recognition with a single visual model, SVTR)进行文本识别,结合领域字典文件在自建数据集上对模型进行微调,文本识别准确率可达93.87%。

融入结构先验知识的隐私信息抽取算法

随着数据脱敏技术的持续进步,精确识别隐私数据已成为关键挑战.目前,隐私信息抽取算法主要基于传统自然语言处理技术,如双向循环神经网络和基于注意力机制的预训练语言模型(如BERT).这些模型利用其强大的上下文特征表示能力,克服了传统方法在多义词表示方面的限制.然而,它们在精确判断实体边界方面仍有改进空间.提出了一种新颖的隐私信息抽取算法,该算法融合结构先验知识,通过一种隐私数据结构知识增强机制,提高模型对句子语义结构的理解,从而提高了隐私信息边界判断的准确性.此外,还在多个公开数据集上对模型进行评估,详细的实验结果展示了其有效性.

一种针对对话文本属性级情感信息抽取的词对关系建模方法

属性级情感分析旨在获取文本中包含的细粒度情感信息,因其应用广泛而备受关注。然而传统的属性级情感分析研究大多基于非交互场景下的普通评价文本,针对对话文本的交互式场景下属性级情感分析的研究工作则非常稀缺。基于此现状,提出了针对对话文本交互式场景下的属性级情感信息联合抽取任务,获取由目标属性、意见表达以及意见对应的情感极性构成的完整的细粒度情感信息三元组,旨在通过一个任务获取交互式对话中最后一条发言包含的完整细粒度情感信息。针对该任务设计了一种端到端的基于词对关系建模的抽取方法,对词对间关系进行建模后将对话文本映射成一个有向图,将解码过程转换为在有向图中寻找特定环结构的过程。为了提升词对关系建模的准确率,设计了一种新颖的模型结构,在构建词对关系表征时融合词对相对距离信息与对话轮次信息,并通过多粒度二维卷积加强词对间的信息交互。此外,设计了一种动态损失权重方法,有效缓解了对话文本中词对关系类别分布不平衡问题。实验结果显示,本文方法与选用的强基线方法对比,F 1分数平均提升了7.70%,最高提升了15.05%。

基于预训练语言模型的互联网开源信息抽取与情报分析应用研究——以“学术、讲座、论坛”等会议活动为例

[目的/意义]互联网开源信息具有海量、多源异构等特点,如何从中及时发现有价值的信息,并对信息加以情报利用一直是情报研究和实践应用的重点领域之一。文章提出一套开源的学术会议领域信息抽取框架,解决信息抽取语义理解和关联融合的问题,并将其应用于情报研究中,为解决情报分析的智能应用提供工具和方法。[方法/过程]采集网络上新闻报道的内容,采用预训练语言模型方法挖掘学术会议事件信息,提出面向特定领域的信息抽取框架,实现会议名称及其举办时间、地点、出席人、发言人信息的抽取,并进行实际的情报利用研究案例分析。[结果/结论]相较于单一抽取实体的方法,抽取会议核心元素更具有情报关联性和准确性,可以更好地对开源热点事件发现和跟踪监测、目标人物轨迹动向分析等研究提供方法,为情报分析应用和情报研判奠定基础。

面向真实世界的知识挖掘与知识图谱补全研究(三):基于正则表达式对膀胱癌真实世界数据的结构化信息抽取

随着医疗大数据的发展,真实世界研究近些年来越来越受到重视,发展前景良好,但真实世界研究的实施仍存在一些挑战,引起学者们广泛讨论。真实世界数据的非结构化是目前最亟待解决的问题。本研究以正则表达式为基础,通过基于规则的信息抽取方法对武汉大学中南医院近几年膀胱癌患者的入院记录、病理报告、手术记录和影像记录等数据进行结构化信息抽取,并以准确率和召回率为指标评价其抽取效果,旨在为后续研究提供参考。

基于通用信息抽取大模型的特定领域文本实体关系抽取研究

引言实体关系抽取是基于自然语言处理,利用信息抽取技术,从大规模非结构或半结构的自然语言文本中抽取结构化信息,并识别实体之间的关系,生成“实体、关系、实体”三元组的过程。这些实体可以是人物、国家、组织、装备等,而关系则是指这些实体之间的联系或互动。在特定领域,实体关系抽取的应用十分广泛,如情报分析、态势感知、战略决策等。

面向合同信息抽取的动态多任务学习方法

对于合同文本中要素和条款两类信息的准确提取,可以有效提升合同的审查效率,为贸易各方提供便利化服务.然而当前的合同信息抽取方法一般训练单任务模型对要素和条款分别进行抽取,并没有深挖合同文本的特征,忽略了不同任务间的关联性.因此,采用深度神经网络结构对要素抽取和条款抽取两个任务间的相关性进行研究,并提出多任务学习方法.所提方法首先将上述两种任务进行融合,构建一种应用于合同信息抽取的基本多任务学习模型;然后对其进行优化,利用Attention机制进一步挖掘其相关性,形成基于Attention机制的动态多任务学习模型;最后针对篇章级合同文本中复杂的语义环境,在前两者的基础上提出一种融合词汇知识的动态多任务学习模型.实验结果表明,所提方法可以充分捕捉任务间的共享特征,不仅取得了比单任务模型更好的信息抽取结果,而且能够有效解决合同文本中要素与条款间实体嵌套的问题,实现合同要素与条款的信息联合抽取.此外,为了验证该方法的鲁棒性,在多个领域的公开数据集上进行实验,结果表明该方法的效果均优于基线方法.

面向开源情报的信息抽取大语言模型

针对开源情报信息抽取过程依赖多类专用模型和抽取属性限制强等问题,基于一种GLM大语言模型进行指令微调和上下文学习提高信息抽取准确率,利用指令自动化生成方法对原始问题进行泛化,构建SFT数据集。开展多任务统一的微调学习常见抽取模式,通过自动思维链扩充提示增强模型推理能力。实验结果表明,该方法在开源情报命名实体识别、关系抽取和事件抽取任务上,微调模型能满足不同场景下的抽取要求,具有较好的抽取效果。

基于ChatGPT的网络空间中水文文本信息抽取技术

网络空间中水文数据的体量大、种类繁多、分布广泛、价值密度较低且质量不一,对象化的数据组织方式能够有效地表达水文对象的地理空间位置、特征属性和时间属性。利用ChatGPT进行大规模水文文本的对象化信息抽取,是水文水资源领域利用网络丰富信息资源的有效方法之一,这种方法可以自动从时间、空间和要素3个维度抽取要素类型、要素属性、时间范围、时间尺度、空间范围和空间尺度等6个特征。研究显示,ChatGPT的合理应用不仅可以有效减少信息抽取的人力成本和降低技术门槛,还初步证实了生成式人工智能在水文水资源领域的有效应用。

基于BERT-BiLSTM-CRF的电力事故信息抽取方法

为了探究电力事故规律,建立人身安全预警模型,在大规模事故样本中自动精准抽取信息并进行多维分析十分必要。传统中文信息实体特征抽取的精确度较低,因此,基于新型中文处理的命名实体识别技术,结合多种特定机器学习和深度学习模型,提出一种专用于电网事故领域的BERT-BiLSTM-CRF模型。通过基于转换器的双向编码表示预训练模型输出高质量词向量,利用语义增强掩码策略增强模型深入理解文本整体结构的能力。运用双向长短期记忆网络模型同时捕捉上下文信息,完成特征提取。根据条件随机场模型输出最优预测序列。试验结果表明,专用模型优势显著,其准确率、召回率和F1值均高于3种现有实体识别模型,包括预训练好的基于生成式预训练转换器技术的通用大模型。试验验证了所提方法在处理中文电力事故信息抽取问题时准确度高,具有显著优势。

信息抽取技术的发展现状及构建方法的研究

介绍了信息抽取(IE)技术的基本概念、信息抽取系统的抽取过程。对现有的信息抽取系统构建方法进行了分类和介绍,并对这些方法进行了讨论和比较,同时指出了构建中文信息抽取系统所需要解决的关键的基础问题。