基于预训练语言模型的互联网开源信息抽取与情报分析应用研究——以“学术、讲座、论坛”等会议活动为例

[目的/意义]互联网开源信息具有海量、多源异构等特点,如何从中及时发现有价值的信息,并对信息加以情报利用一直是情报研究和实践应用的重点领域之一。文章提出一套开源的学术会议领域信息抽取框架,解决信息抽取语义理解和关联融合的问题,并将其应用于情报研究中,为解决情报分析的智能应用提供工具和方法。[方法/过程]采集网络上新闻报道的内容,采用预训练语言模型方法挖掘学术会议事件信息,提出面向特定领域的信息抽取框架,实现会议名称及其举办时间、地点、出席人、发言人信息的抽取,并进行实际的情报利用研究案例分析。[结果/结论]相较于单一抽取实体的方法,抽取会议核心元素更具有情报关联性和准确性,可以更好地对开源热点事件发现和跟踪监测、目标人物轨迹动向分析等研究提供方法,为情报分析应用和情报研判奠定基础。

通用抽取引擎框架:一种新的Web信息抽取方法的研究

大规模的网络视频信息既为用户信息分享带来了方便,同时也为国家监管部门带来了新的挑战。考虑到效率问题,在线视频监管则主要考虑视频描述信息。主要研究了网络视频描述信息的抽取问题,提出了一种新的Web信息抽取方法:通用抽取引擎框架,其主要包括对视频描述信息抽取问题的形式化描述和用户感知的视频网站逻辑模型。该方法在国家某部委的视频监管项目中已得到应用,并取得了很好的效果。实验结果表明,该方法的扩展性、通用性和抽取准确率大大优于其他方法。

上市公司公告篇章级信息抽取框架与实现

【目的/意义】构建一个面向上市公司公告的篇章级信息抽取框架,实现多种类型信息的抽取,并服务于投资和监管。【方法/过程】以深圳A股市场公告中的635篇并购重组公告为例,从中抽取了交易信息和公司财务指标等信息,对框架和方法进行验证。【结果/结论】运用本文所提框架和方法实现的字段抽取准确率为87.6%,效果较好。本文提出的信息抽取框架及方法在上市公司公告信息抽取中是有效的,可以为投资者的投资决策和监管机构的监管提供数据基础。

汇编源程序框架抽取系统设计与实现

抽取汇编源程序的流程和框架结构在反汇编、代码测试、逆向工程等技术领域中都有重要应用。目前,针对汇编源程序进行框架抽取的工具很少。本文介绍了为用户研发的汇编源程序框架抽取系统的总体结构和工作流程,然后详细论述了系统实现的关键技术,最后讨论了它的特点。

基于UIE框架的电网故障处置预案实体和事件识别方法

电网故障处置预案区域差异化明显且实体嵌套复杂,仅凭实体类型识别难以准确地将其结构化。提出一种基于通用信息抽取(universal information extraction,UIE)框架的故障处置预案实体和事件识别方法。首先,提出基于句法分析的故障处置预案实体标记方法,生成故障处置预案标记实体;然后,接入ERNIE 3.0编码及双指针解码模块替代UIE框架中生成式模型,通过调节超参数训练故障处置预案实体与实体标签在高维空间的映射关系及实体嵌套关系;最后,基于句法结构组合嵌套复杂的预案实体得到预案事件。通过不同区域电网调控中心预案验证,与其他算法相比,所提方法对故障处置预案具有较高的实体和事件识别精度,能够准确识别预案中故障处置策略和恢复策略,为故障情况下区域电网弹性提升提供支撑。

从用户标注中抽取本体框架与知识组织系统创新研究

针对用户标注的弱点,在标签的基础上构建本体框架并赋予标签丰富的语义,有助于进一步改善知识组织系统的性能。在大量标签数据的支持下,提取知识框架是一种建立本体框架的有效方法,提取方法主要采用特征或属性概括法,即针对一类标签集合的共同特征抽取它们的上位概念,并根据这些上位概念的关系建立知识框架。对基于两种系统的语义分析而构建的可以整合标签和概念本体的兼容本体进行分析可知,它吸取了用户标注的灵活、多元、表达性强大的特征,提高了知识组织系统的组织能力和标引功能;同时,也改进了用户标注系统的语义能力,使之具有丰富的结构和语义表达功能。

基于本体的Web信息抽取系统

为了解决已有信息抽取系统中方法不具有重用性及不能抽取语义信息的问题,提出了一个基于领域本体的面向主题的Web信息抽取框架。对Web中文页面,借助外部资料,利用本体解析信息,对文件采集及预处理中的源文档及信息采集、文档预处理、文档存储等技术进行了分析设计,提出了文本转换中的分词及词表查询和命名实体识别算法,并给出了一种知识抽取方案。实验结果表明,该方法可以得到性能较高的抽取结果。

基于网络科技信息的事件抽取研究

【目的/意义】为了帮助科研人员从海量信息中发现热点和重大研究进展,抽取出有用的事件信息。【方法/过程】采用条件随机场方法和语义角色标注技术,构建了模型进行训练和学习。【结果/结论】提出了科技事件抽取框架,实现了科技事件抽取系统,取得了一定的抽取效果,该系统的可扩展性和可移植性有待提高。

An easy-to-use evaluation framework for benchmarking entity recognition and disambiguation systems

Entity recognition and disambiguation （ERD） is a crucial technique for knowledge base population and information extraction. In recent years, numerous papers have been published on this subject, and various ERD systems have been developed. However, there are still some confusions over the ERD field for a fair and complete comparison of these systems. Therefore, it is of emerging interest to develop a unified evaluation framework. In this paper, we present an easy-to-use evaluation framework （EUEF）, which aims at facilitating the evaluation process and giving a fair comparison of ERD systems. EUEF is well designed and released to the public as an open source, and thus could be easily extended with novel ERD systems, datasets, and evaluation metrics. It is easy to discover the advantages and disadvantages of a specific ERD system and its components based on EUEF. We perform a comparison of several popular and publicly available ERD systems by using EUEF, and draw some interesting conclusions after a detailed analysis.