嵌套命名实体识别研究进展

嵌套命名实体之间蕴含着丰富的语义关系与结构信息,对于关系抽取、事件抽取等下游任务的执行至关重要。近年来,深度学习技术由于能够获取文本中更为丰富的表征信息,在文本信息抽取模型的精确度上已经逐渐超过了传统基于规则的方法,因此许多学者开展了基于深度学习的嵌套命名实体识别技术研究,并获得了目前最先进的性能。对现有的嵌套命名实体识别技术进行了全面的综述,介绍了嵌套命名实体识别最具代表性的方法及最新应用技术,并对未来面临的挑战和发展方向进行了探讨和展望。

多跳机器阅读理解研究进展

与常规的单跳机器阅读理解相比,多跳机器阅读理解(MHMRC)需要在多个相关文档段落中进行多跳推理以实现对复杂问题的理解和回答,其更接近于人类的语言推理能力,具有广阔的应用前景但也极具挑战性。阐述MHMRC的研究背景,将现有方法根据适用场景分为封闭集合问答和开放域问答两类,主要包括基于问题分解的方法、基于图神经网络的方法、改进检索的方法、基于推理路径的方法等,分别从模型架构、特点、优劣等方面进行分析。介绍用于多跳推理的非结构化文本数据集和评测指标,对比各模型的性能表现。在此基础上,分析目前MHMRC研究的热点与难点,指出未来发展方向。

PWFT-BERT:一种融合排序学习与预训练模型的检索排序方法

信息检索是从文档集合或互联网中找出用户所需信息的过程,细化为召回和排序两个阶段。针对排序阶段中相关文档的重排序,提出一种称为融合排序学习与预训练模型的检索排序方法(Pair-Wise FineTuned Bidirectional Encoder Representation from Transformers,PWFTBERT)。通过对候选论文数据集使用BM25等算法召回出与查询相关的小范围文档后,可应用PWFT-BERT对召回得到的文档集合进行排序。为构造pair-wise形式的训练数据,提出一种伪负例生成算法生成训练数据,并使用排序学习方法微调预训练模型使其适配排序任务。对比IT-IDF和BM25基线方法,PWFT-BERT在WSDM-DiggSci 2020数据集上的检索结果提升了240%和74%,证明了所提方法的有效性。

分层区域穷举的中文嵌套命名实体识别方法

嵌套命名实体之间蕴含着丰富的语义关系与结构信息,开发能够准确识别嵌套命名实体的算法具有重要研究意义。针对现有的中文嵌套命名实体数据集中存在错标漏标以及现有识别方法大多忽略嵌套实体内部信息关联关系而导致准确性下降的问题,结合自动生成与手动标注的方法构建新的中文嵌套命名实体数据集NEPD,在此基础上,设计一种利用分层区域穷举的中文嵌套命名实体识别模型。该模型通过遍历文本组合实体,获取低层编码层的词嵌入信息;其次,为使邻接编码层之间实现信息交换,将低层编码层的词嵌入信息融入高层编码层;最后,利用多层解码层使长度为L的命名实体仅在第L层预测,有效防止错误传播现象发生从而提高识别准确度。实验结果表明,在没有外部知识资源的情况下,LREM模型在嵌套命名实体与非嵌套命名实体上的识别F1值分别达到87.19%和86.27%,其中非嵌套命名实体识别的F1值比传统的BiLSTM+CRF模型提升1.18%,验证了该模型的可靠性。

对构建新的企业财务制度体系的思索

我国的社会经济发展自改革开放以来呈现出了稳步上升的良好发展趋势,各个行业领域均迎来了全新的发展机遇,面临着激烈的市场竞争,应建立完善的企业财务制度体系,发挥出该体系的积极作用,使企业的内部经营和管理活动更规范。本文对企业财务制度体系的重要作用进行了探讨,分析了构建新的企业财务制度体系的有效策略,以此来推动企业未来更好的发展。

基于动态图注意力聚合多跳邻域的实体对齐

实体对齐是实现对不同来源知识库进行融合的重要技术方法,在知识图谱、知识补全领域具有广泛应用。现有基于图注意力的实体对齐模型多使用静态图注意力网络且忽略了实体属性中的语义信息,导致模型存在有限注意、难以拟合、表达能力不足等问题。针对这些问题,开展基于动态图注意力结构建模实体对齐方法研究,首先使用图卷积层建模目标实体的单跳节点表示,其次应用动态图注意力网络获得多跳节点注意力系数并建模,再次利用逐层门控网络聚合图卷积层与动态图注意力层输出的单跳、多跳节点信息,最后拼接通过外部知识预训练自然语言模型提取的实体名称属性嵌入并进行相似度计算。该方法在DBP15K的三类跨语言数据集中都获得了一定的提高,证明了应用动态图注意力网络与融入实体属性语义在提高实体表示能力上的有效性。

一种动态字词信息融合的中文命名实体识别方法

命名实体识别(Name Entity Recognition,NER)是文本信息抽取的关键步骤之一。近年来,结合词汇信息与字符信息的命名实体识别方法表现优异,引起了众多学者的广泛注意。然而目前的字词融合策略还存在可迁移性差、词汇信息遗失、难以明确词汇边界信息等问题。基于此,提出一种动态字词信息融合的中文命名实体识别方法,首先利用多头自注意力机制动态融合对应位置的词汇信息与字符信息形成词汇集合信息,其次动态融合词汇集合信息确定对应的词汇边界,利用词汇向量优化字符向量表示,最后利用BiLSTM-CRF完成序列解码识别命名实体。实验证明,在MSRA、ONTO、WEIBO等3个公开数据集上,中文命名实体识别方法较之字粒度的命名实体识别方法性能大幅提升,同时可与BERT等预训练模型有效结合,具有良好的可迁移性、可完整而动态的融合词汇信息与字符信息提升命名实体识别性能。