基于RoBERTa-Span-Attack的标签指针网络军事命名实体识别

军事领域文本中存在大量军事实体信息,准确识别这些信息是军事文本信息提取和构建军事知识图谱的基础性任务。首先,提出了一种基于RoBERTa预训练模型、跨度和对抗训练的标签指针网络的融合深度模型(RoBERTa-Span-Attack),用于中文军事命名实体识别;然后,采用了一种基于Span的标签指针网络,同时完成实体的起止位置和类别的识别任务;最后,在模型训练过程中加入对抗训练策略,通过添加一些扰动来生成对抗样本进行训练。在军事领域数据集上的实验结果表明:所提出的军事领域命名实体识别模型相较于BERT-CRF、BERT-Softmax和BERT-Span,在识别准确度上具有更优的效果。

基于连续提示注入与指针网络的农业病害命名实体识别

针对农业病害领域命名实体识别过程中存在的预训练语言模型利用不充分、外部知识注入利用率低、嵌套命名实体识别率低的问题,本文提出基于连续提示注入和指针网络的命名实体识别模型CP-MRC(Continuous prompts for machine reading comprehension)。该模型引入BERT(Bidirectional encoder representation from transformers)预训练模型,通过冻结BERT模型原有参数,保留其在预训练阶段获取到的文本表征能力;为了增强模型对领域数据的适用性,在每层Transformer中插入连续可训练提示向量;为提高嵌套命名实体识别的准确性,采用指针网络抽取实体序列。在自建农业病害数据集上开展了对比实验,该数据集包含2933条文本语料,8个实体类型,共10414个实体。实验结果显示,CP-MRC模型的精确率、召回率、F1值达到83.55%、81.4%、82.4%,优于其他模型;在病原、作物两类嵌套实体的识别率较其他模型F1值提升3个百分点和13个百分点,嵌套实体识别率明显提升。本文提出的模型仅采用少量可训练参数仍然具备良好识别性能,为较大规模预训练模型在信息抽取任务上的应用提供了思路。

基于深度字词融合的小麦种质信息实体关系联合抽取

为获得结构化的小麦品种表型和遗传描述,针对非结构化小麦种质数据中存在的实体边界模糊以及关系重叠问题,提出一种基于深度字词融合的小麦种质信息实体关系联合抽取模型WGIE-DCWF(wheat germplasm information extraction model based on deep character and word fusion)。模型编码层通过深度字词融合和上下文语义特征融合,提高密集实体特征识别能力;模型三元组抽取层建立层叠指针网络,提高重叠关系的提取能力。在小麦种质数据集和公开数据集上的一系列对比实验结果表明,WGIE-DCWF模型能够有效提高小麦种质数据实体关系联合抽取效果,同时拥有较好的泛化性,可以为小麦种质信息知识库构建提供技术支撑。

基于对比学习与梯度惩罚的实体关系联合抽取模型

针对使用全局指针网络进行实体关系抽取时特征信息不明显的实体关系类型数据稀疏问题,以及数据中存在的类别不平衡和错误标注问题,提出一种基于对比学习和梯度惩罚方法并使用改进的RoBERTa预训练模型的实体关系联合抽取模型,在阿里天池中文医疗信息处理评测基准数据集CBLUE2.0上进行实验的结果表明,该模型相比全局指针网络效果更优,能更有效完成复杂数据的实体关系抽取.

基于RoFormer预训练模型的指针网络农业病害命名实体识别

[目的/意义]针对实体嵌套、实体类型混淆等问题导致的农业病害命名实体识别(Named Entities Recognition,NER)准确率不高的情况,以PointerNet为基准模型,提出一种基于RoFormer预训练模型的指针网络农业病害NER方法RoFormer-PointerNet。[方法]采用RoFormer预训练模型对输入的文本进行向量化,利用其独特的旋转位置嵌入方法来捕捉位置信息,丰富字词特征信息,从而解决一词多义导致的类型易混淆的问题。使用指针网络进行解码,利用指针网络的首尾指针标注方式抽取句子中的所有实体,首尾指针标注方式可以解决实体抽取中存在的嵌套问题。[结果和讨论]自建农业病害数据集,数据集中包含2867条标注语料,共10282个实体。为验证RoFormer预训练模型在实体抽取上的优越性,采用Word2Vec、BERT、RoBERTa等多种向量化模型进行对比试验,RoFormer-PointerNet与其他模型相比,模型精确率、召回率、F1值均为最优,分别为87.49%,85.76%和86.62%。为验证RoFormer-PointerNet在缓解实体嵌套的优势,与使用最为广泛的双向长短期记忆神经网络(Bidirectional Long Short-Term Memory,BiLSTM)和条件随机场(Conditional Random Field,CRF)模型进行对比试验,RoFormer-PointerNet比RoFormer-BiLSTM模型、RoFormer-CRF模型和RoFormer-BiLSTM-CRF模型分别高出4.8%、5.67%和3.87%,证明用指针网络模型可以很好解决实体嵌套问题。最后验证RoFormer-PointerNet方法在农业病害数据集中的识别性能,针对病害症状、病害名称、防治方法等8类实体进行了识别实验,本方法识别的精确率、召回率和F1值分别为87.49%、85.76%和86.62%,为同类最优。[结论]本研究提出的方法能有效识别中文农业病害文本中的实体,识别效果优于其他模型。在解决实体抽取过程中的实体嵌套和类型混淆等问题方面具有一定优势。

基于公式化表达脱敏与边界识别加强的学术论文研究问题与方法识别研究

研究问题和方法是学术论文中的重要组成部分,其在学术论文组织、管理与检索以及科研成果评价中具有重要意义。为缓解研究问题与方法识别中存在的公式化表达依赖和词语边界识别错误等问题,本文提出一种联合公式化表达脱敏和边界识别加强的模型。具体地,公式化表达脱敏使用数据增强方法实现,边界识别加强使用指针网络与序列标注模型实现。随着学术论文的开放获取,学术论文全文被研究者用于实体识别任务中。为证明使用学术论文全文的必要性,本文人工构建了自然语言处理领域的摘要和全文标注数据集,同时设计了数值和内容指标,用于分析两类数据集中的问题和方法识别结果以及问题与方法关系对抽取结果的差异。十折交叉实验结果表明,本文模型的宏平均F1值优于SciBERT-BiLSTM-CRF基线模型3.69个百分点且存在显著性差异。根据摘要与全文实体识别和关系对抽取结果的对比,发现摘要中包含的问题与方法实体的表意较宽泛,全文中具有更多描述模型设计和训练细节的实体和关系对。

一种面向法律文书的命名实体识别模型

准确识别法律文书中的实体是构建智慧司法的基础,但通用的命名实体识别模型不能很好地识别法律文书中实体边界,识别结果不能与法律业务紧密结合。为有效提高法律文书中各实体的识别效果,文章提出一种面向法律文书的命名实体识别模型BBAG-NER。该模型首先利用BERT对字符序列进行编码,然后运用双向长短记忆神经网络和Attention分配不同权重以提高对实体边界的划分能力,最后采用全局指针识别备选司法实体片段,并通过实体分类器得到最终的实体类别。实验结果表明,在法律文书语料数据集上,BBAG-NER模型的F1值达到了89.18%,较BERT-CRF模型提高了2.1%,验证了模型整体的有效性。

基于交互引导的问答对联合生成模型

大规模问答对的自动生成在知识问答库构建和机器阅读理解等许多应用具有关键价值.尽管其重要性已得到广泛认可,现有问答对生成方法仍面临着严峻挑战.首先,在传统的问答对生成模型中,抽取式的答案获取方法难以适用于复杂的自然交互场景.相比较而言,生成式模型通过对文本的语义理解,能够自动生成表述更加自然的答案.其次,对于问答对生成任务来说,为了防止生成的答案和问题出现语义上的不匹配,需要更全面地捕捉并增强答案生成和问题生成两个子任务之间的交互.最后,由于答案抽取和问题生成存在任务难度的差异,这两个任务在联合训练的过程中会出现任务之间的优化不平衡问题.为此,本文提出了一个基于交互引导的问答对联合生成模型(Interaction-Guided Joint Abstractive QAPs Generation Model,IGJA-QAP).具体而言,本文设计了一个带有答案引导的多头门机制的联合生成模型,同时对两个子任务进行统一建模并有效地捕获和增强它们之间的信息交互,从而可以生成语义上匹配的问答对.本文在三个大规模数据集SQuAD、NewQA和CoQA上进行了综合全面的实验分析.本文提出的模型在答案生成任务上METEOR值平均分别超出其他最佳方法3.0%、5.9%和4.3%,问题生成任务上METEOR值平均分别超出其他最佳方法1.5%、0.5%和2.1%.实验结果表明,本文提出的模型达到了目前最高的性能.

面向武器装备领域的复杂三元组抽取方法

为解决武器装备领域中单实体重叠和实体对重叠的复杂三元组的抽取问题,提出了挂载武器装备领域知识结合多轮对抗攻击的复杂三元组抽取方法(RDA),该方法通过武器装备领域微调后的Bert获取更具领域语义的文本向量;利用在嵌入层发起多轮对抗的方式,实现模型层面的数据增强,减少模型对标注样本规模的依赖;采用单层指针网络获取头实体对头实体的类别进行判定,利用维基百科知识库对武器装备领域的实体类别解释信息的向量,对武器装备类别信息以字为最小粒度进行融合,缓解分层标注的天然缺陷;最后在横纵两个维度基于不同粒度的序列标注实现复杂三元组的抽取.在武器装备领域的数据集上精准率达到88.54%,召回率达到75.88%,F1值达到81.72%,取得了SOTA效果.实验表明提出的RDA方法对武器装备领域的信息利用更加充分,有效地缓解武器装备领域遇到的单实体重叠问题(SEO)和实体对重叠(EPO)问题.

融合历史答案特征的多粒度语义交互答案排序方法

为解决只根据单一特征判断答案质量的问题,提出一种结合历史答案特征及多粒度语义交互判断答案质量的排序方法。通过指针网络提取历史答案特征,用动态注意力剔除掉问答对及历史答案的弱相关部分,采用比较聚合池化提取局部语义特征向量,用池化归纳问答对及历史答案句子信息,通过加权求和提取全局语义特征向量。将问答对及历史答案的局部和全局语义特征向量融合,输入到分类器进行打分,按照得分对候选答案排名。实验结果表明,所提方法有效提升了答案选择的正确率。

基于机器阅读理解的行车故障诊断知识抽取

行车故障调查单是对行车故障诊断过程的文本记录,基于这些历史记录构建知识图谱可以更好地支持行车故障诊断智能化。由于该语料具有实体嵌套、实体跨度大、关系重叠等特点,传统的命名实体识别和关系抽取模型难以对其进行有效的知识抽取。针对语料中存在的实体嵌套和长实体识别问题,本文提出了一种融合强化学习的机器阅读理解模型,以问答形式进行实体识别,以指针网络进行解码;对于语料中存在的关系重叠问题,将关系抽取分为先识别主体再识别客体的两阶段,将不同实体对的关系抽取进行隔离。实验结果表明,基于机器阅读理解的方法在行车故障诊断领域的知识抽取上具有较好的性能,可以有效支持领域知识图谱构建。

基于Transformer模型的文本自动摘要生成

论文探讨文本摘要的自动生成技术,其任务是产生能够表达文本主要含义的简明摘要。传统的Seq2Seq结构模型对长期特征和全局特征的捕获和存储能力有限,导致所生成的摘要中缺乏重要信息。因此,论文基于Transformer模型提出了一种新的生成式文本摘要模型RC-Transformer-PGN(RCTP)。该模型首先使用了一个附加的基于双向GRU的编码器来扩展Transformer模型,以捕获顺序上下文表示并提高局部信息的捕捉能力,其次引入指针生成网络以及覆盖机制缓解未登录词和重复词问题。在CNN/Daily Mail数据集上的实验结果表明论文模型与基线模型相比更具竞争力。

基于无监督深度融合机制的货物在线装箱算法

目的针对当前三维装箱算法存在的模型鲁棒性差、泛化性弱、装载率低等问题,设计一种无监督融合机制的在线装箱算法。方法充分考虑货物“即到即码”的实时性需求,以容器空间利用率为优化目标,基于无监督深度融合指针网络端到端学习模型框架,将在线三维装箱的码垛过程公式化地表述为马尔科夫决策过程,设计强化学习要素,并以深度强化学习算法为主,融入蒙特卡洛树搜索,对智能体的决策动作进行训练,以生成具有较优“学习”能力的在线三维装箱模型。结果采用125种不同尺寸和方向随机生成货物数据集,并在7种约束条件下验证,实验结果表明,容器的平均利用率可达84.6%。结论该算法的泛化性较好,且其装载率远优于当前效果较好的启发式算法、深度学习方法,为货物的在线装箱提供了理论依据及参考。

双关系预测与特征融合的实体关系抽取模型

现有分阶段解码的实体关系抽取模型仍存在着阶段间特征融合不充分的问题,会增大曝光偏差对抽取性能的影响。为此,提出一种双关系预测和特征融合的实体关系抽取模型(entity relation extraction model with dual relation prediction and feature fusion,DRPFF),该模型使用预训练的基于Transformer的双向编码表示模型(bidirectional encoder representation from transformers,BERT)对文本进行编码,并设计两阶段的双关系预测结构来减少抽取过程中错误三元组的生成。在阶段间通过门控线性单元(gated linear unit,GLU)和条件层规范化(conditional layer normalization,CLN)组合的结构来更好地融合实体之间的特征。在NYT和WebNLG这2个公开数据集上的试验结果表明,该模型相较于基线方法取得了更好的效果。

基于改进指针生成网络的文本摘要

随着人们每天接收的消息越来越多,能够短时高效地找到自己想要的内容,获取想要的信息是提升自己的关键,因此文本摘要变得必不可少。人工生成文章的摘要是一项费时费力的任务,自动生成可读性高、流畅性强的摘要变得很有必要。摘要生成有很多方法,又分为抽取式摘要和生成式摘要。指针生成网络因为其能有效解决未登录词的问题,仍然是一种非常流行的文本摘要方法。在我们的工作中,仍然使用传统的指针生成网络为基本框架,引入Transformer中的编码器部分作为预处理,提升编码质量;另外,引入未登录词惩罚来提高生成摘要文本的新颖性。实验结果表明,该模型在NLPCC数据集上取得了良好的效果。

基于指针生成网络和扩展Transformer的多属性可控文本摘要模型

模型可以生成符合用户偏好的摘要.之前的摘要模型侧重于单独控制某个属性,而不是多个属性的组合.传统的Seq2Seq多属性可控文本摘要模型在满足多个控制属性时,存在无法整合所有控制属性、无法准确再现文本中关键信息和无法处理单词表外单词等问题.为此,本文提出了一种基于扩展Transformer和指针生成网络(pointer generator network,PGN)的模型.模型中的扩展Transformer将Transformer单编码器-单解码器的模型形式扩展成具有双重文本语义信息提取的双编码器和单个可融合指导信号特征的解码器形式.然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表生成新的摘要信息,以解决摘要任务中常出现的OOV(out of vocabulary)问题.此外,为高效完成位置信息编码,模型在注意力层中使用相对位置表示来引入文本的序列信息.模型可以用于控制摘要的许多重要属性,包括长度、主题和具体性等.通过在公开数据集MACSum上的实验表明,相较以往方法,本文提出的模型在确保摘要质量的同时,更加符合用户给定的属性要求.

一种结合关系增强融合模型的舆情关系抽取方法

针对舆情信息关系种类繁多、状态空间巨大,以及舆情信息关系抽取任务中出现的关系重叠和单一模型不能完全识别出全部三元组的问题,提出一种结合关系增强的融合模型进行舆情关系抽取的方法。首先,对从中文互联网上获取的舆情信息进行初步处理,得到初步的关系表;其次,对获得的关系表引入实体类型进行关系表增强;最后,将增强关系表作为先验特征输入融合模型,提升关系分类准确性,结合两个模型的识别结果解决单一模型不能完全识别出全部三元组的问题。实验结果表明,该方法相较于单一未使用关系增强的模型,F1值提升了5.4%。

基于改进的指针网络深度强化学习算法求解旅行商问题

旅行商问题是组合优化问题中的经典问题,而深度强化学习的发展为该类问题的求解提供了新思路。在基于指针网络的深度强化学习算法求解旅行商问题中,策略网络和价值网络的编码器都采用了复杂的长短期记忆网络结构,这在求解大规模旅行商问题时会造成训练时间过长的现象。鉴于输入节点间位置顺序的无关性,本文对指针网络中编码器的循环神经网络进行了修改,将策略网络和价值网络编码器中的长短期记忆网络都替换为一维卷积神经网络,最终提出了一种改进的基于指针网络的深度强化学习算法,其在相同求解问题规模上所需要的训练时间比原模型减少12%~15%,实验结果充分验证了本文改进算法的有效性。

基于深度学习的指针式压力表读数方法研究

为了降低指针式压力表的误读率,减轻人工读数压力,提高仪表读数的精度,设计了一种基于深度学习的指针式压力表读数方法。通过在DBNet网络结构基础上增加主干网络ResNet-18各个卷积层的通道数来提高模型的鲁棒性,重新设计了更适应指针式压力表刻度值检测的损失函数,在刻度值精准检测识别的基础上设计了极坐标展开的方法,将弧形的刻度值展开成一条直线,提高了读数的准确率。实验结果表明,最大误差仅1.05%,平均误差仅0.725%。相较于常用的Hough直线检测与ORB结合或DBNet+CRNN检测的方法,读数识别的平均误差大幅降低,为指针式压力表的自动读数提供了新的思路。

基于Masked-Pointer的多轮对话重写模型

针对多轮会话中的Non-Sentential Utterances(NSUs)问题,结合当前在自然语言处理领域广泛使用的预训练语言模型,将Masked Language Model用于多轮会话NSUs的重写任务,提出Masked Rewriter Model。与基于Seq2Seq的重写模型相比,重写效果提升明显。根据NSUs重写任务特点,将Masked Language Model与Pointer Network相结合,提出基于Masked-Pointer Rewriter Model的多轮会话重写模型,利用指针网络,提升重写模型对上文信息的关注程度,在BERT Masked Rewriter模型的基础上进一步提升重写效果。