单步片段标注的实体关系联合抽取模型

关系抽取作为知识图谱等诸多领域的上游任务,具有广泛应用价值,近年来受到广泛关注。关系抽取模型普遍存在暴露偏差问题,抽取文本普遍存在实体嵌套和实体重叠问题,这些问题严重影响了模型性能。因此,提出了一种基于片段标注的实体关系联合抽取模型(span-labeling based model,SLM),主要包括:将实体关系抽取问题转化为片段标注问题;使用滑动窗口和三种映射策略将词元(token)序列进行组合排列重新平铺成片段(span)序列;使用LSTM和多头自注意力机制进行片段深层语义特征提取;设计了实体关系标签,使用多层标注方法进行关系标签分类。在英文数据集NYT、WebNLG上进行实验,相对于基线模型F1值显著提高,验证了模型的有效性,能有效解决上述问题。

基于生成对抗网络与多头注意力的文本隐写术

随着深度学习的发展,基于文本生成的隐写术取得了重大突破。现有基于文本生成的方法存在暴露偏差的问题,即训练阶段每个输入都来自真实样本标签,预测阶段的输入来自上一时刻预测的输出。训练和预测之间的输入样本差异会产生误差积累,使得生成样本与真实样本分布相差过大。针对这个问题,提出了一种基于生成对抗网络和多头注意力的文本隐写术—TS-GANMA。首先,利用生成对抗网络训练文本生成器,通过多头注意力机制提取多头注意力得分参与奖惩模块的奖励计算,得到更适合生成器的反馈信息。随后,生成器与鉴别器进行对抗训练,能够解决暴露偏差的问题,优化文本生成模型。最后,对文本生成模型输出的条件概率分布进行编码,实现秘密信息嵌入。实验结果表明,在相同的嵌入率时,TS-GANMA隐写术与LSTM-vlc和ADG相比,隐写文本的困惑度有显著的降低,这是因为采用TS-GANMA进行文本隐写,生成的隐写文本与真实文本的统计分布更加拟合,生成的隐写文本质量更高。

基于深度强化学习的文本生成研究综述

文本生成任务需要对大量词汇或语句进行表征,且可将其建模为序列决策问题.鉴于深度强化学习(deep reinforcement learning,DRL)在表征及决策方面的优良性能,DRL在文本生成任务中发挥了重要的作用.基于深度强化学习的文本生成方法改变了以最大似然估计为目标的训练机制,有效解决了传统方法中存在的暴露偏差问题.此外,深度强化学习和生成对抗网络的结合进一步提高了文本生成质量,并已取得了显著的成果.本综述将系统阐述深度强化学习在文本生成任务中的应用,介绍经典模型及算法,分析模型特点,探讨未来深度强化学习与文本生成任务融合的前景和挑战.

面向问题生成的预训练模型适应性优化方法研究

问题生成的核心任务是“在给定上下文语境的前提下,对目标答案自动生成相应的疑问句”。问题生成是自然语言处理领域中富有挑战性的任务之一,其对可靠的语义编码和解码技术有着极高的要求。目前,预训练语言模型已在不同自然语言处理任务中得到广泛应用,并取得了较好的应用效果。该文继承这一趋势,尝试将预训练语言模型UNILM应用于现有“基于编码和解码架构”的问题生成系统中,并集中在其适应性问题上开展研究。该文针对预训练模型在解码阶段频繁出现的“暴露偏差”和“掩码异构”问题,分别研究了基于随机抗噪和迁移学习的训练方法,借以提升UNILM在问题生成过程中的适应能力。同时,该文在SQuAD数据集上开展问题生成实验,实验结果证明,随机抗噪和迁移学习都能优化UNILM的解码性能,使之在答案可知场景的数据划分split1和split2上,分别将BLEU4指标提升到20.31%和21.95%;并在答案不可知场景的split1数据集上将BLEU4指标提升到17.90%。

基于二阶段对比学习的中文自动文本摘要方法研究

在中文自动文本摘要中,暴露偏差是一个常见的现象。由于中文文本自动摘要在序列到序列模型训练时解码器每一个词输入都来自真实样本,但是在测试时当前输入用的却是上一个词的输出,导致预测词在训练和测试时是从不同的分布中推断出来的,而这种不一致将导致训练模型和测试模型直接的差异。本文提出了一个两阶段对比学习框架以实现面向中文文本的生成式摘要训练,同时从摘要模型的训练以及摘要评价的建模进行对比学习。在大规模中文短文本摘要数据集(LCSTS)以及自然语言处理与中文计算会议的文本数据集(NLPCC)上的实验结果表明,相比于基线模型,本文方法可以获得更高的面向召回率的摘要评价方法(ROUGE)指标,并能更好地解决暴露偏差问题。