并行RNN分组策略研究

并行RNN结构或者分组RNN结构可以显著减少模型中的参数总量,从而有效地降低模型的训练成本并提高训练效率。本文提出一种高效的并行RNN分组策略,该策略不需要对输入数据进行拆分和重组操作,并且可以降低梯度反向传播的不稳定性对于模型训练造成的负面影响。在语言建模和命名实体识别的任务中的实验结果表明,本文所提出的并行RNN分组策略,模型的参数计算总量大幅度减少,在2个任务中的表现显著提升。

基于改进注意力机制的问题生成模型研究

问题生成是一项应用非常广泛的自然语言生成任务,现有的研究大多数是采用基于循环神经网络构建的序列到序列模型.由于循环神经网络自带的“长期依赖”问题,导致模型编码器在对输入语句建模表示时,无法有效地捕获到词语间的相互关系信息.此外,在解码阶段,模型解码器通常只利用编码器的单层输出或者顶层输出来计算全局注意力权重,无法充分利用从原始输入语句中提取到的语法语义信息.针对以上两个缺陷,现提出一种基于改进注意力机制的问题生成模型.该模型在编码器中加入了自注意力机制,用来获取输入词语间的相互关系信息,并且在解码器生成问题词语时,采用编码器的多层输出联合计算全局注意力权重,可以充分利用语法语义信息提高解码效果.利用SQuAD数据集对上述改进模型进行了实验,实验结果表明,改进模型在自动评估方法和人工评估方法中均优于基准模型,并且通过样例分析可以看出,改进模型生成的自然语言问题质量更高.