融入上下文特征提取的非自回归神经机器翻译

非自回归翻译(NAT)模型是一种消除目标句子中的顺序依赖关系的翻译模型,在推理速度上取得了显著的突破。然而该模型在翻译质量方面存在一些局限,为探究原因,主要对注意机制进行了细致而全面的初步研究,研究结果揭示了NAT模型在捕捉局部性特征方面存在明显不足。为此提出了一种通过明确引入周围词汇信息而改进NAT模型局部性能力的方法。具体而言,在编码器和解码器两个方向上引入了混合分组线性变换,以获得更具局部感知性的表示。通过在WMT14英德与WMT16英罗两个数据集上进行实验,结果表明该方法以微弱的速度代价分别提高了0.7与1.03个BLEU分数,这表明该研究方法在改善NAT模型的局部性特征提取方面具有显著的效果和潜力。