基于混合排序填充网络的文本到指令序列翻译

本论文主要研究利用语言预训练模型和深度学习来进行文本序列到指令序列的翻译。在文本序列到指令序列翻译的领域内,优势模型按结构划分主要分为2类,一种是端到端模型,另外一种是在编码器和解码器中间引入中间逻辑表示层。与以往的方法不同本文提出了名为混合排序填充网络的新模型。该模型将问题与一列单独组合,利用语言预训练模型获取编码,然后根据选择的模板,划分并填充不同的子任务,生成完整的指令序列。这种方法很好地利用了语言预训练模型的特点避免引入专门的中间语义表示层或者解码器,减少了模型复杂度。在自构建的文本到指令序列数据集上取得了很好的翻译效果,翻译结果的逻辑准确率可达到89.1%。