基于注意力机制和双向长短时记忆的机器翻译

Machine Translation Based on Attention Mechanism and Bidirectional Long Short-Term Memory

近年来,随着深度学习的发展,利用神经网络进行机器翻译逐渐成为工业界和学术界的主流方法。现有的汉英机器翻译模型普遍采用基于注意力机制的深度神经网络结构。然而,同时对长序列和短序列进行建模仍然是一个具有挑战性的问题,尤其是对于中医词汇的翻译,专有词语和词汇之间的关联性也极大地影响机器翻译效果。因此,文章提出了一个集成注意力机制的双向长短时记忆的机器翻译模型。首先,以词向量作为机器翻译模型的输入数据,对翻译过程中使用的语言符号进行数学化处理;其次,设计了两种注意力机制:局部注意力机制和全局注意力机制。局部注意力机制主要用于学习输入序列中哪些单词或短语对建模更重要,而全局注意力机制用于学习输入序列中哪一层表达向量更关键。双向长短时记忆模型可以更好地融合输入序列中的特征信息,而具有注意力机制的双向长短时记忆模型可以同时对短序列和长序列进行建模。实验结果表明,与现有的多种翻译模型相比,基于注意力机制的双向长短时记忆模型能有效提高中医词汇机器翻译的质量。