-
题名融合双向依存自注意力机制的神经机器翻译
被引量:6
- 1
-
-
作者
李治瑾
赖华
文永华
高盛祥
-
机构
昆明理工大学信息工程与自动化学院
云南省人工智能重点实验室(昆明理工大学)
-
出处
《计算机应用》
CSCD
北大核心
2022年第12期3679-3685,共7页
-
基金
国家自然科学基金资助项目(61732005,61972186,61762056,61761026)
云南省重大科技专项(202002AD080001-5,202103AA080015)
云南省高新技术产业专项(201606)。
-
文摘
针对神经机器翻译中资源稀缺的问题,提出了一种基于双向依存自注意力机制(Bi-Dependency)的依存句法知识融合方法。首先,利用外部解析器对源句子解析得到依存解析数据;然后,将依存解析数据转化为父词位置向量和子词权重矩阵;最后,将依存知识融合到Transformer编码器的多头注意力机制上。利用Bi-Dependency,翻译模型可以同时对父词到子词、子词到父词两个方向的依存信息进行关注。双向翻译的实验结果表明,与Transformer模型相比,在富资源情况下,所提方法在汉-泰翻译上的BLEU值分别提升了1.07和0.86,在汉-英翻译上的BLEU值分别提升了0.79和0.68;在低资源情况下,所提方法在汉-泰翻译上的BLEU值分别提升了0.51和1.06,在汉-英翻译上的BLEU值分别提升了1.04和0.40。可见Bi-Dependency为模型提供了更丰富的依存信息,能够有效提升翻译性能。
-
关键词
神经机器翻译
双向依存注意力
多头注意力
父词
子词
-
Keywords
neural machine translation
bidirectional-dependency attention
multi-head attention
parent word
child word
-
分类号
TP391.2
[自动化与计算机技术—计算机应用技术]
-