ROUGE-SN:基于跨越N元语法的机器翻译评测方法

本文在ROUGE-S的基础上提出一种基于跨越N元语法的ROUGE-SN机器翻译评测方法,在跨越二元语法(Skip-bigram)的基础上尽量延长N元语法的长度,使更多的句子连贯信息得以体现。并通过设置N元语法的阈值、综合系统运行代价和译文匹配效率等因素选定ROUGE-S6对ROUGE-S进行改进。在俄汉双语句子数据集上对谷歌、百度、必应、有道在线翻译系统的俄汉翻译输出译文进行评测,ROUGE-S6方法与传统ROUGE-S以及BLEUS的评测结果一致且性能优于ROUGE-S和BLEUS;且基于跨越N元语法的ROUGE-S6使得ROUGE-S的性能得以提升,对于百度系统而言,ROUGE-S性能提升44.52%,对于谷歌系统而言,提升50.45%,对必应系统提升42.19%,有道系统中ROUGE-S性能提升40.01%。

LORANGE:一种机器翻译评测自动元评价方法

本文提出一种LORANGE(Limited ORANGE)自动元评价方法,在语料资源受限的情况下,对目前主流的基于n元语法的BLEUS、ROUGE-L和ROUGE-S的性能进行评价。这种自动元评价方法弥补了传统人工元评价方法的主观性强、代价高昂、不稳定、评测周期长等缺点,有利于机器翻译系统的参数优化调整和缩短系统研发周期。在俄汉双语句对齐的数据集上,采用这种方法对BLEUS、ROUGE-L、ROUGE-S进行性能评估,实验结果显示,ROUGE-L性能最优,ROUGE-S次之,BLEUS性能最差;并且通过与人工元评价结果进行一致性检验,LORANGE自动元评价方法的有效性与可行性得以验证。