Skip-ngram模型解决数据稀疏问题的研究

本文首先对ngram语言模型和数据稀疏问题寄给予了重点介绍。进而通过在4gram语言模型上使用一种类skip-ngram语言模型的形式,并添加一些规则和预处理,通过在ngram模型中发生backoff处添加skip-ngram激励,减少由数据稀疏问题引发的错误,提升句子识别正确率。

ROUGE-SN:基于跨越N元语法的机器翻译评测方法

本文在ROUGE-S的基础上提出一种基于跨越N元语法的ROUGE-SN机器翻译评测方法,在跨越二元语法(Skip-bigram)的基础上尽量延长N元语法的长度,使更多的句子连贯信息得以体现。并通过设置N元语法的阈值、综合系统运行代价和译文匹配效率等因素选定ROUGE-S6对ROUGE-S进行改进。在俄汉双语句子数据集上对谷歌、百度、必应、有道在线翻译系统的俄汉翻译输出译文进行评测,ROUGE-S6方法与传统ROUGE-S以及BLEUS的评测结果一致且性能优于ROUGE-S和BLEUS;且基于跨越N元语法的ROUGE-S6使得ROUGE-S的性能得以提升,对于百度系统而言,ROUGE-S性能提升44.52%,对于谷歌系统而言,提升50.45%,对必应系统提升42.19%,有道系统中ROUGE-S性能提升40.01%。