维汉人名翻译中不雅字或OOV的前处理研究

针对维汉人名数据集稀少且难以获取等问题,提出了从常规维汉句对数据中通过Fast align对齐方法结合NER方法抽取维汉人名数据的方法.针对维吾尔人名翻译后易出现集外词(OOV)问题或不雅字、不恰当译文表示的问题,通过对维汉人名数据中汉语部分训练1—4阶N-Gram语言模型,根据语言模型对该数据进行打分后筛选出best-2结果,并结合了维汉字符级端到端的神经网络人名翻译模型.通过实验可发现,结合本文提出的前处理方法后的维汉人名翻译模型效果是BLEU提升了0.95分,并且不雅字或不恰当表示问题也得到了明显的改善.