基于N-Gram模型的蒙古语文本语种识别算法的研究

N-Gram Based Language Identification for Mongolian Text

互联网上蒙古语文本正在不断地增加,如何让网络中的蒙古语内容为搜索引擎和舆情分析等应用提供服务引起了社会的高度关注。首先要解决如何采集网络中蒙古语文本数据,核心是准确识别网络中蒙古语文本的问题。该文提出了基于N-Gram模型的平均距离识别算法,建立了一个能够对目标语种识别的实验平台。实验结果表明,识别算法能够很好地从中文、英文、蒙古文以及混合语言文本中识别出蒙古语文本,准确率达到99.5%以上。

With the rapid increasing of Mongolian texts on the Internet,it is of practical significance to identify them before further processing.This paper proposes an average distance recognition algorithm based on N-Gram model,and an experimental platform is established.Experimental results show that the presented algorithm can identify Mongolian text from Chinese,English,or even mixed-language texts,with an accuracy of above 99.5%.