维吾尔文网络舆情研究现状及几个关键问题

随着信息化的普及,作为新疆地区主要少数民族文字之一的维吾尔文、在计算机信息处理,标准化等方面,尤其是维吾尔文WEB建设方面有了迅速的发展,而其发展和管理、应用的特殊性,又使得信息复杂多样并且难以控制,因此研究多语种网络信息的安全和正确的舆情疏导机制成为一个重要的课题,本文主要阐述了维吾尔文网络舆情分析目前国内外的研究状况和要解决的几个关键技术问题。

一种改进的中文分词正向最大匹配算法

正向最大匹配分词FMM(Forward Maximum Matching)算法存在设定的最大词长初始值固定不变的问题,带来长词丢失或匹配次数较多的弊端。针对此问题提出了根据中文分词词典中的词条长度动态确定截取待处理文本长度的思想,改进了FMM算法。与此相配合,设计了一种词典结构,使之能够有效地支持改进的算法。改进的算法与一般正向最大匹配算法相比大大减少了匹配次数,分析表明中文分词的速度和效率有了很大提高。