一种面向中文信息检索的汉语自动分词方法

阐述信息检索对汉语分词技术的要求,分析中文信息检索与汉语分词技术结合过程中有待解决的关键问题,并重点针对这些要求及关键问题提出一种面向中文信息检索的汉语自动分词方法。

论汉语自动分词方法

文章简单考查了目前中文信息处理领域中已有的几种主要的汉语自动分词方法,提出自动分词方法的结构模型ASM(d,a,m),对各种分词方法的时间复杂度进行了计算,对于时间复杂度对分词速度的影响,以及分词方法对分词精度的影响也进行了分析;同时指出并论证在自动分词中设立“切分标志”是没有意义的。

汉语自动分词系统的设计与实现

基于.NET技术,采用改进的增字最大匹配算法3、"退一字组合法"5、自定义规则和Lucene.Net技术实现了汉语自动分词系统。实验证明系统在保证歧义、人名、数字、邮箱识别等方面的切分精度的同时,还保证了较高的切分效率。文章介绍了汉语中的三种歧义定义和示例、系统实现的技术方案、分词算法、系统实现概述与实验结果。