-
题名基于优化最大匹配与统计结合的汉语分词方法
被引量:9
- 1
-
-
作者
刘春辉
金顺福
刘国华
李颖
-
机构
燕山大学信息科学与工程学院
-
出处
《燕山大学学报》
CAS
2009年第2期124-129,共6页
-
基金
国家自然科学基金资助项目(60773100)
-
文摘
汉语自动分词是中文信息处理的前提,如何提高分词效率是中文信息处理技术面临的一个主要问题。基于词典和基于统计的分词方法是现有分词技术的主要方法,但是前者无法处理歧义字段,后者需要大量的词频计算耗费时间。本文提出优化最大匹配与统计结合的分词方法,首先提出优化最大匹配算法,在此基础上提出了规则判断与信息量统计两种消歧策略。然后,给出了优化最大匹配与统计结合的分词算法,提高了分词的效率。最后,基于分词算法实现中文分词系统,并通过实验对算法进行了分析和验证。
-
关键词
中文信息处理
词典
分词
优化最大匹配方法
-
Keywords
Chinese information processing
dictionary
segmentation
optimization maximum matching
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-