摘要
介绍了一个对汉语语料进行切分加工的系统,该系统结合了规则和统计两类方法,可以按多种方法输出切分结果,并根据概率信息在分词阶段就对歧义进行适当处理,并可保留少数在分词阶段无法确定的歧义留待后继层面上的分析加工。
This paper presents our recent work towards development of a Chinese segmentation system. The system outputs the segmentation results using rules and statistic methods. After considering the probability of each word, some ambiguities can be dealt with, but there are still others left for subsequent processing.
出处
《微电子学与计算机》
CSCD
北大核心
2007年第7期56-58,共3页
Microelectronics & Computer
基金
上海工程技术大学基金项目(2005Q06)
关键词
切分
统计方法
自然语言处理
segmentation
statistic method
natural language process
