摘要
提出了相对词频的概念,据此建立了语境计算模型,利用歧义字段前后语境信息对组合型分词歧义进行消解。对高频出现的5个组合型分词歧义进行实验,平均准确率达到95%以上,证明该方法对于消解组合型分词歧义具有良好效果。
The concept of relative word frequency （RWF） is proposed. A context calculation model is set up, which makes use of contextual information to resolute covering ambiguity in Chinese word segmentation. This paper selects 5 frequently used covering ambiguous words as examples, and the results show that the average accuracy is over 95%.
出处
《计算机工程》
CAS
CSCD
北大核心
2006年第17期74-76,共3页
Computer Engineering
基金
国家"973"计划基金资助项目(2004CB318102)
国家自然科学基金资助项目(60503071)
江苏省自然科学基金资助项目(BK2005135)
关键词
中文自动分词
组合型歧义
相对词频
语境计算模型
Chinese word segmentation
Covering ambiguity
Relative word frequency
Context calculation model
