期刊文献+
共找到1篇文章
< 1 >
每页显示 20 50 100
一种改进的基于二元统计的HMM分词算法 被引量:4
1
作者 田思虑 李德华 潘莹 《计算机与数字工程》 2011年第1期14-16,20,共4页
中文分词是中文信息处理的基础。基于二元统计的HMM中文分词算法表现良好,但也存在易将包含常用介、副词的词进行误拆分的问题。改进的分词算法运用逆向最大匹配的思想,在计算粗分集权重的过程中,考虑了分词的词长及词序对正确切分的有... 中文分词是中文信息处理的基础。基于二元统计的HMM中文分词算法表现良好,但也存在易将包含常用介、副词的词进行误拆分的问题。改进的分词算法运用逆向最大匹配的思想,在计算粗分集权重的过程中,考虑了分词的词长及词序对正确切分的有利影响。该算法首先计算出二元统计粗分模型有向边的权值,然后根据词长修定权值,最后运用最短路径法求出分词结果。实验结果表明,该算法有效的解决了过分拆分的问题,分词效果良好。 展开更多
关键词 中文分词 逆向最大匹配 二元统计模型 HMM模型
下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部