基于N-最短路径方法的中文词语粗分模型

预处理过程的词语粗切分,是整个中文词语分析的基础环节,对最终的召回率、准确率、运行效率起着重要的作用。词语粗分必须能为后续的过程提供少量的、高召回率的、中间结果。本文提出了一种基于N-最短路径方法的粗分模型,旨在兼顾高召回率和高效率。在此基础上,引入了词频的统计数据,对原有模型进行改进,建立了更实用的统计模型。针对人民日报一个月的语料库（共计185,192个句子）,作者进行了粗分实验。按句子进行统计,2-最短路径非统计粗分模型的召回率为99.73％;在10-最短路径统计粗分模型中,平均6.12个粗分结果得到的召回率高达99.94％,比最大匹配方法高出15％,比以前最好的切词方法至少高出6.4％。而粗分结果数的平均值较全切分减少了64倍。实验结果表明:N-最短路径方法是一种预处理过程中实用、有效的的词语粗分手段。

基于N-最短路径的中文分词技术研究

中文分词技术是中文信息处理的基础,快速、准确的中文分词方法是进行中文信息搜索的关键。基于N-最短路径的分词算法,需要计算有向图中从起点到终点的所有路径值,分词效率低,将动态删除算法与最短路径算法结合,通过从最短路径中删除部分节点的策略减少搜索路径范围,从而提高分词效率。

基于最短路径算法的舰船通道逃逸路线研究

当舰船发生灾变时,正确的疏散指挥是避免和减少人员伤亡的关键,而选择合理的逃逸路线又是正确指挥的前提。在N-最短路径的模型基础上,讨论了逃逸路线的可行性以及道路权重的计算;然后根据舰船的实际情况建立简易模型,讨论两点之间前N条最短逃逸路径的求法。对结果进行了分析并提出进一步开展优化的设想。

中文分词及词性标注一体化模型研究

本文应用N-最短路径法,构造了一种中文自动分词和词性自动标注一体化处理的模型,在分词阶段召回N个最佳结果作为候选集,最终的结果会在未登录词识别和词性标注之后,从这N个最有潜力的候选结果中选优得到,并基于该模型实现了一个中文自动分词和词性自动标注一体化处理的中文词法分析器。初步的开放测试证明,该分析器的分词准确率和词性标注准确率分别达到98.1%和95.07%。

基于内容主题的语料库系统设计与实现

介绍了笔者开发制作的汉语语料库系统的特点、功能,以及系统的设计思想和总体框架.系统以2001年<人民日报>电子文本为生语料,实现了KWIC索引、词表生成、词语搭配分析和分类主题词提取等功能,能够为网络信息挖掘和自然语言处理研究提供丰富而真实的语言环境.

基于隐马尔科夫模型的中文分词研究

一直以来，汉语自动分词是公认的汉语信息处理瓶颈。反思现有汉语自动分词技术，发现均有隐舍两大假设：语言是规律的、词具有确定边界？这与语言的复杂性、组合性、动态性、模糊性特征不符。本文采用一种基于隐马尔科夫模型（HMM）的算法．通过CHMM（层叠形马尔科夫模型）进行分词，再做分层，既增加了分词的；隹确性，又保证了分词的效率。