基于Hash的正向回溯算法的改进

中文分词一直是中文类搜索引擎的重要前提之一。针对经典的机械分词方法中字符串匹配的最长匹配字的选择问题,提出了一种基于Hash的词典结构,避免了最长匹配字的过长或过短。对于歧义的发现,引入了回溯机制,即算法在每次查询词语完毕后,再以查询的词语的最后一个字为首字,开始进行新一轮的查询。对于回溯机制带来的查询次数倍增问题,提出对词语末字的检验是否能成为首字的算法,减少查询次数和时间复杂度。该方法相比于其他融合方法,具有较快的查询速度和较好的歧义处理能力。

机群系统上基于Hashing的多目标串匹配并行算法

基于孙子定理构造均匀的Hash函数并继承Karp-Rabin模式匹配思想,利用"筛选"方法,给出一种机群系统上的多目标串匹配并行算法。通过预处理将字符串映射成惟一的一对整数值,采用比较一对整数值来取代逐个字符比较字符串的方法使得匹配过程快速且比较结果是确定的;"筛选"节省了比较时间。算法分析和实验结果表明该并行算法简明、高效和可扩展。

基于小字符集的藏文自动分词技术研究

文章针对传统藏文分词的切词难点及切分歧义现象,提出一种基于小字符集的藏文自动分词技术方案。其中包括分词预处理、多级Hash词典机制、藏文格助词紧缩格的判别及还原规则、逐字匹配算法和未登录词的处理等内容。