多级索引的藏语分词词典设计

藏语分词词典是藏语自动分词系统的重要基础,词典规模大小和算法设计的优劣直接影响着分词的效率。本项目首先收集了多部藏语字、词典的所有词条及藏语标点符号,形成了约10万词条的大型藏语分词词库;根据藏字不同长度的特点,建立了藏语特有的多级索引分词词典机制,分析设计藏语整词二分法进行藏语分词。实验结果表明该藏语分词词典具有结构简单,分词速度快和查询性能高等优点。

基于次优查找树的词典机制研究

在使用相同分词算法的情况下,词典机制决定着词语的查询速度,也影响着分词的速度和分词系统的广泛应用。根据词语在文本中出现频率的不同,通过构造次优查找树的词典机制,使得在分词过程中减少了比较次数,提高了分词的速度。最后采用最大逆向分词算法进行了对比实验,实验表明分词效率有一定提高。