藏文词库自扩充学习算法的设计与实现

在自然语言处理过程中,词库的大小直接影响着快速输入、信息检索和文本相似度对比等一系列工作的准确性和效率。目前,藏文词库建设主要靠人工扩充方法,未见藏文词库学习算法的研究或文献。文章设计了一种通过遍历藏文文本音节字并识别和统计每个词,将达到阈值的词添加到藏文词库中的算法。经测试,该算法在词库扩充方面具有良好的效果。