[目的/意义]本文提出基于长短时记忆(Long short-term memory,LSTM)神经网络和条件随机场(Conditional Random Field,CRF)的藏文分词模型。[方法/过程]引入注意力机制,获取更多特征信息,提升模型关注上下文信息与当前音节之间联系;提出...[目的/意义]本文提出基于长短时记忆(Long short-term memory,LSTM)神经网络和条件随机场(Conditional Random Field,CRF)的藏文分词模型。[方法/过程]引入注意力机制,获取更多特征信息,提升模型关注上下文信息与当前音节之间联系;提出一种音节扩展方法,获取更多的输入特征信息与语料信息,增强模型单音节特征信息以获取更多语义信息的能力。[局限]本文在西藏大学数据集12261条的基础上,扩充至74384条,形成Tibetan-News数据集。[结果/结论]实验结果表明,在模型中加入注意力机制并使用音节扩展方法后,模型在Tibetan-News数据集上的精确率、召回率和F1分别提升2.9%、3.5%和3.2%。基于本文模型的分词系统已在工程上应用推广。展开更多
文摘[目的/意义]本文提出基于长短时记忆(Long short-term memory,LSTM)神经网络和条件随机场(Conditional Random Field,CRF)的藏文分词模型。[方法/过程]引入注意力机制,获取更多特征信息,提升模型关注上下文信息与当前音节之间联系;提出一种音节扩展方法,获取更多的输入特征信息与语料信息,增强模型单音节特征信息以获取更多语义信息的能力。[局限]本文在西藏大学数据集12261条的基础上,扩充至74384条,形成Tibetan-News数据集。[结果/结论]实验结果表明,在模型中加入注意力机制并使用音节扩展方法后,模型在Tibetan-News数据集上的精确率、召回率和F1分别提升2.9%、3.5%和3.2%。基于本文模型的分词系统已在工程上应用推广。