窥视孔连接的循环网络在中文分词上的研究

长短期记忆网络(LSTM)可以捕捉潜在的长距离依赖关系,已被广泛应用于中文分词模型。为进一步提高其分词效果,针对记忆单元因结构问题在处理序列时错误遗忘关键信息的情况,引入了窥视孔连接(peepholes)重新构建分词模型。为优化长距离依赖,使用了梯度截断、引导信息流正则化等手段。通过构建多种网络结构的分词模型在当下流行数据集上的分词实验,以此构建的双向循环网络结果表明:窥视孔连接的记忆单元比原记忆单元更有效的获取了待分类字符的上下文特征,有效地改善了LSTM部分信息缺失的情况,增强了网络的记忆能力,提高了模型分词性能。