并行RNN分组策略研究

并行RNN结构或者分组RNN结构可以显著减少模型中的参数总量,从而有效地降低模型的训练成本并提高训练效率。本文提出一种高效的并行RNN分组策略,该策略不需要对输入数据进行拆分和重组操作,并且可以降低梯度反向传播的不稳定性对于模型训练造成的负面影响。在语言建模和命名实体识别的任务中的实验结果表明,本文所提出的并行RNN分组策略,模型的参数计算总量大幅度减少,在2个任务中的表现显著提升。