组合多任务与迁移学习的故事发展预测

使用机器挖掘故事中的潜在语义关系从而推断故事发展方向,是当前自然语言处理领域研究的热点之一.现有主流方法存在的共性问题是神经网络理解文本能力有限,模型的关注点均集中在挖掘单个语义信息上,导致模型泛化能力差,使得机器仅能通过单个语义理解文本.针对上述问题,作者提出一种组合多任务与迁移学习的新模型,该模型由共享层、特定任务层、迁移层以及组合层构成.模型的前两层组合语言模型与多任务学习,解决神经网络理解能力不足的问题,第二、三层训练多个语义任务,第四层融合多个语义信息,克服以往模型仅从单个语义理解文本的缺点.对比实验及消融实验表明,新模型预测精度与主流方法相比有较为显著的提升,各特定任务的语义信息有助于预测故事发展方向.