基于深度学习的个性化新闻推荐方法通常采用全量更新训练模型.然而,全量更新需要不断整合新数据形成新的训练集,虽然可以保障模型性能,但训练效率低下.另外,出于数据隐私和存储考虑,现实场景下的应用通常不会保留所有历史数据导致全量...基于深度学习的个性化新闻推荐方法通常采用全量更新训练模型.然而,全量更新需要不断整合新数据形成新的训练集,虽然可以保障模型性能,但训练效率低下.另外,出于数据隐私和存储考虑,现实场景下的应用通常不会保留所有历史数据导致全量更新难以为继.增量学习是目前广泛采用的有效解决方法.然而,基于增量学习的新闻推荐模型也存在着新的挑战——灾难性遗忘问题,常见的解决策略有基于正则化和基于回放的方法.基于正则化的方法局限于个体样本在新任务中学习到的特征和原始网络的响应特征之间的对齐或空间几何结构匹配,缺乏全局视觉.基于回放的方法重放过往任务数据,可能导致数据隐私泄漏.为了解决以上不足,本文提出了基于最优传输和知识回放(Optimal Transport and Knowledge Replay)的新闻推荐模型增量学习方法OT-KR.OT-KR方法通过联合分布知识提取器重构联合分布知识特征集合,并且使用最优传输理论在训练过程中最小化新任务和旧任务间的分布差异,确保新模型学习到的域分布可以同时拟合旧任务和新任务,实现知识融合.特别地,为了缓解数据隐私泄漏问题,OT-KR方法仅保存模型参数而非样本作为知识进行回放,同时,借鉴多教师知识蒸馏思想让新任务上的模型可以同时融合所有教师流中的分布信息,并根据任务的学习次序分配权重.通过在公开新闻推荐数据集上开展实验,结果表明OT-KR方法的推荐性能优于基于目前主流增量学习技术的新闻推荐方法,在AUC和NDCG@10两个指标上比目前最优性能平均提高了0.55%和0.47%,同时,能够很好地平衡模型的推荐性能和训练效率.展开更多
文摘基于深度学习的个性化新闻推荐方法通常采用全量更新训练模型.然而,全量更新需要不断整合新数据形成新的训练集,虽然可以保障模型性能,但训练效率低下.另外,出于数据隐私和存储考虑,现实场景下的应用通常不会保留所有历史数据导致全量更新难以为继.增量学习是目前广泛采用的有效解决方法.然而,基于增量学习的新闻推荐模型也存在着新的挑战——灾难性遗忘问题,常见的解决策略有基于正则化和基于回放的方法.基于正则化的方法局限于个体样本在新任务中学习到的特征和原始网络的响应特征之间的对齐或空间几何结构匹配,缺乏全局视觉.基于回放的方法重放过往任务数据,可能导致数据隐私泄漏.为了解决以上不足,本文提出了基于最优传输和知识回放(Optimal Transport and Knowledge Replay)的新闻推荐模型增量学习方法OT-KR.OT-KR方法通过联合分布知识提取器重构联合分布知识特征集合,并且使用最优传输理论在训练过程中最小化新任务和旧任务间的分布差异,确保新模型学习到的域分布可以同时拟合旧任务和新任务,实现知识融合.特别地,为了缓解数据隐私泄漏问题,OT-KR方法仅保存模型参数而非样本作为知识进行回放,同时,借鉴多教师知识蒸馏思想让新任务上的模型可以同时融合所有教师流中的分布信息,并根据任务的学习次序分配权重.通过在公开新闻推荐数据集上开展实验,结果表明OT-KR方法的推荐性能优于基于目前主流增量学习技术的新闻推荐方法,在AUC和NDCG@10两个指标上比目前最优性能平均提高了0.55%和0.47%,同时,能够很好地平衡模型的推荐性能和训练效率.
