摘要
结合强化学习(特别是深度强化学习)的推荐算法,在近年来相比已有方法取得了较大的提升。然而,现有绝大多数基于深度强化学习的推荐方法仅使用循环神经网络(RNN)等方法学习用户的短期兴趣,忽略了用户的长期兴趣,导致对用户的兴趣建模存在不足。因此,该文提出一种结合用户长期兴趣与短期兴趣的深度强化学习推荐方法(LSRL)。首先,LSRL方法使用协同过滤方法来学习用户的长期兴趣;其次,LSRL方法利用门控循环单元(GRU)对用户最近的正反馈与负反馈交互记录进行建模学习,得到用户的短期兴趣表示;最后,LSRL方法重新设计了深度强化学习的Q-网络框架,结合两方面的用户兴趣表示并将其应用于深度Q-网络(Deep Q-Network)中,预测用户对物品的反馈。在MovieLens数据集上的实验结果表明,该文提出的推荐方法比其他基线方法在归一化折损累计增益(NDCG)与命中率(Hit Ratio)上有显著提升。
Most of the existing recommendation methods based on deep reinforcement learning use recurrent neural network(RNN)to learn users’short-term preference,while ignoring their long-term preference.This paper proposes a deep reinforcement learning recommendation method combining both long-term and short-term user preference(LSRL).LSRL uses collaborative filtering to learn users’long-term preference representation and applies the gated recurrent unit(GRU)to learn user’s short-term preference representation.The redesigned Q-network framework combines two types of representation and Deep Q-Network is used to predict users’feedback on items.Experimental results on MovieLens datasets show that the proposed method has a significant improvement according to NDCG and Hit Ratio compared to other baseline methods.
作者
阎世宏
马为之
张敏
刘奕群
马少平
YAN Shihong;MA Weizhi;ZHANG Min;LIU Yiqun;MA Shaoping(Department of Computer Science and Technology,Institute for Artificial Intelligence,Beijing National Research Center for Information Science and Technology,Tsinghua University,Beijing 100084,China)
出处
《中文信息学报》
CSCD
北大核心
2021年第8期107-116,共10页
Journal of Chinese Information Processing
基金
国家重点研发计划(2018YFC0831900)
国家自然科学基金(61672311,61532011)
清华大学国强研究院项目(2019GQG0004)
中国博士后科学基金(2020M670339)
关键词
推荐系统
深度强化学习
长期与短期兴趣
协同过滤
门控循环单元
recommender system
deep reinforcement learning
long-term and short-term preference
collaborative filtering
gated recurrent unit