基于多模态特征融合的多任务学习推荐

知识图谱包含着丰富的语义知识,其中节点表示实体或者概念,边表示属性或者关系。然而传统的基于知识图谱推荐方法只从结构化三元组学习知识表示,忽略了项目本身的图像和文本等多模态信息,本文基于MKR深度学习推荐模型,使用有价值的外部知识作为多模态信息,并利用FLFM模型,将知识图谱中的文本特征信息和图像特征信息相结合;然后采用多任务学习模型(MKR模型),让推荐模块和知识图谱模块共同学习;最后结合在一起预测推荐评分。本文创新性地通过知识图谱中融合项目的多模态信息特征进行推荐。实验结果表示,采用本文提出的FLFM-MKR模型进行推荐比传统的MKR模型具有更好的性能。