图像美学信息增强的视觉感知推荐系统

视觉感知推荐系统旨在从视觉认知角度出发,通过提取物品图像的视觉特征来增强用户和物品交互的行为特征,建模用户视觉与行为相关的偏好,从而更好地进行推荐。已有的视觉感知推荐研究中,通常使用预训练的卷积神经网络(CNN)来提取视觉对象语义特征,很少考虑物品外观图像内部隐藏的美学风格特征;其次,在视觉感知推荐中用户和物品的交互行为结构嵌入信息通常被忽视。为了解决这些问题,提出了一个融合图像美学和行为交互结构嵌入的美学特征感知视觉推荐系统(ABVR)。ABVR使用预训练ViT模型提取图像的高层视觉特征——语义类别特征,利用美学提取网络挖掘出图像中的中层美学视觉特征——物品的颜色、形状等特征,利用图卷积神经网络(GCN)模块学习用户物品交互图结点的多层图结构嵌入特征,最后将3类特征关联融合,以实现美学增强的视觉推荐。在两个真实数据集上进行了大量实验,验证了ABVR模型在视觉推荐性能提升上的有效性。