基于对比学习和语义增强的多模态推荐算法

产品的多模态数据通常被作为额外的辅助信息引入推荐算法中,丰富用户与产品的表示特征,有效融合用户与产品的交互信息和多模态信息是关键研究内容之一.现有方法在特征融合与语义关联建模上仍存在不足,对此,文中从特征融合视角出发,构建基于对比学习和语义增强的多模态推荐算法.首先,采用图神经网络与注意力机制充分融合协同特征与多模态特征.然后,以协同信息中的交互结构为指导,学习各模态内的语义关联结构.同时,采用对比学习范式捕捉跨模态的表征依赖关系,在对比损失中引入可靠性因子,自适应调整对多模态特征的约束强度,抑制数据噪声的影响.最后,联合优化上述任务,生成推荐结果.在4个真实数据集上的实验表明文中算法的优越性.

融合潜在结构与语义信息的多模态推荐方法

多模态推荐系统旨在利用文本、视觉等多模态信息提高推荐性能,但系统通常将多模态的语义信息融入物品表示中,或利用多模态特征挖掘潜在结构,未充分利用两者之间的关联.因此,文中提出融合潜在结构与语义信息的多模态推荐方法.基于用户历史行为和多模态特征,构建用户-用户和物品-物品图,挖掘潜在结构,构建用户-物品二部图,学习用户历史行为,并利用图卷积神经网络学习不同图的拓扑结构.为了更好地融合潜在结构和语义信息,利用对比学习,对齐学得潜在结构的物品表示与其多模态原始特征.在3个数据集上的评估实验验证文中方法的有效性.

基于多模态融合的图神经网络推荐算法

已有的图神经网络(GNN)推荐算法大多利用用户-项目交互图的节点编号信息进行训练,学习用户-项目节点的高阶联系去丰富节点表示,但忽略了用户对不同模态信息的偏好,没有利用项目的图片、文本等模态信息,或对于不同模态特征的融合简单相加,不能区分用户对不同模态信息的偏好。针对上述问题,提出多模态融合的GNN推荐模型。首先针对单个模态,结合用户-项目交互二部图构建单模态图网络,在单模态图中学习用户对此模态信息的偏好;然后利用GAT聚合邻居信息,丰富本节点表示,同时根据门控循环单元决定是否聚合邻居信息,达到去噪效果;最后将各个模态图学习到的用户、项目表示通过注意力机制融合得到最终表示并送入预测模块。在MovieLens-20M、H&M两个数据集上的实验结果表明:多模态信息、注意力融合机制能有效提升推荐的准确度,算法模型在Precision@K、Recall@K和NDCG@K 3个指标上相较于基线最优算法均有显著提升;当评估指标K值选取10时,Precision@10、Recall@10和NDCG@10在两个数据集上分别提升了4.67%、2.42%、2.03%和2.49%、5.24%、2.05%。

基于多模态推荐指令的大语言模型指令微调

基于多模态指令的大语言模型指令微调能够有效赋予大模型解决相关多模态任务的能力。为了进一步使大模型能够完成多模态零样本或少样本推荐任务,提出了多模态推荐大语言模型,该模型以大语言模型ChatGLM2-6B为基座,选取包含文本、图片信息的多模态推荐数据集,利用ChatGPT和GPT4构建多模态用户画像和物品属性生成指令,以及零样本和少样本推荐指令,并采用高效参数微调P-tuning v2方式,仅需用一张A100 40GB图形处理器即可微调得到多模态推荐大语言模型,用于完成多模态零样本和少样本推荐任务。实验结果证明,所提模型显著优于现有基线模型。

基于文本增强的共注意机制的多模态标签推荐

针对新型社交平台用户发布帖子时通常会使用标签来标记帖子的关键词或话题来提高自己在社交媒体中参与度的问题,使用了层级结构,从单词、短语和句子三个层级来提取文本特征。并且提出文本内容的汇总注意机制,将每个层级的语义内容总结为一个特征向量,然后提出一个文本增强的共注意模型,将每个层级的语义分别与图像模态进行语义融合。同时,考虑到不同用户使用标签的偏好习惯等各不相同,引入一个外部存储单元来记录每个用户的历史标签习惯,计算当前待推荐帖子与历史帖子之间的相似度影响向量,建立用户的个性化模块。在真实数据集上的实验结果表明,文中基于多模态帖子内容理解和个性化模块分析模型相比与其他模型,在精确率、召回率和F 1分数上都有很大提升;提出的两个关于多模态内容理解的注意力机制和用户的个性化建模都对整体推荐效果有显著的贡献。

基于图文注意力融合的主题标签推荐

为了解决社交媒体平台上的信息超载问题,帮助用户快速捕捉所需信息,对基于多模态内容的标签推荐问题进行研究。针对不同模态间的异质性差异,采用共注意力机制进行跨模态内容的特征建模与融合;针对多标签分类方法只能推荐出数据集标签空间中标签的不足,采用Seq2Seq框架生成新的标签序列,并通过一种聚合策略将分类方法的推荐结果聚合到生成的标签序列中,得到2种方法的统一推荐模型。在大规模数据集上的实验结果表明:多模态方法比单模态方法更具优势,所提出的统一推荐模型的F1值比仅使用单模态的对比模型高9.44百分点;生成新标签序列的方法也优于传统的分类方法,所提出的标签序列生成模型的F1值比对比模型COA高3.41百分点;所提出的统一推荐模型UNIFIED-CO-ATT的F1值比GEN-CO-ATT模型高1.25百分点,其效果优于其他对比模型。所提出的模型综合了分类方法和生成方法的特点,可以使推荐的标签同时具有准确性和新颖性。