基于通道注意力的多模态服装兼容性学习

针对服装图像特征提取不全面和服装兼容性难以建模等问题,提出了一种基于通道注意力的多模态服装兼容性模型ECA-RMCN。在特征提取网络CNN的残差模块上引入高效通道注意力模块ECA-Net来增强服装低级和高级等重要特征,抑制无效特征。采用组合损失函数处理服装正负样本不均衡的问题,达到更好的搭配效果。在公共的Polyvore数据集进行对比实验来验证模型有效性。实验结果表明,该算法对服装的兼容性预测和搭配性能优于其他方法,有很好的应用价值。

基于时尚图谱增强的个性化互补服装推荐

近年来,人们对时尚穿搭有了更高的美学追求。因此,个性化互补服装推荐,即为用户推荐与他/她已购买服装相匹配的互补服装,逐渐吸引了学术界的广泛关注。个性化互补服装推荐不同于一般的推荐任务(如电影推荐),它推荐的服装需要满足两个条件:1)与目标服装搭配;2)满足用户偏好。因此,相关的现有方法主要是基于时尚单品的多模态数据,着力于建模单品与单品之间的兼容性交互和用户与单品之间的偏好交互,以实现个性化互补服装的推荐。这些方法的缺点主要在于它们将每一个单品-单品交互或者用户-单品交互看作一个独立的数据实例,而忽略了单品的属性知识以及时尚实体(即,用户、单品及属性)之间的高阶交互关系。事实上,与一个单品(如,上衣)搭配的所有互补单品(如,下衣)可能会共享某些相同的属性(如,颜色);同时,具有类似品味的用户也可能倾向于选择具有类似属性特征的单品。显然,这些时尚实体之间的高阶关系蕴含了丰富的有关单品兼容性和用户偏好的协同信号,因而能够促进个性化互补服装推荐模型性能的提升。据此,本文构建了一个大规模协同时尚图谱,并基于图卷积神经网络(Graph Neural Networks,GNNs)来探索时尚实体之间的高阶关系,进而更好地实现个性化的互补服装推荐。具体地,本文提出了一个新颖的基于时尚图谱增强的个性化互补服装推荐模型(Fashion Graph-enhanced Personalized Com-plementary Clothing Recommendation),简称为FG-PCCR。FG-PCCR由两个关键的部分组成:独立的一阶交互建模和协同的高阶交互建模。一方面,独立的一阶交互建模模块基于视觉和文本模态数据,致力于通过神经网络和矩阵分解方法分别对单品-单品搭配交互和用户-单品偏好交互进行综合性建模。另一方面,协同的高阶交互模块基于构建的协同的时尚图谱,通过图神经网络利用信息传播机制来提取高阶的协同信号,进一步丰富用户和单品的向量表示。FG-PCCR模型能够有效整合时尚实体之间的复杂的高阶关系信息,用户和单品的表示学习,进而改进个性化互补推荐的效果。最后,对于给定的用户和目标上衣,我们能够得到推荐的下衣的个性化兼容性分数。另外,在真实的时尚数据集上做的大量实验,充分地验证了本文所提模型FG-PCCR相对于基准方法的优越性。

全局—局部特征优化的时尚服饰搭配

目的由于现有时尚服饰搭配方法缺乏服饰图像局部细节的有效特征表示,难以对不同服饰间的局部兼容性进行建模,限制了服饰兼容性学习的完备性,导致时尚服饰搭配的准确率较低。因此,提出一种全局—局部特征优化的时尚服饰搭配方法。方法首先,利用不同卷积网络提取时尚服饰的图像和文本特征作为全局特征,同时在卷积网络基础上构建局部特征提取网络,提取时尚服饰图像的局部特征;然后,基于图网络和自注意力机制构建全局—局部兼容性学习模块,通过学习不同时尚服饰全局特征间和局部特征间的交互关系,并定义不同时尚服饰的权重,进行服饰全局和局部兼容性建模;最后,构建服饰搭配优化模型,通过融合套装中所有服饰的全局和局部兼容性优化服饰搭配,并计算搭配得分,输出正确的服饰搭配结果。结果在公开数据集Polyvore上将本文方法与其他方法进行对比。实验结果表明,利用局部特征提取网络提取的时尚服饰图像局部特征能有效地表示服饰局部信息;构建的全局—局部兼容性学习模块对时尚服饰的全局兼容性和局部兼容性进行了完整建模;构建的时尚服饰搭配优化模型实现了全局和局部兼容性的优化组合,使时尚服饰搭配准确率(fill in the blank,FITB)提高至86.89%。结论本文提出的全局—局部特征优化的时尚服饰搭配方法,能够有效提高时尚服饰搭配的准确率,较好地满足日常时尚搭配的需求。