结合特征融合的跨域服装检索

跨域服装检索由于域间差异大难以准确检索,是一项具有挑战性的任务。现有基于卷积神经网络的跨域服装检索算法缺少对服装局部特征信息的利用,导致性能不佳。针对该问题,提出一种结合特征融合的跨域服装图像检索方法。该方法以深度卷积神经网络提取为基础,利用多尺度卷积和自我注意提取具有代表性的局部信息,利用Gem池化提取全局信息,并将局部信息与全局表示进行聚合,生成更适用于跨域图像检索的特征嵌入。同时采用三元损失、中心损失、分类损失、质心损失联合的损失函数约束训练过程,在检索阶段使用质心损失缩短检索时间。该方法在DeepFashion数据集中取得了良好的检索性能,top-50检索精度达0.864,与CTL方法相比提高了1.4%。实验结果表明,全局与局部特征融合的跨域服装检索方法能在保证较高检索效率的情况下有效提高检索精度。

结合注意力机制的跨域服装检索

针对跨域服装检索中服装商品图像拍摄严格约束光照、背景等条件,而用户图像源自复杂多变的日常生活场景,难以避免背景干扰以及视角、姿态引起的服装形变等问题.提出一种结合注意力机制的跨域服装检索方法.利用深度卷积神经网络为基础,引入注意力机制重新分配不同特征所占比重,增强表述服装图像的重要特征,抑制不重要特征;加入短连接模块融合局部重要特征和整幅图像的高层语义信息,提取更具判别力的特征描述子;联合分类损失函数和三元组损失共同约束网络训练过程,基于类别信息缩小检索范围.采用标准的top-k检索精度作为评价指标,选择DeepFashion数据集与当前跨域服装检索常用方法进行对比,文中方法在top-20检索精度对比中取得了最好的检索性能(0.503).实验结果表明,该方法能有效地处理视角、姿态引起的服装形变和复杂背景的干扰,同时不需要大量的样本标注信息,有效地提高了跨域服装检索的精度.

基于可变形卷积的服装检索方法

传统的服装检索方法使用固定形状的感受野,当服装目标存在几何变形时无法有效地提取其特征。针对这个问题,提出基于可变形卷积和相似性学习的服装检索方法。首先,构建可变形卷积网络,自动学习服装特征的采样位置和服装图像的哈希编码;然后,级联相似性学习网络,度量哈希编码的相似性;最后,根据相似性评分产生检索结果。实验结果表明,该方法能够有效地提取存在几何变形的服装目标的特征,从而减少了图像背景特征的干扰,提高了检索模型的准确率。

基于图案的多层次跨场景服装检索

在跨场景服装图像检索问题上,目前的“以图搜图”方法主要依赖于服装款式类别等服装区域全局特征提取的结果,导致检索准确度不高。针对这种情况,提出一种基于图案的多层次跨场景服装检索方法,在考虑服装区域特征匹配的基础上,同时将服装内部图案区域特征的匹配度作为检索结果的衡量标准,使用多层次的服装特征描述进行检索匹配。此外在进行度量学习时使用triplet loss函数实现,将不同背景环境下的图像作为正样本输入训练网络可以提高网络模型对于跨场景服装检索的抗干扰能力。实验结果表明,图案区域匹配度的加入和triplet loss函数的使用可以有效增强网络的特征提取能力,能够提高跨场景服装检索的精度,适用于日常服装检索。

基于多层次特征的跨场景服装检索

针对跨场景服装检索如何提取更有表述力的服装特征问题,提出了一种新的基于高层公共特征约束的相似性度量算法。首先,通过类别空间学习提取不同场景域的类别信息;然后,在场景域空间网络用类别信息约束传统对比损失函数,增大对类间负样本对的惩罚以减轻过拟合;最后,融合类别公共特征和域特定特征并通过类别判断进行辅助检索。分析和实验结果表明,新算法对跨场景服装检索的准确度要优于当前前沿的方法。

基于关键点的服装检索

目前,同款或近似款式服装检索主要分为基于文本和基于内容两类。基于文本算法往往需要海量标注样本,且存在人工主观性带来的标注缺失和标注差异等问题;基于内容算法一般对服装图像的颜色、形状、纹理提取特征,进行相似性度量,但难以应对背景颜色干扰,以及视角、姿态引起的服装形变等问题。针对上述问题,提出一种基于关键点的服装检索方法。利用级联深度卷积神经网络为基础,定位服装关键点,融合关键点区域低层视觉信息以及整幅图像的高层语义信息。对比传统检索方法,所提算法能有效处理视角、姿态引起的服装形变和复杂背景的干扰;同时不需大量样本标定,且对背景、形变鲁棒。在Fashion Landmark数据集和BDAT-Clothes数据集上与常用算法进行对比实验。实验结果表明所提算法能有效提升检索的查准率和查全率。

基于内容的服装检索系统中颜色特征提取算法的研究和改进

本文主要研究服装检索系统中颜色特征提取算法。本文首先分析了传统颜色直方图算法用于服装检索时存在的几个问题,接着分别采用切割图像直方图算法、颜色矩算法和前景色颜色直方图算法进行服装图像的颜色特征提取。本文对三类服装:纯色、带少量图案和花色服装分别进行了实验,实验结果表明,三种算法各有不同的适用范围和优缺点。在此基础上,本文将上述三种算法进行线性加权组合,提出了一种基于加权欧氏距离的改进算法。测试过程中,通过修改三种算法的权重比调整各算法的权重,并对三类服装分别计算其查准率和查全率,分析不同权重比下改进算法的检索效果。大量实验结果表明,改进算法对于三类服装的检索效果都比较稳定。特别是对于带少量图案的服装,改进算法比单一算法的查准率有显著提高。实验还发现,当切割图像颜色直方图、颜色矩和前景色颜色直方图算法的权重比为1∶4∶5时,检索效果最好,无论是查准率还是查全率都较高,均优于单一算法。

基于内容的图像检索技术在服装检索中的应用

随着服装电子商务的日益普及,基于图像的服装检索需求日渐迫切。颜色、花型、款式是服装最本质的三大特征,基于这三大特征进行研究,用代表色表达服装的颜色,利用灰度共生矩阵刻画服装的花型,提取外轮廓特征表达服装的款式,提出相应的匹配算法,实现对服装图像的全方位检索。实验表明,达到理想的检索效果。

基于颜色特征提取算法的服装检索系统设计

为了能够优化改进服装检索系统的应用效果,扩大检索范围,提高检索效率和查准率,文中提出一种基于颜色特征提取算法的服装检索系统设计思路。首先建立模糊运算下数据建模,运用颜色特征提取直方图算法检索计算,并设计服装颜色特征提取的检索系统,主要实现了图像处理、提取颜色特征关键字以及关键字服装检索的三大内容,其功能模块实现了特征提取、决策树分类、特征编码、颜色关键字提取和关键字服装检索。最后对该服装检索系统展开软硬件测试,分别对功能和系统运行性能进行测试,发现文中检索系统可以更加精确地表达服装图像颜色,并且根据提取的颜色特征映射相应关键字,获得准确的服装颜色文本类描述。该系统还具备低维数、微指属性与高区分度特点,证实了文中提出的特征提取算法的可行性及优势。

服装检索中分块加权颜色直方图方法的改进

分块加权颜色直方图算法应用于服装检索时效果并不理想。针对存在的问题,对传统算法进行改进。首先采用3×3不均匀分块方式,通过大量实验获取了最佳分块大小和加权权重比。其次,结合Grabcut图像分割算法,提出了一种基于Grabcut图像分割的前景色分块加权颜色直方图算法。对纯色、带少量图案和花色这三类服装,分简单和复杂背景两种情况,分别进行实验。实验结果表明,相比两种传统算法,改进算法很好的解决了服装背景色干扰的问题。对于三类服装的检索,改进算法的查准率和查全率均比另两种传统算法有了显著提高。尤其是对于复杂背景的情况,改进算法的优势更加明显。

基于关键语义部位解析的服装检索平台设计

随着互联网的快速发展,网上购物已成为了人们逐渐日常的购物方式。但如何描述自己想要的商品成为了消费者的一大难题,各大电商推出不同的搜索服务,但大都是基于文本的检索方式。通过关键文字、词进行检索,这在当今时代已远远不能满足人们的搜索需求,本文通过参考现有方法,结合适合于服装的、准确的特征提取和描述算法,以“以图搜图”的模式开发基于图像内容的服装检索算法和系统平台。

联合分割和特征匹配的服装图像检索

针对目前服装图像"以图搜图"方法主要依赖于服装分割及款式等特征提取的结果,导致检索准确率低的问题,提出一种基于联合分割和特征匹配的服装图像检索方法.首先结合辅助数据集对输入的待检服装图像进行联合分割;然后基于分割出的待检图像的服装区域提取其颜色和Bundled特征,并与检索数据集中的图像特征进行相似度计算,以实现特征匹配;最后按照相似度高低顺序输出检索结果.实验结果表明,该方法能准确地分割并检索出与待检服装相似的服装;在数据集中的分割结果较目前存在的已知方法准确率提高近15%,各类服装的检索准确率均有较大的提高.

结合层次分割和跨域字典学习的服装检索

目的针对现有的跨场景服装检索框架在服装躯干部分检索问题上,因服装款式识别优化存在服装信息丢失和跨场景款式识别的问题,提出一种新的服装分割方法和基于跨域字典学习的服装款式识别。方法首先,提出基于超像素融合和姿态估计相结合的方法分割出完整的服装,用完整的服装进行检索可以最大限度地保留服装信息。然后,在服装款式识别时,通过学习服装商品数据集与日常服装图像数据的中间数据集字典,使其逐渐适应日常服装图像数据的方式,调节字典的适应性,进而提高不同场景下的服装款式识别的准确性。另外,由于目前国际缺少细粒度标注的大型服装数据库,本文构建了2个细粒度标注的服装数据库。结果在公认的Fashionista服装数据集及本文构建的数据库上验证本文方法并与目前国际上流行的方法进行对比,本文方法在上下装检索中精度达到62.1%和63.4%,本文方法在服装分割、款式识别,检索方面的准确度要优于当前前沿的方法。结论针对现有的跨场景服装检索框架分割服装不准确的问题,提出一种新的层次服装过分割融合方法及域自适应跨域服装款式识别方法,保证了服装的完整性,提高了跨场景服装检索及款式识别的精度,适用于日常服装检索。

结合标签优化和语义分割的服装图像检索

针对缺少民族服装语义标签、局部特征繁杂等因素导致少数民族服装图像检索准确率低的问题,提出一种结合标签优化和语义分割的服装图像检索方法.首先基于自定义的少数民族服装通用语义标签和民族服装语义标签,构建视觉风格分析概率模型进行标签优化;然后在全卷积网络结构基础上加入侧分支网络和全连接条件随机场,结合带有标注对和优化语义标签的训练图像对待检图像进行语义分割;最后采用多任务的深度监督哈希算法将语义分割结果哈希映射为二进制码,通过相似度计算对少数民族服装图像进行检索并输出结果.在构建的少数民族服装图像集上的实验结果表明,该方法能够有效地提高少数民族服装图像语义分割和检索的准确率.

结合显著区域检测和手绘草图的服装图像检索

针对服装图像检索准确率和效率较低的问题,提出一种服装显著区域检测和手绘草图的服装图像检索方法。首先采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测,并结合其边缘轮廓信息,得到服装显著边缘图像;其次,对输入的服装草图和服装边缘图像进行特征提取,得到服装草图和服装边缘图像各自的方向梯度直方图(HOG)特征;然后,通过计算服装草图特征和服装边缘特征的相似度,实现特征匹配;最后,按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像,采用基于距离相关系数的重排序算法对其相似度进行排序并输出检索结果。结果表明,该方法提高了服装检索的准确率,具有较好的鲁棒性,检索准确率可达78.5%。

结合深度多标签解析的哈希服装检索

目的服装检索对于在线服装的推广和销售有着重要的作用。而目前的服装检索算法无法准确地检索出非文本描述的服装。特别是对于跨场景的多标签服装图片,服装检索算法的准确率还有待提升。本文针对跨场景多标签服装图片的差异性较大以及卷积神经网络输出特征维度过高的问题,提出了深度多标签解析和哈希的服装检索算法。方法该方法首先在FCN(fully convolutional network)的基础上加入条件随机场,对FCN的结果进行后处理,搭建了FCN粗分割加CRFs(conditional random fields)精分割的端到端的网络结构,实现了像素级别的语义识别。其次,针对跨场景服装检索的特点,我们调整了CCP(Clothing Co-Parsing)数据集,并构建了Consumer-to-Shop数据集。针对检索过程中容易出现的语义漂移现象,使用多任务学习网络分别训练了衣物分类模型和衣物相似度模型。结果我们首先在Consumer-to-Shop数据集上进行了服装解析的对比实验,实验结果表明在添加了CRFs作为后处理之后,服装解析的效果有了明显提升。然后与3种主流检索算法进行了对比,结果显示,本文方法在使用哈希特征的条件下,也可以取得较好的检索效果。在top-5正确率上比WTBI(where to buy it)高出1. 31%,比DARN(dual attribute-aware ranking network)高出0. 21%。结论针对服装检索的跨场景效果差、检索效率低的问题,本文提出了一种基于像素级别语义分割和哈希编码的快速多目标服装检索方法。与其他检索方法相比,本文在多目标、多标签服装检索场景有一定的优势,并且在保持了一定检索效果的前提下,有效地降低了存储空间,提高了检索效率。

基于深度学习的服装图像语义分析与检索推荐

针对服装检测推荐方法中的服装图像分割算法分割精度不高且存在多尺度特征融合不佳的问题,提出一种基于注意力机制和多尺度特征融合的深度卷积网络服装特征提取分析检索与推荐方法。该方法以图像语义分割算法为基础,从服装图像中提取高级语义信息,通过哈希函数对提取的特征进行编码,并引入ASPP对图像进行多尺度特征提取,然后使用注意力模型对提取到的特征进行融合并构建索引库,最终实现语义相似性服装推荐的功能。实验表明:本方法可以有效提高分割准确度,解决多尺度特征提取的问题,能够成功提取图像中的高层次语义特征,具有较高的分割准确率,在很大程度上提高了服装相似性语义推荐的效率。

主颜色提取算法及其在服装图像检索中的应用

为了提高服装检索的查准率和查全率,利用人们对服装颜色的主观感知,提出了用于服装图像的颜色特征提取的主颜色提取算法:首先,根据服装的主颜色占比情况判断该服装是花色还是非花色,将花色服装用特征值进行标记;然后,将颜色直方图中的特征值按占比大小降序排列,去除占比较小的部分特征值,保留主颜色特征值.在进行服装检索时,先对数据库中的图像进行第1轮筛选,将花色服装与非花色服装进行分类;然后再对分类后的服装根据主颜色特征值进行第2轮筛选,得到最后的检索结果.实验结果表明:无论对于简单背景或者复杂背景的服装、花色或者非花色服装,本文算法相比于现有的其他算法,服装检索的查全率和查准率都得到了显著提高.

一种基于GMM-聚类树的面向大规模服装图像检索的索引结构

目前服装图像检索研究主要偏重于考察服装图像底层特征的表示方法,对服装图像数据集整体的特性关注较少.服装图像种类、款式、细节多种多样,传统方法在检索速度和准确率上已经不能满足用户的需求.为在日益庞大的服装图像集中快速准确地搜索需要的款式,提出一种GMM-聚类树索引方式.GMM-聚类树将不同细节的服装图像按照相似性逐步聚类,分别对应于不同的聚类树分支,避免人为指定聚类个数造成服装分类的错误.分别在小数据集和大数据集上测试其对服装图像检索的准确率和效率,试验结果表明通过自动确定聚类个数和GMM-聚类树的逐层分类,能够带来检索准确率和效率的双重提升.

基于ASP的服装图象检索系统的设计与实现

提出了基于ASP的服装图象检索方法,用ASP实现了对服装图象数据进行检索与浏览等功能,介绍了系统的设计思想、关键技术和实现。