双分支多粒度局部对齐的实例级草图图像检索

实例级草图图像检索旨在使用草图检索图像.草图与真实图像之间存在模态差异大和特征不对齐问题,现有方法不能有效减小草图和图像之间模态差异,并且只在单个粒度上获取信息,无法有效进行特征对齐.因此,文中提出双分支多粒度局部对齐网络(Two Stream Multi-granularity Local Alignment Network,TSMLA),引入双分支特征提取器,提取模态共享和模态特异的局部特征,同时利用这两种特征计算草图和真实图像间的距离,减少不同模态间的差异.同时,提出多粒度局部对齐模块,对距离矩阵进行不同粒度的池化操作,在不同尺度上对齐局部特征,进一步解决特征不对齐问题.TSMLA能够充分利用草图和真实图像的信息,同时有效利用不同粒度特征间的联系.在多个数据集上的实验验证TSMLA的有效性.

结合显著区域检测和手绘草图的服装图像检索

针对服装图像检索准确率和效率较低的问题,提出一种服装显著区域检测和手绘草图的服装图像检索方法。首先采用正则化随机漫步算法对输入的服装图像库进行视觉显著区域检测,并结合其边缘轮廓信息,得到服装显著边缘图像;其次,对输入的服装草图和服装边缘图像进行特征提取,得到服装草图和服装边缘图像各自的方向梯度直方图(HOG)特征;然后,通过计算服装草图特征和服装边缘特征的相似度,实现特征匹配;最后,按照特征匹配结果在服装图像库中检索与服装草图相似的服装图像,采用基于距离相关系数的重排序算法对其相似度进行排序并输出检索结果。结果表明,该方法提高了服装检索的准确率,具有较好的鲁棒性,检索准确率可达78.5%。

基于多特征非线性融合的草图-图像检索方法

草图-图像检索属于计算机视觉领域的跨域检索问题,由于草图的简单性和抽象性,导致其与自然图像的域间差异过大,至今其检索精度仍无法满足现实需求。本文提出了一种基于多特征非线性融合的草图-图像检索方法,非线性融合草图的形状特征和具有语义特性的深度特征,形成新的图像特征表示。该融合策略结合了两类特征的优点,既能有效刻画草图的边缘轮廓信息,又能兼顾语义信息。最后在两个公开数据集(Flickr15k和TU-Berlin)上进行实验,其结果显示本文提出的特征融合方法得到的检索效果优于其他融合方法和基于单一特征的方法。另外,本文提出的融合策略易于扩展到其他多特征融合情况。

面向细粒度草图检索的对抗训练三元组网络

将草图作为检索示例用于图像检索称为基于草图的图像检索,简称草图检索.其中,细粒度检索问题或类内检索问题是2014年被研究者提出并快速成为广受关注的研究方向.目前研究者通常用三元组网络来解决类内检索问题,且取得了不错的效果.但是三元组网络的训练非常困难,很多情况下很难收敛甚至不收敛,且存在着容易过拟合的风险.借鉴循环生成对抗训练的思想,设计了SketchCycleGAN帮助提高三元组网络训练过程的效率,以对抗训练的方式使其参与到三元组网络的训练过程中,通过充分挖掘数据集自身信息的方式取代了利用其他数据集进行预训练的过程,在简化训练步骤的基础上取得了更好的检索性能.通过在常用的细粒度草图检索数据集上的一系列对比实验,证明了所提方法的有效性和优越性.