基于条件生成对抗网络的手绘图像检索

传统的手绘图像检索方法将自然图像通过边缘检测算法转换成"类手绘图",不能很好地减小自然图像与手绘图像之间的视觉差异.针对此问题,提出一种基于条件生成对抗网络的手绘图像检索方法.首先训练条件生成对抗网络,其中生成器由边缘图至自然图像的映射网络构成;然后通过生成器将手绘图转换为自然图像,以消除二者的视觉差异;最后使用深度卷积神经网络提取深度特征进行相似度度量,达到检索的目的.在基准数据库上进行实验的结果显示,该方法的检索精度有明显提高.

基于状态预测和运动结构的在线多目标跟踪

基于检测的跟踪是近年来多目标跟踪领域的研究热点,针对目前在线跟踪算法通常只考虑相邻2帧间的数据关联,对误检的鲁棒性不高,易造成轨迹碎片的问题,提出一种基于状态预测和运动结构的在线多目标跟踪算法.该算法将多目标跟踪分为逐帧跟踪和轨迹恢复2个阶段.在逐帧跟踪阶段,利用运动结构实现目标空间位置对齐,采用多特征融合进行相似度计算,以提升相邻2帧之间的数据关联精度,运动结构的使用还将提升追踪过程对摄像头移动的鲁棒性;在轨迹恢复阶段,记录未关联目标,并对其进行状态预测,然后和检测结果进行相似度匹配,以完成轨迹恢复,从而解决轨迹碎片问题.在MOTChallenge 2015上的实验结果证明,文中算法的多目标跟踪准确率有明显提高,轨迹碎片减少,同时对于摄像头移动等环境问题具有很好的鲁棒性.

跨模态社交图像聚类

社交图像包含两种模态的信息:视觉信息和社交标签信息.绝大部分跨模态学习领域的研究者,将其精力集中在多模态信息的共享特征空间学习上,从而往往忽略了各模态信息所独有的特征.在该文中将探究如何利用二者的共享信息以及独有信息进行跨模态的图像聚类.该文将共享特征空间的学习看作一个共轭词典学习问题(Coupled Dictionary Learning,CDL),通过一个L1,∞范数的正则项使各模态的词典稀疏化,这种结构化的稀疏性限制会使各模态独有的特征得以保留.除此之外,该文还提出了一个简单的语义相似度度量框架.借助一个包含丰富语义关系的信息库WordNet,该文通过度量标签间的概念距离(conceptual distance)与释义相似度(gloss similarity),为标签添加一定的语义关系,以度量样本间的语义相似度.通过实验证明该文"共享&独有"模式的跨模态学习的方法,相比其它只利用共享特征的方法,在聚类任务上表现更为出色.

基于深度多任务学习的层次分类

针对现有的深度卷积神经网络往往训练平行的分类器层,很少关注类别的层次性结构,导致均衡性分类器训练难度较大的问题,提出一种结构化的深度多任务学习算法.该算法结合深度卷积神经网络与层次分类,使类别之间的结构性信息融入至深度卷积神经网络中.依托树形的类别结构设计了一个带有共享层的多分支网络结构,并使用一种关联性多任务分类器学习算法协同训练各网络分支的分类器层;为了抑制层次间的误差传播,在各分支网络的分类器层的学习过程中添加一个基于父子关系的结构化限制.采用CIFAR100和手工采集到服装数据集,在tensorflow平台上进行实验,结果表明文中算法相比于基准网络可以提高2%~4%的分类准确度.

监督式多模态图像表征学习

通过结合多模态特征与类别标签信息,提出一种基于监督式多模态词典学习的图像表征方法.首先使用纹理、颜色、形状和结构4种模态的视觉特征,以学习包含"共享+特有"信息的稀疏特征来描述目标的视觉特性;然后通过拉普拉斯正则化项使学习到的稀疏特征能够反映类别标签中的语义信息,以增强所学习特征的辨识力.通过图像分类进行实验的结果表明,该方法优于单模态特征及其他基准多模态特征学习方法.