基于深度视觉特征正则化的跨媒体检索研究

针对不同模态数据在底层空间上具有特征异构性的问题,以及传统的图像特征提取方法不能有效表达图像语义的问题,提出了一种基于深度视觉特征正则化的跨媒体检索方法。在此算法中,首先使用经过目标数据集微调的卷积神经网络提取图像的深度视觉特征,同时使用LDA模型提取文本底层特征,然后利用多类逻辑回归对图像和文本的底层特征进行训练和预测。由于文本特征具有较强的判别能力,而图像特征的分布特性杂乱,本文利用图像特征与文本特征之间的对应关系,使用文本特征对图像特征进行正则化,从而有效改善图像的视觉特征,提高图像视觉特征的语义表征能力。实验证明了该算法可以有效提高跨媒体检索的准确率。