基于样本对语义主动挖掘的图文匹配算法

针对目前基于共识学习的图文匹配算法无法有效匹配图像−文本样本对中难分的负样本,模型的泛化能力较弱,在大规模数据集上效果不佳等不足,本文提出了一种基于样本对语义主动挖掘的图文匹配模型。首先,提出的自适应分层强化损失具有多样化的学习模式,在传统的三元组损失基础上,增加具有预测性的候选实例(难以分辨的样本对)进行辅助训练。其主动学习模式通过一种惩罚机制来关注难分的负样本,以提高判别能力。此外,提出的模型还能自适应地从非真实标签样本中挖掘出更多隐藏的相关语义表征,从而提高了模型的性能和泛化能力。最后,在Flickr30K和MSCOCO公共数据集上的实验结果证明了该算法的有效性,其性能达到了目前先进水平。本方法有效地结合了图像文本两种模态,能有效提高自然语言搜索和视觉问题回答等应用的性能。

基于自适应邻域的鲁棒多视图聚类算法

针对现存的基于自适应邻域的多视图聚类算法没有考虑噪声和共识图信息损失的问题,提出一种基于自适应邻域的鲁棒多视图聚类(RMVGC)算法。首先,为了避免噪声和异常值对数据的影响,通过鲁棒主成分分析模型(RPCA)从原始数据中学习多个干净的低秩数据;其次,用自适应邻域学习直接融合多个干净的低秩数据来得到一个干净的共识关系图,从而减少图融合过程中的信息丢失。实验结果表明,所提RMVGC算法的标准化互信息(NMI)在MRSCV1、BBCSport、COIL20、ORL和UCI digits数据集上比目前流行的多视图聚类算法分别提升了5.2、1.36、27.2、4.66和5.85个百分点。同时,该算法保持了数据局部结构,增强了对原始数据的鲁棒性,提高了关系图质量,在多视图数据集上具有较好的聚类性能。