一种基于多示例多标记学习的新标记学习方法

多标记学习是一种应用非常广泛的学习范式,其中,一个对象可能同时与多个标记相关联.传统的多标记学习研究多假设训练数据中观察到的标记分布与测试数据的真实标记分布一致.但在实际应用中,训练数据中可能存在一些从未被标注出的新标记.在预测时,不仅希望能够在目标标记集合(已知标记)上取得好的性能,还要求能够检测出样本是否存在新标记.针对这种多标记新标记学习问题,本文提出了一种端到端的多视图多示例多标记学习方法 EM3NL.该方法基于卷积神经网络产生多示例包,并通过最小化包上观察标记的错分损失和对新标记预测值排序损失的惩罚以及对多视图预测不一致的惩罚同时学习图像,文本两个视图的特征表示以及已知标记和新标记的预测函数.在大规模图片–文本真实数据集上验证了EM3NL在已知标记学习和新标记检测任务上的有效性.