基于残差网络和多模Triplet Loss的素描人脸识别

人脸素描识别是从一个大的人脸素描数据集识别人脸照片,它的主要挑战在于不同模态之间的差异,为了解决这个问题,提出一种基于残差网络多任务度量学习的素描人脸识别框架。首先,对于减少不同模式之间特征的差异性问题,设计了一个三通道神经网络来提取照片模态和草图模态的非线性特征,然后三个网络的参数共享;其次,设计了多模Triplet Loss来约束公共空间中的特征,使模型在扩大异类样本距离的同时,减少素描人脸的同类差异。