基于深度自编码网络的异质人脸识别

针对异质人脸识别中对不同模态数据间关系建模的问题,提出一种基于深度自编码网络的异质人脸特征提取和识别方法。首先用一个深度降噪自编码网络从两类异质人脸图像中提取人脸的高阶特征,并通过类别监督信号产生的目标函数来对网络进行微调,最后利用最近邻分类器对已提取特征分类,完成异质图像间的匹配。在CUHK、AR、CASIA HFB、SVHN与MNIST数据集上的实验结果表明,与目前基于子空间学习的异质人脸识别方法相比,该方法取得了更高的识别率,并且在基于异质图像的数字识别上表现出一定优势。

多特征融合的近红外与可见光异质人脸识别

考虑到传统识别方法忽略了异质人脸图像的特征融合,导致其识别性能较差,利用多特征融合算法提出了近红外与可见光异质人脸识别方法研究。在人脸图像区域中计算了梯度方向均值,定义了异质人脸特征点,引入代价函数进行迭代计算,提取出异质人脸特征点,通过Gabor函数变换,根据人脸识别特征融合的标准,完成异质人脸图像的多特征融合,结合异质人脸识别原理设计,实现了异质人脸的识别。实验结果表明,多特征融合的识别方法的特征识别重复率超过了90%,人脸图像平面颠簸程度在4%左右,可以使得人脸图像平面变得更加平滑。

基于轻量网络的近红外光和可见光融合的异质人脸识别

针对近红外图像与人脸库里的可见光图像匹配的异质人脸识别(Heterogeneous face recognition,HFR),以及人脸识别所用到的深度卷积网络参数量和计算量大的问题,提出了用于学习近红外光图像和可见光图像之间跨光谱域不变的特征的轻量级人脸识别算法.首先使用大规模可见光图像数据集和改进的交叉熵损失函数,训练出一个类内紧凑、类间可分的可见光人脸识别模型,然后用改进的近红外光与可见光图像混合的三元组数据集配合的三重角度损失函数做迁移学习.相对于通用的深度学习方法,本方案对来自两种光谱域(近红外光和可见光)的人脸图像,都有很好的识别效果.同时通过研发轻量级的深度卷积网络,使算法可以在嵌入式设备中高效的运行,提高算法的工业应用价值.

基于生成对抗网络的异质人脸图像合成:进展与挑战

异质人脸图像合成旨在生成逼真、可识别的多种视觉形态的人脸肖像,包括画像、漫画等多种模态.异质人脸图像合成在公共安全和数字娱乐领域具有广泛的应用前景和重要的研究价值,已成为当前研究热点之一.近年来,随着生成对抗网络的发展以及其在多种图像风格转换任务中的成功,研究人员利用生成对抗网络构建了多种异质人脸图像合成的新方法.本文简要回顾了异质人脸图像合成的发展历史,并从异质人脸图像合成的应用进展、模型结构、性能评估、数据集和定性分析等方面综述了该领域最新的关键技术的发展情况,展望了异质人脸图像合成面临的挑战以及其关键技术的发展趋势.

基于对抗判别域适应的近红外与可见光异质人脸识别

本文从对抗判别域适应的角度出发,利用无监督学习的方法缩小双模态图像之间的模态差异,提出了一种基于对抗判别域适应的近红外与可见光异质人脸识别方法.首先,联合交叉熵和中心损失函数预训练了一个基于卷积神经网络的可见光人脸识别网络,赋予网络强的鉴别能力.其次,利用对抗损失对抗地训练了一个网络结构一致的近红外人脸识别网络,使得两个网络提取的特征的数据分布一致,从而缩小模态之间的鸿沟.最后,利用前一个网络提供的先验知识输出另一模态图像的后验概率.实验结果显示提出的算法在不需要近红外人脸图像的标签信息和大规模的训练集的情况下,表现出了优良的性能.

基于改进循环对抗网络的异质人脸合成配准

针对异质人脸合成问题,根据生成对抗网络在图像合成问题中的优势,将改进的循环生成对抗网络(CycleGAN)应用于异质人脸的合成研究当中。该方法可以降低不同模态人脸图像之间因为特征结构不同导致合成困难的问题。收集照片和素描两种模态的人脸数据,在两种模态之间使用循环对抗网络进行图像生成,实现两种模态之间的转换。利用最小二乘损失函数和Smooth损失函数对原网络目标函数进行改进,可以提高训练过程的稳定性,改善图片的合成质量,分析权重系数的作用。实验结果表明,合成质量和精度较原算法均有所提高。

基于二进制多层GELM的异质人脸识别模型

为提高异质人脸识别模型精度,提出一种基于二进制多层Gabor极限学习机(GELM)的异质人脸识别模型方法。首先,提出一种新的基于像素加权的随机加权Gabor特征提取方案,将局部几何输入图像子块传播到隐藏节点,并将提取的Gabor特征嵌入隐藏层中,利用一组Gabor核随机加权求和,实现对传播像素的非线性激活函数的卷积运算;然后,利用类似于极限学习机方式对输出层采用线性加权方法进行估计。最后,利用BERC VIS-TIR数据库和CASIA NIR-VIS 2.0数据库对所提算法的异质人脸识别方法性能进行验证,实验结果显示该算法识别精度高、CPU计算时间短。

基于CycleGAN改进的异质人脸图像合成算法

异质人脸图像合成是以一类人脸图像为输入,合成另一类在图像质量、风格等方面与输入图像不同的新人脸图像。异质人脸图像合成要求在合成前后保持身份属性不变,同时要求合成图像的质量、风格等与另一类尽可能相近。原有的一些异质合成方法在这两方面均有所欠缺,经过对异质人脸合成的研究,针对这两点,对经典图像翻译模型Cy⁃cleGAN进行改进,并在人脸数据集上定量实验,验证合成方法的有效性。

基于无监督生成对抗网络的人脸素描图像真实化

对于人脸识别验证的研究带动了执法机构和数字娱乐行业将素描转化为真实人脸图像的需求和兴趣。到目前为止,由于网络训练阶段缺乏配对的数据,加上素描与真实照片之间存在着明显的模态差异,现有的方法仍然存在着不可解决的局限性。利用跨域语义一致性损失使输入和输出保持相同的语义信息,并用感知损失替换像素级的循环一致性损失以生成高分辨率图像。将PGGAN的生成器与生成对抗网络的损失函数一起训练以生成目标域真实图像,循环一致性损失则驱动同域图像保持一致。基于2个开源数据集的实验说明了所提模型在主观评价和客观标准上的有效性。