结合多尺度HOG特征和语义属性的合成素描人脸识别

合成素描的人脸识别问题属于异质人脸识别研究领域,在刑侦领域具有重要的实际应用.由于合成素描与人脸照片属于不同模态,对不同模态人脸进行鲁棒的表征是识别的关键.针对合成素描人脸在某些区域缺乏纹理细节,单纯依赖局部细节特征识别率较低的问题,文中提出一种融合多尺度HOG特征并加以语义属性约束的合成素描人脸识别的算法.首先提取出合成素描人脸的全局HOG特征以及五官等关键部位的局部HOG特征来表征人脸的整体结构特征和细节特征,之后将得到的整体结构特征和各个部位的细节特征进行分数层融合,最后用语义属性特征对匹配结果进行重排序.在PRIP-VSGC和UoM-SGFS数据集上进行验证,文中算法rank10的识别率分别达到88.6%和96.7%,与现有算法相比有明显的提高.

基于层次对比生成对抗网络的非配对素描人脸合成

现有素描人脸合成方法存在过度依赖配对数据和面部细节特征失真、粗糙等问题,尤其在样本非配对场景下,高质量素描人脸图像的合成难度很高。为了解决上述问题,提出一种基于层次对比生成对抗网络(hierarchical contrast generative adversarial network,HCGAN)的非配对素描人脸合成方法。在网络结构上,设计了全局素描合成模块,负责素描人脸的合成并保持面部各个局部之间的协调性;设计了局部素描细化模块,用于提升对局部细节的刻画,防止局部细节失真。另外,提出了局部细化损失,提供局部优化的约束,使合成的素描在细节上更逼真。在CUFS数据集上进行消融实验和对比实验验证框架各部分的有效性,结果表明,提出的方法在非配对输入下拥有更好的量化指标,同时生成的素描在细节上更加逼真,且各部分衔接更加自然,视觉效果更好。

融合多尺度梯度特征的人脸素描照片合成

人脸素描照片合成是异质图像变换重要分支,近年来受到广泛关注,在数字娱乐和执法领域都得到了广泛应用。近几年基于生成对抗网络的方法在图像跨域转换方面取得了较大的进步,但合成图像会产生噪声、伪影等问题。以U-Net网络为基础,提出了一种融合多尺度梯度特征的人脸素描照片合成方法,该方法结合了MSG-GAN的思想:允许判别器不仅使用生成器最终输出的梯度,而且还使用从上采样中间层输出的不同分辨率的梯度。同时在U-Net网络中加入了残差学习单元,来缓解深度神经网络训练过程中产生的梯度消失和梯度爆炸的问题。此外还加入了基于MRF-CNN的伪人脸特征生成器,采用块匹配的方法来生成伪人脸图像用于监督生成器的人脸生成。最后在CUFS和CUFSF数据集上的实验结果表明所提出方法的有效性。

基于多残差动态融合生成对抗网络的人脸素描-照片合成方法

针对现阶段人脸素描-照片合成方法合成的图像存在清晰度较低、面部细节模糊等问题,提出基于多残差动态融合生成对抗网络的人脸素描-照片合成方法.首先设计多残差动态融合网络,从不同的密集残差模块分别提取特征并进行残差学习.然后根据不同层次的多样化残差特征生成对应的偏移量,不同位置的卷积核依据偏移量改变采样坐标,使网络自适应地关注特征中重要信息.在避免特征信息逐级丢失和冗余信息干扰的前提下,网络有效整合几何细节信息与高级语义信息.方法同时引入多尺度感知损失,对不同分辨率的合成图像进行感知对比,使网络可由粗到细地对合成图像进行正则化约束.在香港中文大学面部素描数据集上的实验表明,文中方法合成的图像清晰度较高,面部细节完整,颜色一致,接近真实的人脸图像.

结合pHash和稀疏编码的素描人脸合成方法

为解决已有素描人脸合成方法存在的细节模糊和清晰度低的问题,提出一种感知哈希算法(Perceptual Hash,pHash)与稀疏编码(Sparse Coding,SC)相结合的素描人脸合成方法。首先根据图像的信息熵对人脸照片-素描对进行自适应分块处理,利用感知哈希算法计算出大图像块的哈希指纹,并对小图像块进行稀疏编码;然后选取与测试照片块最相似的K个初始候选照片块,得到与之对应的素描块;最后引入二次稀疏编码方法,合成最终的素描块,进而合成整幅素描人脸图像。利用现有的人脸数据库验证了算法的有效性,该算法经优化后可用于素描人脸合成。

基于子块LBP和最优相关的素描人脸合成

提出一种素描人脸合成算法,其主要实现的功能是给出一幅光学脸,合成一幅素描脸。为了合成素描图片,对人脸区域进行分块,利用欧氏距离从训练集中提取与待合成目标相近的粗选块系列;使用子块切分的LBP纹理筛选对粗选块系列进行再提取,得到几个与待合成目标更加相近的精选块系列;提出基于最优相关的逐次定位法,即确定首行首块,依次计算相邻块间的相关系数,求得最优块,最终合成一副完整的素描人脸。通过对待合成目标进行性别过滤,以进一步提升合成精度。经实验验证,该算法在FERET数据库下多个训练集,测试集80幅人脸的情况下,合成精度达到92%左右,验证了素描人脸合成算法准确性和有效性。

基于图像块比较网络的素描人脸合成方法

针对传统素描人脸合成方法生成的素描肖像清晰度低且风格特征不显著的问题,提出了一种基于图像块比较网络的素描人脸合成方法,通过内容编码器和风格编码器自适应融合生成素描肖像。此外,引入多层次图像块比较模块来丰富素描人脸细节,加入预先训练的VGG16模型提取特征并使用均方误差约束使得素描肖像风格突出。在公共素描人脸数据库上与其他传统方法进行对比实验,结果表明该方法生成的素描肖像清晰度更高、风格更显著,各定量指标值最优。

多判别器循环生成对抗网络的素描人脸合成

素描人脸合成在娱乐和刑侦领域具有重要应用价值。为了解决传统素描人脸合成方法生成图像面部细节模糊,缺失真实感等问题,改进了CycleGAN网络结构,提出一种基于多判别器循环生成对抗网络的素描人脸合成方法。该方法选取残差网络作为生成网络模型,在生成器隐藏层中增加多个判别器,提高网络对生成图像细节特征的提取能力;并建立了重构误差约束映射关系,最小化生成图像与目标图像之间的距离。通过在CUHK和AR人脸数据库中的对比实验,证明了相比于原始CycleGAN框架该方法性能有明显提升;相比于目前领先的方法,所提方法生成的素描图像细节特征更清晰,真实感更强。

基于双层生成对抗网络的素描人脸合成方法

为解决传统素描人脸合成方法中素描人脸图像细节模糊和清晰度低的问题,提出一种基于双层生成对抗网络的素描人脸合成方法。该方法学习面部照片与素描人脸图像之间的映射关系,并通过双层网络将映射关系限制为一对一映射;利用重建损失函数约束生成网络,提高合成能力;通过生成网络与判别网络的对抗训练,优化网络参数,合成最终素描人脸图像。通过在CUHK素描人脸库上的对比实验,证明该方法合成的素描人脸图像质量明显优于其他传统素描人脸合成方法,其合成的素描人脸图像面部细节更完整,清晰度更高。

基于三网络对抗学习的素描人脸合成方法

为解决现有素描人脸合成方法中素描人脸图像细节缺失、清晰度低及可适用性差的问题,提出一种三网络对抗学习的模型。由面部特征提取网络、生成网络及判别网络组成,引入面部细节损失与对抗损失相结合的复合损失函数,提高合成素描人脸图像的质量。在公共素描人脸数据集中与现有方法的定量与定性对比实验验证了该方法能够生成更加逼真、清晰的素描人脸图像。

基于小波预测的超分辨率素描人脸合成方法

在使用人工智能算法等途径生成高质量的素描人脸图像时,若输入光学图像分辨率较低,生成的素描图像质量也会较差。在仅有低分辨率光学图像的条件下,提出一种基于小波预测的超分辨率素描人脸合成方法合成高质量的素描图像。在素描人脸合成网络的基础上引入超分辨率模块,通过对高分辨率图像的小波包分解系数进行预测,在端到端的框架下同时完成对图像的素描人脸图像合成以及超分辨率重建,提高合成图像的质量及分辨率。通过在CUHK学生数据集上与目前领先的超分辨率重建方法进行实验对比,该方法相较其它对比方法取得了更加优越的实验结果。

基于多尺度特征融合的人脸照片–素描合成

从真实的人脸照片合成面部素描及其逆过程具有广泛的用途,例如数字娱乐与协助刑事案件的侦查.但是,由于照片与素描在纹理上的显著差异,它们之间的互相转换仍是一个具有挑战性的问题.最近基于生成对抗网络的方法已在图像间转换问题,特别是照片到素描的转换方面展现出令人鼓舞的结果,但它们大多会在面部关键组件产生不同的形变或者模糊,使得合成图像的真实性受影响.为了应对这一挑战,我们提出了一种新颖的基于多尺度特征融合的人脸照片–素描合成算法,来提高合成图像的结构完整性与纹理逼真度.首先使用编码器提取输入图像的多尺度编码特征,然后将最底层编码特征经过空洞卷积模块后传入解码器进行解码.解码过程中将不同尺度的解码特征与对应尺度的编码特征在通道维度上拼接,从而获得多尺度编解码融合特征.最后在解码器的输出端将不同尺度的编解码融合特征进一步融合,并通过一层卷积层产生最终合成结果.通过这种同时将编码–解码过程中不同尺度的特征在通道维度进行拼接的方式,能够保持较好的图像结构以及纹理细节,生成逼真的面部素描/照片图像.我们在多个具有挑战性的数据集中验证了所提方法的有效性.定量和定性评估表明,本文模型在生成具有高视觉质量的人脸素描(或照片)方面优于其他最新技术.

双重对偶生成对抗网络的跨年龄素描-照片转换

目的跨年龄素描-照片转换旨在根据面部素描图像合成同一人物不同年龄阶段的面部照片图像。该任务在公共安全和数字娱乐等领域具有广泛的应用价值,然而由于配对样本难以收集和人脸老化机制复杂等原因,目前研究较少。针对此情况,提出一种基于双重对偶生成对抗网络(double dual generative adversarial networks,D-DualGANs)的跨年龄素描-照片转换方法。方法该网络通过设置4个生成器和4个判别器,以对抗训练的方式,分别学习素描到照片、源年龄组到目标年龄组的正向及反向映射。使素描图像与照片图像的生成过程相结合,老化图像与退龄图像的生成过程相结合,分别实现图像风格属性和年龄属性上的对偶。并增加重构身份损失和完全重构损失以约束图像生成。最终使输入的来自不同年龄组的素描图像和照片图像,分别转换成对方年龄组下的照片和素描。结果为香港中文大学面部素描数据集(Chinese University of Hong Kong (CUHK) face sketch database,CUFS)和香港中文大学面部素描人脸识别技术数据集(CUHK face sketch face recognition technology database,CUFSF)的图像制作对应的年龄标签,并依据标签将图像分成3个年龄组,共训练6个D-DualGANs模型以实现3个年龄组图像之间的两两转换。同非端到端的方法相比,本文方法生成图像的变形和噪声更小,且年龄平均绝对误差(mean absolute error,MAE)更低,与原图像相似度的投票对比表明11~30素描与31~50照片的转换效果最好。结论双重对偶生成对抗网络可以同时转换输入图像的年龄和风格属性,且生成的图像有效保留了原图像的身份特征,有效解决了图像跨风格且跨年龄的转换问题。