基于3D先验特征的人脸超分辨率重建算法

为有效解决复杂环境下人脸超分辨率特征恢复的问题,提出一种全新的人脸超分辨率网络.该网络通过融合3D渲染先验知识和双重注意力机制,增强了对人脸空间位置和整体结构的理解,同时提高了细节信息的恢复能力.在数据集CelebAMask-HQ上的实验结果表明:对放大4倍下采样的人脸,该算法在峰值信噪比和结构相似性上达到28.76 dB和0.827 5;对放大8倍下采样的人脸,峰值信噪比和结构相似性评价指标达到26.29 dB和0.754 9.与同类的SAM3D算法相比,该算法在处理放大4倍下采样时的峰值信噪比和结构相似性上分别提升了4.09,1.93个百分点,在处理放大8倍下采样时上述两个指标分别提升了2.02,4.54个百分点.从而证明该算法的优越性,也表明在实际应用中人脸的超分辨率恢复能获得更真实和清晰的视觉效果.

实际场景人脸超分辨率算法综述

人脸超分辨率能够有效提高低分辨率人脸图像的分辨率和质量,因而在视频监控、刑事侦查、娱乐等领域得到了广泛应用。然而实际场景中成像系统、记录设备、传输介质和处理方法不完善,导致噪声、模糊等降低图像质量的多种降质过程以不规则的方式组合,仅假设明确的降质过程来训练网络模型无法满足实际应用需求。针对这些实际场景中人脸超分辨率存在的多样化降质过程,分别介绍了非盲降质人脸超分辨率技术和盲降质超分辨率技术原理、人脸超分辨率领域常用的数据集和评价指标以及代表性工作的主客观重建结果。未来相关研究应聚焦多模态信息决策融合和张量融合,提升重建图像特征维度和时域相似性;通过大规模预训练和对抗学习等,提升模型泛化能力;研究身份一致性算法以及迁移学习等技术对处理复杂成像条件的影响。

基于先验特征与谱归一化的人脸超分辨

图像超分辨技术指在不丢失信息的情况下将低分辨率(LR)图像转换成高分辨率(HR)图像。该技术在人像上的实现有着广泛的应用场景如人脸识别、人脸对齐等,但传统的超分辨方法在人脸图像上恢复程度低,并且不稳定。对此,提出SN-FSRGAN模型。使用人脸先验特征指导超分辨率;引入谱归一化用于稳定基于GAN的超分辨率网络训练结果。通过在数据集Helen与CelebA上实验显示,所提出的方法在PSNR、SSIM与视觉感官上皆取得了对比ESRGAN、FSRGAN等模型而言较优的结果。

基于高效注意力机制的人脸超分辨网络

目前,通过与面部先验联合的深度学习方法已经能够较好地恢复退化后的人脸图像细节。然而这些方法存在着一些不足。一方面,多任务联合训练需要在数据集上进行额外先验标记,并且引入先验预估将显著增加网络的计算量。另一方面,大多数方法仅使用卷积神经网络(CNN),然而CNN有限的感受野会降低重构的完整性和面部图像的准确性。针对上述问题,提出了一种基于高效注意力机制的人脸超分辨率网络。该网络在不需要任何先验信息的辅助下,通过结合CNN与Transformer等注意力机制,能够有效地恢复人脸的全局结构与局部纹理细节。在各个数据集的大量实验都表明该网络可以达到理想的结果。

半配对半监督场景下的低分辨率人脸识别

实际环境(如监控)中常遇到大量低分辨率人脸图像需要识别.对低分辨率人脸的识别相对高分辨率更难,因其含有相对有限的判别信息.为此,通过在人脸识别(系统)构建阶段引入与低分辨率人脸相配对的高分辨率人脸,以提高识别性能成为最近研究的焦点之一.但这些研究仍存在以下不足:1)均要求高、低分辨率人脸样本间的全配对;2)识别系统构建时未利用给出的类信息,导致系统性能受限.事实上常常面对的应用场景是仅能获取部分配对和部分标号的高、低分辨率人脸样本集,即所谓的半配对半监督场景,对此提出一种用于低分辨率人脸识别的半配对半监督算法,以弥补现有相关研究的不足.在Yale和AR人脸数据集上的实验结果验证了该算法的有效性.

基于Log-WT的人脸图像超分辨率重建

目前已有的基于学习的人脸超分辨率图像重建算法大都对亮度变化特别是阴影非常敏感,针对这一缺点,该文提出了一种不随光照变化的图像表示方法——对数-小波变换(Log-WT),并在此基础上构造了一种新的人脸超分辨率图像重建算法。该方法首先利用Log-WT变换提取低分辨率图像与光照无关的内在特性,然后借助流形学习的思想建模高分辨率图像和低分辨率图像之间的关系,并对其加入人脸图像的"专用"先验约束,从而同时实现了超分辨率重建和图像增强。仿真结果表明该算法有效克服了传统方法受光照因素影响的缺点,在提高图像分辨率的同时克服了光照因素的影响,特别是对阴影效应的消除具有明显效果,将该方法应用于人脸识别,有效提高了识别率。

基于2D-PCA特征描述的非负权重邻域嵌入人脸超分辨率重建算法

在基于邻域嵌入人脸图像的超分辨率重建算法中,训练和重建均在特征空间进行,因此,特征选择对算法性能具有较大影响。另外,算法模型对重建权重未加限定,导致负数权重出现而产生过拟合效应,使得重建人脸图像质量衰退。考虑到人脸图像的特征选择以及权重符号限定的重要作用,该文提出一种基于2维主成分分析(2DPCA)特征描述的非负权重邻域嵌入人脸超分辨率重建算法。首先将人脸图像分成若干子块,利用K均值聚类获得图像子块的局部视觉基元,并利用得到的局部视觉基元对图像子块分类。然后,利用2D-PCA对每一类人脸图像子块提取特征,并建立高、低分辨率样本库。最后,在重建过程中使用新的非负权重求解方法求取权重。仿真实验结果表明,相比其他基于邻域嵌入人脸超分辨率重建方法,所提算法可有效提高权重的稳定性,减少过拟合效应,其重建人脸图像具有较好的主客观质量。

基于K近邻稀疏编码均值约束的人脸超分辨率算法

针对低分辨率、低质量人脸图像的超分辨率重建问题,提出了一种基于K近邻稀疏编码均值约束的人脸超分辨率算法。首先,根据人脸块位置先验信息,对训练样本图像块进行聚类,得到与输入人脸图像块位置一致的高、低分辨率稀疏表示字典对;然后,利用低分辨率字典,在稀疏和K近邻稀疏编码均值的共同约束下实现低分辨率图像块的稀疏表示;最后,通过系数映射,结合高分辨率字典实现高分辨率图像块重建,最终将所有高分辨率图像块进行交叠平均得到高分辨率人脸图像。实验结果验证了算法的有效性及先进性。本方法在保持重建人脸图像相似度的基础上,改善了人脸图像的清晰度,提高了超分辨率图像的质量。

基于学习的人脸图像超分辨率重构算法

提出了一种新的基于学习的人脸图像超分辨率重构算法,利用高分辨率图像和低分辨率图像的拓扑结构相似性,将现有的低分辨率人脸图像在低分辨率人脸图像字典中展开,在保持系数不变的同时将字典换为高分辨率人脸图像字典,最终得到待重构的高分辨率人脸图像.在系数估计时,使用主成分分析的方法,同时加入了最小全变分作为约束,算法充分利用了不同人脸图像之间的相似性和人脸图像本身的内部相关性.实验结果表明,结果既保持了对原有图像的忠实性,又比较适合人眼观察.

低质量监控图像鲁棒性人脸超分辨率算法

由于人对图像结构信息的理解对于像素值的噪声干扰具有极强的鲁棒功能,为了增强传统算法针对低质量监控图像的鲁棒性,提出一种基于人工形状语义模型的人脸超分辨率算法.该算法将形状描述成一系列面部特征点的组合,通过人工获取人脸图像形状语义信息,利用形状样本库构建超分辨率代价函数的正则约束项;将图像与形状的系数相关性用于统一重建误差项与形状正则项的变量,并将最速下降法用于优化求解.仿真和实际图像实验结果都表明,在主客观质量上,文中算法的性能都优于传统算法.

低分辨人脸识别综述

全面综述了低分辨(Low-Resolution,LR)人脸识别技术的研究进展,并对相关亟需解决的关键问题进行了讨论。对LR人脸识别系统的概念、待解决问题、系统结构、已有不同识别方法进行了分类阐述。根据高、低分辨率人脸图像空间特征维度的不匹配问题,分别对基于重构超分辨(Super-Resolution,SR)图像和基于公共特征子空间两类LR人脸识别方法进行了详细介绍。对每类方法按照不同的实现过程,进一步划分为三种不同的类型分别介绍,并对每类方法模型的主要思想和核心问题进行了分析和讨论。简单介绍了九种标准人脸数据库,从识别性能、平均运行时间和多人脸库实验结果比较等方面对每类代表性方法进行了分析。对LR人脸识别技术在未来发展中需要解决的难点问题给予了展望。

基于多尺度和多方向特征的人脸超分辨率算法

提出一个基于学习的人脸图像超分辨率算法 该算法采用可操纵金字塔学习人脸图像中的低层次局部特征的空间分布 ,并结合塔状的父结构和局部最优匹配算法来预测最佳先验模型 ;然后将先验模型结合到贝叶斯最大后验概率框架中 ;最后使用最速下降法求出最优的高分辨率人脸图像 实验结果表明 。

基于约束块重建的人脸超分辨率方法

在优化人脸图像识别问题的研究中,针对低分辨率人脸图像不利于对其观察和识别,采用超分辨率技术可使人脸图像的分辨率有效提高。提出了一种约束块重建的人脸超分辨率方法,使训练集由高低分辨率训练集图像对构成,将输入低分辨率人脸块表示为训练集中相同位置块的线性组合,将人脸超分辨率看作最小化重建误差问题。为避免解的不适定性,采用约束最小二乘法求解。为了克服已有方法中人脸手工配准的缺点,还提出了结合人眼定位的人脸自动配准方法。实验结果表明,改进方法有效提高了超分辨率,在客观指标和主观效果上均优于已有方法。

渐进式生成对抗网络的人脸超分辨率重建

人脸幻构是图像超分辨率重建领域的一个子领域,用于恢复面部基本特征且不变形.现有方法着重于恢复本身细节相对丰富的图像,本文针对高频细节已丢失严重的人脸图像提出了一种渐进式生成对抗网络的人脸超分辨率重建方法(P-FSRGAN),可生成逼真的8倍超高分辨率人脸图像.采用渐进式生成方法,通过分阶段拆分训练的方式来保证训练过程的稳定.Inception-ResNet结构的引入增加了网络的宽度;加快了网络收敛速度.引入语义分割网络获得人脸的边缘轮廓信息和面部特征.实验结果表明,在8倍放大尺度因子下,P-FSRGAN的峰值信噪比达到25.83dB、结构相似性指标达到0.7735、多尺度结构相似性指标达到0.8989,均优于其他算法,表明了本文方法的有效性.

基于独立分量分析的人脸超分辨率重建

提出一种基于独立分量分析(ICA)的人脸超分辨率重建算法。该算法利用ICA从高分辨率训练图像中提取出独立分量,并对ICA系数进行先验估计。对于给定的低分辨率图像,结合最大后验概率估计求出ICA系数,进行ICA反变换得到高分辨率图像的近似估计,并利用局部结构张量对图像进行精化处理得到重建图像。仿真结果表明,该算法在实现人脸超分辨率重建的同时保持了人脸整体结构特征,且对光照、表情、姿态等具有一定的鲁棒性,将重建结果用于人脸辨识,有效提高了辨识效率。

基于误差反馈和面部后先验信息的人脸超分辨率重建

人脸超分辨率方法对于低分辨率输入重建很有成效,这些方法往往通过一次或有限次上采样操作提高分辨率,从而构建一种基于前馈结构的网络模型,但这些方法不能完全解决低分辨率到高分辨率人脸图像之间的映射关系,因此生成的图像不够清晰,视觉感知质量差.针对上述问题,本文提出一种基于误差反馈和面部后先验信息的人脸超分辨率重建方法(face super-resolution using error feedback and facial posterior,EFBNet),以获得清晰、逼真的人脸图像.通过一组上下采样操作计算误差,然后反馈误差调整特征的中间表示.这可以理解为一种自校正过程,借助采样操作提供的误差迭代地改变最终结果.此外,设计了一种包含通道级的面部注意力损失和相对判别对抗损失的优化目标,面部注意力损失聚焦于由超分辨率结果预测的精确的后先验信息周围的面部细节,对比由低分辨率输入或中间特征预测的先验信息,该方法可以减少失真,进一步提高生成图像的质量.相对判别对抗损失有助于学习更清晰的边缘和纹理,从而提高图像的清晰度.实验结果表明,该方法可以获得更好的重建结果.

图约束字典和加权稀疏表示人脸超分辨率算法

针对低分辨率、低质量人脸图像重建问题,提出了一种新的基于稀疏表示的人脸超分辨率算法。在训练阶段,人脸的位置特征被用于保持人脸块的全局信息,人脸块间的几何结构被用于保持高低分辨率超完备冗余字典的流形结构,从而提高字典的表达能力;在重建阶段,K近邻加权稀疏表示被用于消除稀疏编码噪声,以提高高分辨率人脸图像重建系数的精度。实验结果表明,提出的方法取得了较好的主客观质量。

采用后验信息构建稀疏原子库的超分辨率人脸重建

为了提高监控噪声环境下人脸图像的重建质量,提出基于后验信息的鲁棒性原子库构建方法及基于该原子库的超分辨率的方法,通过事后采集现场图像,训练只对输入图像的清晰内容稀疏而对噪声内容不稀疏的低维原子集和与之相对应的高维原子集,计算低维空间的稀疏系数并映射到高维空间以合成出重建人脸图像,从而提高基于稀疏表示的局部脸超分辨率对于监控噪声的鲁棒性.实验结果表明:对于实际拍摄的监控图像输入,提出的基于后验信息的原子库具有很好的鲁棒性能,重建结果比传统方法有更好的主观效果.

非负特征基约束的人脸超分辨率

主成分分析(PCA)是人脸超分辨率中常用的人脸图像表达方法,但是PCA方法的特征是整体的且难以语义解释.为了使表达的结果更好地用于合成超分辨率人脸图像,提出一种非负特征基约束的人脸超分辨率算法.该算法利用非负矩阵分解(NMF)获取样本人脸图像的非负特征基,结合最大后验概率的方法,对目标图像进行马尔可夫随机场正则约束,最速下降法优化得到高分辨率人脸图像的非负特征基系数.实验结果表明,在主客观质量上,非负特征基约束的人脸超分辨率算法的性能胜过基于PCA的算法.

人脸识别率与图像分辨率关系的比较分析

为在低分辨率图像中提高人脸识别率,从实际应用角度出发,分析研究图像分辨率与人脸识别率间的关系,在此基础上,采用主成分分析方法,对3种数据库中具有不同分辨率的人脸图像进行识别。仿真实验结果表明,该方法能在人脸图像分辨率较低的情况下获得与高分辨率图像基本一致的识别效果,且同时兼顾识别率及识别效率。