Face Super-resolution Reconstruction and Recognition Using Non-local Similarity Dictionary Learning Based Algorithm

One of the challenges of face recognition in surveillance is the low resolution of face region. Therefore many superresolution (SR) face reconstruction methods are proposed to produce a high-resolution face image from one or a set of low-resolution face images. However, existing dictionary learning based algorithms are sensitive to noise and very time-consuming. In this paper, we define and prove the multi-scale linear combination consistency. In order to improve the performance of SR, we propose a novel SR face reconstruction method based on nonlocal similarity and multi-scale linear combination consistency (NLS-MLC). We further proposed a new recognition approach for very low resolution face images based on resolution scale invariant feature (RSIF). A series of experiments are conducted on two public face image databases to test feasibility of our proposed methods. Experimental results show that the proposed SR method is more robust and computationally effective in face hallucination, and the recognition accuracy of RSIF is higher than some state-of-art algorithms. © 2014 Chinese Association of Automation.

一种改进的字典学习的教室图像超分辨率重建方法

目前,教室的成像因受设备性能低和环境复杂的影响,会出现教学环境下对师生认识不全的情况。为了充分利用图像信息,全面细致地了解教学情况,文章提出一种改进的字典学习的教室图像超分辨率重建方法。通过采用字典学习算法训练自构的教室图像数据集得到对应的低秩字典和稀疏字典,使用训练的两个字典重建训练集图像,再参与训练,得到残差字典,然后运用训练得到的三个字典重建低分辨率图像,最终得到高分辨率图像。将提出的算法与几种经典算法进行对比实验,可视化和量化结果均表明,提出的算法在PSNR和SSIM上都获得了显著的提升。

一种新颖的人脸图像超分辨率技术

研究了基于学习的人脸图像超分辨率技术。针对Baker方法建立的图像金字塔提取高频细节不够丰富的缺点,提出基于多分辨率幻觉脸算法,采用Kirsch算子提取了高频特征。该算子与Baker的一阶、二阶灰度算子结合,能够提取更多的图像信息,使得匹配更为准确。将流形学习中的LLE算法思想引入匹配复原过程,复原结果获取了更完备的高频信息。对IMDB人脸库进行了试验比较,结果表明,本文方法可取得30.92 dB的平均峰值信噪比,高于Baker方法和插值算法;而且本文预测得到的先验模型更为准确,使得最终复原的人脸图像具有更好的视觉效果。

基于流形学习的人脸图像超分辨率技术研究

超分辨率技术是由低分辨率图像复原出高分辨率图像的技术。针对人脸图像进行基于学习的超分辨率技术研究,将流形学习算法融入到超分辨率算法中,并且将其用于人脸图像的超分辨率复原。对流形学习应用于基于学习的超分辨率原理进行了介绍。为了使得人脸图像取得更好的复原效果,对特征提取模板进行改进,使得新的特征提取模板考虑更多的像素之间的相关性,并更好地抑制噪声的影响,保留了更多的特征信息。加入了新的特征(即拉普拉斯特征)。该特征突出的边缘细节,保持了人脸图像鲜明的轮廓和清晰的边缘信息。实验结果表明,算法复原出的人脸图像更接近于真实图像,具有更高的峰值信噪比。

局部线性嵌入的快速单幅图像超分辨率技术

图像超分辨率的目的是在给定低分辨率图像的基础上产生超分辨率图像。单幅图像超分辨率是个病态和欠定的问题,需要通过样本学习和图像先验约束来重构图像丢失的高频细节。本文提出了一种基于局部线性嵌入的快速单幅图像超分辨率技术。首先,该方法利用大量的自然图像建立高低分辨率图像块样本训练库;其次,运用聚类算法将具有相似性质的高低分辨率样本块进行聚类;再次,基于局部线性嵌入技术,通过样本训练来学习低分辨率图像与高分辨率图像之间的映射函数;最后,用过映射函数来重构高分辨率图像。实验结果表明,本文算法不仅能高质量重构高分辨图像,而且快速高效。

基于流形学习的车牌图像超分辨率算法

为了解决视频监控系统中车牌图像分辨率较低、车牌字符难以辨识的问题,提出一种基于流形学习的车牌图像超分辨率重建算法。首先学习训练样本库中高、低分辨率图像之间的映射关系,然后利用线性判别分析(Linear Discriminant Analysis,LDA)算法提取图像特征,并利用流形学习中的局部线性嵌入(Locally Linear Embedding,LLE)算法对特征向量进行参数建模,最后通过特征映射关系获得高分辨率图像。实验表明,该方法对监控系统中的低分辨率车牌图像具有较好的超分辨率复原效果,不仅提高了字符的可读性,而且具有更高的峰值信噪比。

基于级联线性回归的快速单幅图像超分辨率技术

基于学习的图像超分辨率技术,通过学习获得高、低分辨率图像之间的映射关系,将其作为先验约束条件来估计高分辨率图像。这种技术的一个重要问题是如何建立高分辨率和低分辨率图像之间的映射关系,大多数现有的复杂模型既难以推广到所有自然图像,还需要耗费大量时间进行模型训练,而简单模型的表示能力却很有限。本文提出了一种简单、有效、鲁棒、快速的图像超分辨率技术。这种超分辨技术基于一系列线性最小二乘函数,即级联线性回归模型,这种模型函数具有闭合形式的解,仅需要很少的控制参数,因此在计算上能够有效实现。为了减小估计模型和实际模型之间的差距,本文通过k-means算法将图像块进行聚类,并在每次迭代中学习每个聚类的线性回归参数,在级联线性回归学习过程中逐渐逼近真实的超分辨率图像。实验结果表明,本文所提出的技术与现有技术方法相比,具有更好的超分辨性能、更低的时间消耗。

基于深度学习和稀疏编码的图像超分辨率重建

针对基于深度神经网络的图像超分辨率重建技术训练时间长的问题,提出一种基于深度学习和稀疏编码的图像超分辨率重建算法。采用卷积神经网络学习低分辨率图像每一块的深度视觉特征,利用局部约束线性编码的局部平滑稀疏能力对深度特征进行编码;利用字典学习技术学习低分辨率图像和高分辨率图像每一块之间的判别关系字典;通过低分辨率字典和低分辨率图像估计稀疏表示系数,利用该系数实现图像超分辨率的重建。实验结果表明,该算法在视觉效果和评价指标上均获得了较好的超分辨率效果,并且速度较快。

一种改进的局部线性嵌入超分辨率重建算法

提出了一种改进的局部线性嵌入超分辨率重建算法。该算法着重对局部线性嵌入超分辨率重建算法三个方面做了改进:特征选取,用图像块的DCT系数来取代图像块的1阶、2阶梯度作为图像块的特征描述,可以减弱噪声的影响;邻近块的数目,根据图像块与周围图像块的关系自适应的选取邻近块的数目,可以避免将距离较远的块选为邻近块;样本库的训练过程,用高分辨率图像与低分辨率图像的残差图像作为高分辨率图像的训练样本,这样既可以避免低频分量的干扰,又可以减少在计算过程中的平滑次数。实验结果表明这种改进的算法比原算法的重建效果有了较大程度的提高:PSNR提高4.07 dB,SSIM提高0.065 4;比稀疏重建算法PSNR提高0.62 dB,SSIM提高0.006 6,而且用DCT系数作为图像块的特征表示,每一个图像块所需要提取的特征数比用1阶、2阶梯度减少了四分之三,降低了算法的复杂度。

基于近邻非负线性组合的高分辨率图像重建

针对现有基于局部线性嵌入的高分辨率图像重建算法对噪声敏感、图像块间边界不连续等问题,提出一种近邻非负线性重建高分辨率图像的流形学习算法。将流形学习重建过程中的近邻线性组合系数约束为非负,并采用基于像素块比例值的特征提取方法。实验结果表明,该算法能重建更多的细节,降低块效应,提高重建图像的峰值信噪比。

正则化技术和低秩矩阵在稀疏表示超分辨率算法中的应用

为了有效地利用图像的特征作为指导重建的先验知识,解决常规超分辨率算法对边缘与结构等细节恢复不足的问题,提出一种改进的超分辨率算法.对待重建图像进行低秩分解,得到不同特征的低秩子图像和稀疏子图像;对于低秩子图像,提出采用基于正则化技术的稀疏表示超分辨率算法进行重建,先通过在低秩子图像中寻找相似图像块构造非局部相似正则化项,得到图像的非局部冗余,以保持边缘信息;再通过局部线性嵌入方法构造流形学习正则化项,获得图像的结构先验知识,以增强结构信息.对于稀疏子图像则不参与稀疏表示超分辨率重建,而是采用双三次插值法进行重建.实验结果表明,与其他算法相比,无论在主观视觉效果上,还是在峰值信噪比和结构相似性指标上,文中算法都有显著的提高.

一种改进的基于稀疏表示的超分辨率重建算法

针对超分辨率重建中出现的图像模糊等问题,提出了一种改进的基于稀疏表示的超分辨率重建算法。算法将局部线性嵌入(LLE)引入到稀疏编码中,从而保证稀疏分解的稳定性,能够有效地保留数据的局部流形结构。而在字典训练阶段和重建阶段,采用基于图像块清晰度的聚类方法。对于每一类图像,训练一对低和高分辨率的字典,使得字典继承该类图像的清晰度,提高了学习性能。实验结果表明,改进的算法能够有效地提高重建的高分辨率图像的精度和效果,提高了峰值信噪比。

基于自学习局部线性嵌入的多幅亚像元超分辨成像

研究了软硬件相结合的亚像元超分辨成像技术。首先通过探测器扫描获得同一场景彼此错位亚像元像素的多帧图像作为训练样本和输入图像;然后针对传统的局部线性嵌入(LLE)实例学习超分辨算法过于依赖外部训练样本,不利于光电成像系统直接处理等缺点,提出了一种基于自学习的改进LLE算法;采用新的LLE权值计算方法获得正数权值,同时对初始估计再次运用自学习LLE方法恢复丢失的高频细节信息。仿真实验结果表明,该算法重构的图像的信噪比比传统LLE超分辨算法提高了0.8dB,运行时间提高了75%,视觉上可感知重构图像的细节信息更丰富。与其它方法相比,用搭载的微位移实验平台运行本文算法所获得重构图像的信噪比和信息熵都有很大提高,表明本文算法能获得高质量和高分辨率的重构图像。

图像超分辨重建算法综述

图像超分辨重建是一种提升图像分辨率的图像处理技术,而超分辨问题是一个难解的欠定问题,近些年来研究人员主要采用基于学习的方法,从大量数据中学习图像先验信息,以实现对解空间的约束。本文介绍了近20年来主流的图像超分辨重建算法,主要分为基于传统特征的方法和基于深度学习的方法。对于传统的超分辨重建算法,阐述了基于邻域嵌入的方法、基于稀疏表示的方法以及基于局部线性回归的方法。对于基于深度学习的超分辨重建算法,详细总结了网络模型结构设计、上采样方式、损失函数形式以及复杂条件下的算法设计4个方面。此外,本文简要分析了超分辨重建技术在视频超分辨、遥感图像超分辨以及在视觉高层任务方面的应用。最后,本文展望了图像超分辨重建技术的未来发展方向。

采用稀疏表示和小波变换的超分辨率重建算法

为了提高超分辨率重建图像的质量,提出一种基于稀疏表示和小波变换的超分辨率重建算法.首先,将小波变换的多尺度性、多方向性与稀疏表示的灵活性相结合,构建一种双稀疏编码(DSC)模型,提高稀疏系数的精度.然后,在双稀疏编码模型中引入局部线性嵌入正则化项(LLER),以更好地保留图像的结构;在重建过程中,对输入的低分辨率图像进行小波分解,得到3幅不同方向的高频子图,并采用提出的模型对其进行重建.最后,利用逆小波得到最终的高分辨率图像.实验结果表明:与多种主流的超分辨率算法相比,文中算法无论在主观视觉效果还是在峰值信噪比和结构相似度两个客观评价指标上,都取得了更好的效果.

基于非局部相似字典学习的人脸超分辨率与识别

随着视频监控应用的普及,超低分辨率人脸识别问题越来越突出。现存的人脸识别算法在面对超低分辨率人脸图像时无法给出满意识别性能。在一定程度上,人脸超分辨率方法可以提高人脸的分辨率,但是,目前主流的基于字典学习的人脸超分辨率方法并不能很好地处理超低分辨人脸图像重建问题,尤其是超分辨率人脸识别问题。利用人脸图像块的非局部相似性和多尺度相似性,提出一种改进的基于字典学习的超分辨率人脸重建算法,同时提出尺度不变特征的超低分辨率人脸识别方法。实验结果表明:本文提出的方法不但具有很好的视觉效果,而且还具有很好的识别效果,与目前主流的人脸超分辨率和识别算法相比具有明显的优势。