基于生成对抗网络的轻量级图像盲超分辨率网络

针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络(fast and memory-efficient image super resulotion network,FMEN)进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络(fast and memory-efficient image blind super resulotion network,FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution,LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块(high frequency attention block,HFAB)结构进行改进;最后,使用生成对抗网络(generative adversarial network,GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集RealWorld-38上,该算法有较好的重建精度与视觉效果,模型大小12 MB,可以满足图像盲超分辨率网络的轻量级需求。

基于跨尺度低秩约束的单幅图像盲超分辨率算法

单幅图像盲超分辨率方法是在模糊核未知的情况下仅利用单幅低分辨率图像重建高分辨率图像,这是一个严重的欠定逆问题.超分辨率正则化方法通过正则化约束项引入附加信息,为低分辨率图像恢复或重建合理的高频成分.本文将跨尺度自相似性与低秩先验相结合,提出了一种基于跨尺度低秩约束的单幅图像盲超分辨率方法,采用联合建模的方法同时估计模糊核与高分辨率图像.利用高分辨率图像、低分辨率图像及其降采样图像之间的跨尺度自相似性,对于低分辨率图像中的图像块在降采样图像中搜索相似块,将该图像块在高分辨率重建图像中对应的父块与其相似块在低分辨率图像中对应的父块合并,构造跨尺度相似图像块组矩阵.由于低分辨率图像中的跨尺度相似图像块能够为重建图像块提供潜在的细节信息,因此对相似图像块组矩阵进行低秩约束,在迭代求解过程中迫使重建图像恢复高频成分,进而促使模糊核的估计更加准确.此外,低秩约束能够表示数据的全局结构,对噪声具有鲁棒性.在真实和模拟图像上的实验表明,本文的算法能够准确地估计模糊核,重建高分辨率图像的边缘和细节,优于现有的自监督盲超分辨率算法.

基于盲超分辨的超大规模MIMO-OFDM信道与感知参数联合估计

面向未来6G网络,ISAC与XL-MIMO技术有机结合、共同演进,有望进一步提升ISAC性能。然而,XL-MIMO-ISAC中部署大量天线会产生近场效应,为准确获取CSI和目标参数信息带来关键挑战。为此,采用线性修改的原子范数最小化方法,建模毫米波通信信道和感知阵列响应这两种盲源之间极坐标域的子空间一致关联,并提出了一种基于盲超分辨技术的CSI与感知参数并行估计方案,以避免从叠加信号中串行估计通信信道与目标参数信息造成误差传播。将联合盲源估计建模为非完全观测条件下的低秩矩阵重构问题,并引入PSWF将问题转化为SDP。仿真结果验证了提出的算法在CSI精度和目标参数分辨率方面的有效性。

基于退化感知的盲超分辨率模型

现有的超分辨率方法假设了从高分辨率图像到低分辨率图像的预定义退化过程,这对于具有复杂退化类型的真实世界图像来说很难成立。针对该问题,本文提出了基于退化感知的盲超分辨率模型。该模型用随机模糊核生成低分辨率图像,用对比学习退化表征。模型生成器由包含多个退化感知块的残差组构成。退化感知块用退化表征和图像特征做交叉注意力计算空间权重图,此外模型还收集残差组输出的层级特征,计算层间注意力来复用层级特征,使得模型更加关注高频细节,模型特征提取能力进一步提高。通过消融实验验证了各模块的有效性。在多个国际公开测试集上,放大倍数为4的平均PSNR提升1.45 dB,SSIM提升0.058。实验结果表明,该模型在盲超分辨率任务上取得了显著的性能,且具有良好的视觉效果。

基于模糊核估计的图像盲超分辨率神经网络

模糊图像的超分辨率重建具有挑战性并且有重要的实用价值.为此,提出一种基于模糊核估计的图像盲超分辨率神经网络(Blurred image blind super-resolution network via kernel estimation,BESRNet).该网络主要包括两个部分:模糊核估计网络(Blur kernel estimation network,BKENet)和模糊核自适应的图像重建网络(Kernel adaptive superresolution network,SRNet).给定任意低分辨率图像(Low-resolution image,LR),首先利用模糊核估计子网络从输入图像估计出实际的模糊核,然后根据估计到的模糊核,利用模糊核自适应的图像重建子网络完成输入图像的超分辨率重建.与其他图像盲超分辨率方法不同,所提出的模糊核估计网络能够显式地从输入低分辨率图像中估计出完整的模糊核,然后模糊核自适应的图像重建网络根据估计到的模糊核,动态地调整网络各层的图像特征,从而适应不同输入图像的模糊.在多个基准数据集上进行了有效性实验,定性和定量的结果都表明该网络优于同类的图像盲超分辨率神经网络.

融合图像局部和退化表征信息的盲超分辨重建

针对假设的退化模型与实际模型不一致时图像超分辨性能显著降低的问题,提出了一种融合图像空间局部和退化表征信息的深度卷积神经网络模型。首先对低分辨图像提取初始特征和退化表达量;然后构建级联的空间局部信息和退化信息模块以及特征融合块,这些模块进一步级联组成特征变换子网络;最后,利用反卷积层得到高分辨率图像。在基准测试数据集上的实验表明,当高斯核宽度不为0时,算法在采样因子为×2和×4的盲超分辨重建中均取得了较当前主流算法更高的峰值信噪比值(PSNR),其中×2盲超分辨时最高的PSNR值为37.56,×4盲超分辨时最高的PSNR值为31.87,并且与主流算法相比也有较高的重建效率和较好重建视觉效果。

基于空间变化模糊核估计的图像盲超分辨率重建

针对退化模式已知的图像超分辨率算法对于复杂退化的真实场景重建效果并不好,并且现有的盲图像超分往往假设模糊核空间不变,但在现实图像中的模糊核通常是空间可变的等问题。文章提出了一种基于空间变化模糊核估计的图像盲超分辨率网络(Spatially Variant Kernel Estimation Super-Resolution Network,SKESRNet),SKESRNet由三部分构成:特征提取模块、模糊核重构模块和图像重建模块。给定任意模糊下的低分辨率图像,该网络首先利用特征提取模块得到输入图像的特征,然后根据得到的特征,利用模糊核重构模块估计出图像的模糊核,最后在图像重建模块完成输入图像的超分辨率重建。文章在多个基准数据集上进行了实验,结果表明该网络优于同类的图像盲超分辨率重建网络。

基于退化感知和序列残差的图像盲超分辨率重建

针对盲超分辨率重建中特征提取不准确且重建图像不够自然的问题,提出了一种基于退化感知和序列残差的图像盲超分辨率重建算法,设计了小残差组融合退化感知和序列残差相结合作为所提算法的主干网络,进一步构建了对称的增强型多尺度残差模块,并且在图像重建部分,将瓶颈注意力模块与像素重组上采样模块级联,强调图像的多维元素,最后进行了全局残差连接。实验表明,与当前代表性算法DASR相比,该算法在Set14×2上的PSNR和SSIM分别提高0.145 dB、0.0014,在Set14×3/4上PSNR分别提高1.898 dB、0.252 dB,且在五个标准测试集上与几种当前流行的图像超分辨率算法相比取得了更好的性能。

基于多帧视频序列的盲超分辨率影像重建

提出了一种基于多帧序列的盲超分辨率算法和实现框架以解决影像分辨率较低问题。该算法首先对获得的视频序列低分辨率影像进行预处理,然后估计各帧间的相对运动,最后在不知道监控系统的降质模型及相关参数的情况下,逐步投影迭代来重建高分辨率影像。运用该算法对实际监控影像进行了重建实验,通过主观感受和多种客观评价指标多角度对算法进行了评估。结果表明,重建影像空间分辨率得到明显提高,边缘高频信息得到恢复,证明该算法稳健有效。

基于支撑向量机的盲超分辨率图像复原算法

本文提出了一种基于支撑向量机的盲超分辨率图像复原算法.首先采用Sobel算子和局部方差从训练图像中提取能够表征模糊参数信息的特征向量,并利用支撑向量机建立特征向量与对应的候选参数的映射关系,然后通过建立的模型对不同光照条件下的低分辨率图像进行参数辨识,最后根据辨识出的模糊参数融合不同光照条件下的低分辨率图像同时实现了图像动态范围和空间分辨率的增强.为了实现低分辨率图像间的亚像素配准,还提出了一种基于Retinex的亚像素运动估计算法.仿真结果表明与传统算法相比,无论从主观视觉还是定量描述上本文算法均具有较好的效果.

基于L0范数稀疏表达的图像盲超分辨率重建

由于大部分超分辨率图像重建方法都是建立在图像的点扩散函数为已知或假设点扩散函数为高斯模糊核的条件下,但真实的低分辨率图像中的点扩散函数并不是高斯函数,而是由随机的相机抖动造成的。为了提高重建的超分辨率图像质量并使其更接近真实场景,提出了一种基于L0范数稀疏表达的图像盲超分辨率重建方法。首先利用了基于L0范数的梯度最小化方法估计出超分辨率图像中的点扩散函数,再通过点扩散函数的估计在超分辨率重建的过程中有效地去除图片的模糊效应,最后利用反向传播算法,使重建的超分辨率图像更接近真实。通过实验结果表明,提出的方法相对于双三次插值法和基于多字典学习的图像超分辨率重建算法可以得到更清晰的重建效果,峰值信噪比和平均结构相似度均有提高,最后在真实图片重建测试效果中也得到了更好的验证。

基于刃边法的序列图像盲超分辨率重建算法

为了减少点扩展函数(PSF)估计误差对盲超分辨率重建结果的影响,提出了1种新的序列图像盲超分辨率重建算法。首先采用刃边法实现对成像系统点扩展函数的准确估计,然后将估计的点扩展函数引入迭代反投影超分辨率重建算法中,进行高分辨率图像的重建。实验结果表明,本文算法运算时间较短,不受限于低分辨率图像的模糊程度,重建结果不但具有较高的峰值信噪比(PSNR)和结构相似度(SSIM),而且真实分辨率的提升幅度更大。

基于压缩感知的电力设备红外图像盲超分辨率方法

电力设备红外图像采集过程中出现的分辨率降低和模糊现象是影响红外诊断准确性的重要因素。然而现有超分辨率方法一般假设模糊核已知,但当假设核偏离真实核时方法性能会显著降低。该文针对这一问题,提出一种压缩感知盲超分辨率改进方法。以图像退化模型为基础,结合图像在变换域内稀疏为先验知识,实现图像的超分辨率重建。在重建过程中通过红外图像亮度分量的极值分布先验信息促进模糊核的优化求解以及重建图像反卷积去模糊运算,将传统的非盲超分辨率方法改进为盲超分辨率方法。在提高模型准确性的同时,提升了重建图像细节纹理的质量。并对压缩感知基础模型进行改进变形,以此为基础设计了高效求解算法,最终实现高分辨率图像的高质量重建,从而更好地适应工程应用需求。实验结果表明该文提出的盲超分辨率方法与已有方法相比,其重建得到的红外图像结果无论在主观视觉还是客观评价指标上,均有着一定优势,能够更好地适应现场采集到的低分辨率红外图像超分辨率重建需求。

基于迭代交替优化的图像盲超分辨率重建

基于深度卷积神经网络的图像超分辨率重建算法通常假设低分辨率图像的降质是固定且已知的,如双3次下采样等,因此难以处理降质(如模糊核及噪声水平)未知的图像。针对此问题,该文提出联合估计模糊核、噪声水平和高分辨率图像,设计了一种基于迭代交替优化的图像盲超分辨率重建网络。在所提网络中,图像重建器以估计的模糊核和噪声水平作为先验信息,由低分辨率图像重建出高分辨率图像;同时,综合低分辨率图像和估计的高分辨率图像,模糊核及噪声水平估计器分别实现模糊核和噪声水平的估计。进一步地,该文提出对模糊核/噪声水平估计器及图像重建器进行迭代交替的端对端优化,以提高它们的兼容性并使其相互促进。实验结果表明,与IKC,DASR,MANet,DAN等现有算法相比,提出方法在常用公开测试集(Set5,Set14,B100,Urban100)及真实场景图像上都取得了更优的性能,能够更好地对降质未知的图像进行重建;同时,提出方法在参数量或处理效率上也有一定的优势。

变分贝叶斯框架中的多帧图像盲超分辨

多帧图像超分辨理论是通过融合多帧低分辨率图像的信息来重构高空间分辨率图像。准确估计低分辨率图像的模糊核是进行有效信息融合的先决条件。传统超分辨方法通常假设模糊核已知且采用固定的高斯滤波模糊核,并且模型参数需要费时的手动调整。本文在变分贝叶斯框架下获得相应的超分辨算法,该算法对高分辨率图像、模糊核和模型参数同时进行最优估计。对比实验表明,模糊核自适应估计的盲超分辨方法总体性能优于现有的变分贝叶斯框架下的图像超分辨方法,特别是在高信噪比场景,推荐方法优势更加明显。

基于遗传算法的盲超分辨率图像的重建

针对盲超分辨率图像复原问题,提出了一种基于遗传算法的盲超分辨率图像重建方法。这种方法建立了一个由高分辨率图像和模糊项相关联的正则化函数,并利用遗传算法的全局寻优能力使得这个正则化函数最小化,从而由一组退化的低分辨率图像求得高分辨率图像,同时评估出导致模糊原因。仿真结果表明算法的可行性。

图像超分辨率重建综述

图像超分辨率重建是计算机视觉领域中一个备受关注的研究方向,其目标是通过使用先进的超分辨率方法,将低分辨率图像提升至高分辨率,以改善图像质量和细节。图像超分辨率重建在医学影像、计算机视觉和卫星遥感等领域具有广泛的应用。本文涵盖了基于深度学习的单图像超分辨率和多图像超分辨率的发展历程和最新进展,并探讨了两类方法的优势与局限性。图像超分辨率重建仍然充满挑战和机遇,文章最后展望了图像超分辨率重建的未来研究方向。

仿射运动模型下的图像盲超分辨率重建算法

研究利用帧间存在仿射运动的低分辨率图像序列重建出更高光学分辨率图像的盲超分辨率(BSR)问题.首先给出一种基于特征向量的模糊核零空间矩阵构造方法.将模糊的零子空间约束作为一项规整化泛函,提出一种非参数化模糊辨识、运动估计和图像重建三重耦合问题的联合迭代算法.该算法采用一个二层优化策略:先将三重耦合的BSR问题分解为关于模糊的二次型和关于运动参数与图像的非线性最小二乘(NLS)问题,再采用Gauss-Newton方法求解该NLS问题.仿真实验结果表明,文中提出的仿射变换下的BSR算法能对图像空间移变退化过程进行更为精确的建模,比纯平移BSR算法有更强的局部纹理恢复能力.最后通过真实车牌图像序列展示该算法的适用性.

基于压缩感知的电力设备红外图像非盲自适应超分辨率方法

电力物联网建设过程中,红外传感技术应用越加广泛,然而受成本限制难以实现高精度红外传感器的大规模装设。因此文中提出了一种压缩感知自适应非盲超分辨率方法,以改善低成本红外传感器成像质量。该方法以压缩感知超分辨率模型为基础,结合图像去模糊先验信息,提出了压缩感知非盲超分辨率模型。并采用双先验二次估计的方式求解正则项惩罚参数,实现对约束项的自适应强度控制。求解过程中首先通过高斯先验对模糊图像进行初步反卷积重建,以阈值收缩的方式分离重建图像显著边缘,生成标签图像。之后根据图像内部像素点语义的不同,控制超拉普拉斯先验正则项强度,在提升重建图像清晰度的同时避免伪影振铃的产生。并针对所提模型设计了有效的求解算法。实验结果表明与现有经典非盲超分辨率方法相比,该方法重建得到的高分辨率红外图像无论在主观视觉还是客观评价指标上,均有着一定优势。且最终进行的红外图像识别对比实验,也证明了该方法重建的高分辨率红外图像能够更好地解决电力行业的实际问题。

基于最大化自相似性先验的盲单帧图像超分辨率算法

图像的自相似性质和图像质量之间存在着密切的关系,清晰的自然图像中几乎所有的图像片都在其自身或较低尺度内存在着重复。然而,在存在噪声或模糊等降质处理的图像中,这一性质明显减弱。针对这一现象,提出一种最大化自相似性先验的盲单帧图像超分辨率算法。该算法通过迭代计算求解超分辨率图像和降质过程的模糊核,使得到的超分辨图像中的任一图像片在输入的低分辨率图像中都以最大的概率存在。这一算法不仅能够准确地计算降质过程的模糊核,得到高质量的高分辨率图像,而且其先验知识随着输入图像的不同而自动进行调整,使得算法具有更强的鲁棒性。大量实验表明,该算法的PSNR,SSIM参数结果较主流算法都有着明显的优势。