用于单图像超分辨率的全局特征高效融合网络

现有图像超分辨率网络中普遍存在对层间特征利用水平较低的现象,使得在图像重建过程中有细节特征丢失,最终处理结果纹理模糊、图像质量欠佳。为此提出一种用于图像超分辨率的全局特征高效融合网络模型。主体使用对称卷积神经网络实现浅层特征的逐级提取,并结合Transformer完成浅层与深层特征的融合利用。设计的对称自指导残差模块可以在浅层网络实现不同层间特征更具表达性的融合,同时提升网络的特征提取能力;特征互导融合模块可以增强网络对浅层特征与深层特征的融合能力,促进更多的特征信息参与到细图像重建过程。在Set5、Set14、BSD100和Urban100数据集上同近年来的经典网络(HR、CARN、IMDN、MADNet、LBNet)进行性能对比,实验结果表明:所提网络模型在峰值信噪比上有所提升,并在视觉直观对比中取得了较好的图像超分辨率效果,可改善超分辨率图像质量欠佳的问题。

基于多级轴向加性网络的轻量级单图超分辨率

信息技术发展日新月异,视觉信息的质量广受重视,图像超分辨率技术正因此经过了长久的迭代。但作为一个不适定问题,这项技术仍将是一个长久的难题。随着自注意力机制的出现及引入,传统卷积神经网络方法逐渐在性能上落后。然而,包含自注意力的方法通常计算成本高昂,或是只能为节约计算成本在性能上妥协。因此,本文提出了一种多级轴向加性网络,很好地平衡了性能与成本。具体来说,我们首先设计了一种多级轴向注意力模块,在注意力机制内实现了轴向窗口的模式。然后,我们提出了一种高效的加性注意力,使注意力计算免于矩阵乘法运算。同时,我们还构建了一个轻量级的超分辨率网络MLAAN。最后,我们在五个基准数据集上评估了所提出的MLAAN的效果。在与SOTA方法的对比中,MLAAN在参数量较少的前提下体现了优越的超分辨率性能。

基于并行反向投影的图像超分辨率

基于反向投影的残差特征提取与融合,可有效提升深度网络的特征提取能力,从而有益于改善图像的超分辨率重构性能.在此基础上提出了一种改进的采用并行反向投影策略的图像超分辨率深度网络,通过并行增强处于不同频段的高频特征,得到超分辨率性能的进一步提升.具体进行浅层特征提取后,网络经过多级的双路并行的反向投影特征增强模块.每一级模块中包含两个通路,分别采用顺序相反的上下采样,可同时得到处于不同频段的残差特征信息.通过对多级残差特征的融合,图像的高频特征得到不断的增强.同时网络引入了多尺度特征提取与通道注意力机制,以改进特征表达和学习能力.在多个公开的数据集上的大量实验结果表明,该方法可以有效提升超分辨率性能,并且在减少模型复杂度方面有一定的成效.

基于重参数化的超分辨率重建

针对现有单图像超分辨率重建(Single Image Super-resolution,SISR)模型存在速度和精度的矛盾,论文给出了一种重参数化(Re-parameterization)的轻量模型用于实现图像重建。该模型训练时通过使用结构较复杂的模型保证精度,推理时通过模型等效变换为简单的卷积以提高速度。同时多监督结构的加入让模型收敛更快且更为灵活。通过峰值信噪比和结构相似度对重建模型的质量和效率进行了评估。验证了所提模型在现有超分辨率重建方法中兼具了轻量和重建质量良好的优点。

基于反馈生成对抗网络的单图像超分辨率重建

针对现有图像超分辨率重建方法中高频图像信息不丰富的问题,提出一种基于反馈和注意机制的单图像重建生成对抗网络(GFSRGAN)。采用反馈网络作为生成器,通过反馈连接逐步生成高分辨率图像;提出一种具有注意机制的反馈块,其能在处理反馈流的同时,自适应地选择有用的特征信息;利用相对平均最小二乘GAN(RaLSGAN)损失引导模型获得更真实的图像。实验结果表明,与现有基于GAN的超分辨方法相比,该方法重建出的图像纹理更加逼真自然。

基于稀疏贝叶斯估计的单图像超分辨率算法

针对现有超分辨率方法对不同低分辨率图像的超分辨率效果差异较大的问题,提出了一种基于稀疏贝叶斯估计的单图像超分辨率方法。该方法将单图像超分辨率问题看做是回归问题,采用Kronecker脉冲函数作为回归基函数,综合利用图像的局部信息和全局信息寻找特定预测的最优稀疏解决方案,采用贝叶斯方法估计权重,据此重构超分辨率图像。实验结果表明,采用该方法对14幅测试图像运行单图像超分辨率算法,得到的平均峰值信噪比高、方差小、耗时少,证实了该方法的超分辨率效果好、适应性强,且运算效率高。

区域感知实时人像超分辨率重建网络

在人像超分辨率重建领域,传统方法通常将整幅图像进行统一处理,导致效率低下。为降低模型的推理时延,提出了一种实时超分辨率重建模型RASR。该模型利用门控单元处理低分辨率图像,识别出人像边缘区域;采用分区重建策略,使用不同尺寸的子模型分别针对包含或不包含人像边缘的区域进行重建。实验结果表明:与现有方法相比,RASR模型在4倍上采样重建场景下的推理时延降低了88%,能够更有效地重建高分辨率人像图像。

双回归网络的单图像超分辨率重建

现有基于卷积神经网络的单图像超分辨率模型存在三个限制。理论上存在无限的HR图像,可以下采样到相同的LR图像,可能的函数空间非常大。因为现实世界潜在的下采样方法是未知的,使用特定方法配对的数据训练的模型在实际应用中泛化能力差,产生适应性问题。忽视残差分支的高频层次特征。针对上述问题,提出双重回归方案。除了学习从LR到HR图像的原始回归映射之外,额外学习一个对偶回归映射来估计下采样核并重建LR图像,形成一个闭环提供额外的监督,并在残差结构上引入了傅里叶变换,增强模型对高频信息的表达能力。相比其他先进模型以更少的参数重建HR图像,且拥有丰富的高频纹理细节。

用于图像超分辨率的轻量化特征蒸馏注意力网络

针对现有的图像超分辨率网络存在图像细节特征恢复能力较弱、参数量大、计算成本高的问题,提出了一种轻量化特征蒸馏注意力网络(LRFDAN)。首先,设计了新颖的残差特征蒸馏模块进行有效特征提取;其次,利用蓝图可分离卷积替代标准卷积以减少计算和内存需求;最后,注意力机制被集成到模型中,进一步增强模型重构能力。所提出的模型在5种基准测试数据集上进行性能验证,定量结果分析与视觉效果比较表明,与其他深度神经网络模型相比,LRFDAN在保持更好的性能和主观视觉效果的同时,大大减少了参数与计算量。进一步表明了所提出的模型在图像质量和计算效率方面的有效性。

基于深度学习的单图像超分辨率重建研究综述

为深入了解基于深度学习的单图像超分辨率重建(SISR)的发展,把握当前研究的热点和方向,针对现有基于深度学习的单图像超分辨率重建模型进行了梳理。介绍了相关深度学习算法和基于深度学习的模型以及评价指标,并通过实验对比分析现有模型的性能,其目的在于从本质上了解基于深度学习的单图像超分辨率重建模型的优势;对单图像超分辨率重建的关键问题进行了总结,并对未来的发展趋势进行了展望。

基于多窗口残差网络的单图像超分辨率重建

基于卷积神经网络的单图像超分辨率模型网络结构过深,导致高频信息丢失以及模型体积庞大等问题。提出一种由多个残差模块构成的多窗口残差网络优化模型,通过使用多个不同尺寸的窗口对同一特征图进行提取,获取更丰富的高频与低频信息,并过滤出深层网络的所需特征。残差模块中较大尺寸的窗口采用较小尺寸的滤波器和多层映射层叠加组成,可在减少参数总量的同时增强网络的非线性表达能力。实验结果表明,与A+、SRCNN、ESPCN等模型相比,该模型可有效利用原始图像信息生成细节更清晰的超分辨率图像,且在主观视觉效果与客观评价指标上均有所提升。

使用VGG能量损失的单图像超分辨率重建

单幅图像的超分辨率重建(single image super-resolution,简称SR)是一项重要的图像合成任务.目前,在基于神经网络的SR任务中,常用的损失函数包括基于内容的重构损失和基于生成对抗网络(generative adversarial network,简称GAN)的对抗损失.但是,基于传统的GAN的超分辨率重建模型(SRGAN)在判别器接收高分辨率图像作为输入时,输出判别信号不稳定.为了缓解这个问题,在SRGAN以及常用的VGG重构损失框架上,设计了一个稳定的基于能量的辅助对抗损失,称为VGG能量损失.该能量损失使用重构损失中的VGG编码部分,针对VGG编码设计相应的解码器,构建一个U-Net自编码结构VGG-UAE,利用VGG-UAE的重构损失表示能量,并使用该能量函数为生成器提供梯度;基于追踪能量函数的思想,VGG-UAE使生成器生成的高分辨率样本追踪真实数据的能量流.实验部分验证了使用VGG能量损失将比使用传统的GAN损失可以生成更有效的高分辨率图像.

基于ResNeXt和WGAN网络的单图像超分辨率重建

为解决现有基于生成对抗网络的单图像超分辨率重建模型SRGAN网络训练不稳定、学习速率慢等问题,提出了一种基于ResNeXt和WGAN的单图像超分辨率重建模型Res_SRGAN。该模型参考ResNeXt网络结构构造生成器,降低了生成器的复杂度,仅为SRGAN的1/8;通过WGAN来构造判别器解决了SRGAN模型不稳定的问题;实验结果表明,在四个公开数据集上所提模型相较于现有单图像超分辨率重建模型在主客观评价中均取得了更加优越的性能。

基于单图像超分辨率的约束随机森林算法

为解决现有单图像超分辨率算法对不同类型图像鲁棒性不强的问题,提出一种基于多模糊核约束的随机森林算法。结合多模糊核扩展随机森林训练阶段的输入特征向量,由低分辨率图像块和对应的模糊核组合生成输入特征变量;将多模糊核引入到决策树构建的质量测度函数中,用于约束决策树构建时的结点划分,使生成的叶结点更纯;采用多模糊核对叶结点的回归模型进行约束,降低决策树的预测误差。仿真结果表明,与主流的基于学习的单图像超分辨率算法相比,该算法对不同图像的鲁棒性更强,采用该方法重建的超分辨率图像的峰值信噪比更高。

多分辨率交通仿真模型综述

研究了多分辨率交通仿真相关理论的国内外主要研究成果,包括单分辨率交通宏观、中观、微观模型研究、混合交通模型研究及多分辨率交通模型研究。首先对研究现状进行梳理、归纳、分析和总结;同时,对不同模型的特点、应用条件等进行了总结与分析;最后,通过综合分析与评述,指出目前多分辨率交通仿真理论的主要成果和不足,为后续的研究奠定了基础并指明了方向,具有很高的理论指导意义。

高斯隶属度优化的超分辨率随机森林学习算法

随机森林学习算法是一种有效的单图像超分辨率方法,然而其决策函数是确定的二值函数,这对某些图像块的确定性划分并不是最优的选择。为提升单图像超分辨率性能,采用高斯隶属度函数构建随机森林各决策节点的决策函数,将决策函数的输出值由0和1的确定值转换到0-1之间的概率值,并在叶节点上依据数据划分路径上各决策节点概率的乘积进行预测,依据最小经验冒险准则学习决策参数,使随机森林能更好学习不同的样本数据。实验结果表明,与随机森林学习等目前主流单图像超分辨率方法相比,该方法可以提升超分辨率图像的峰值信噪比,同时运算效率与传统随机森林学习算法相当。

基于特征融合注意网络的图像超分辨率重建

近年来,基于深度卷积神经网络的单图像超分辨率重建,取得了显著的进展,但是,仍然存在诸如特征利用率低、网络参数量大和重建图像细节纹理模糊等问题.我们提出了基于特征融合注意网络的单图像超分辨率方法,网络模型主要包括特征融合子网络和特征注意子网络.特征融合子网络可以更好地融合不同深度的特征信息,以及增加跨通道的学习能力;特征注意子网络则着重关注高频信息,以增强边缘和纹理.实验结果表明:无论是主观视觉效果,还是客观度量,我们方法的超分辨率性能明显优于其他代表性的方法.

基于密集残差注意力网络的图像超分辨率算法

近年来,随着科学技术的高速发展,深度学习的蓬勃兴起,实现图像超分辨率重建成为计算机视觉领域一大热门研究课题.然而网络深度增加容易引起训练困难,并且网络无法获取准确的高频信息,导致图像重建效果差.本文提出基于密集残差注意力网络的图像超分辨率算法来解决这些问题.该算法主要采用密集残差网络,在加快模型收敛速度的同时,减轻了梯度消失问题.注意力机制的加入,使网络高频有效信息较大的权重,减少模型计算成本.实验证明,基于密集残差注意力网络的图像超分辨率算法在模型收敛速度上极大地提升,图像细节恢复效果令人满意.

基于深度可分离卷积的级联多尺度交叉网络的超分辨率重构

深度卷积神经网络进行单幅图像超分辨率在精度和速度方面取得了显著成果。然而随着网络的层次加深,信息流动减弱,训练难以实现。同时,大多数模型采用单流结构,在不同的感受域下的上下文信息很难获取。改善信息流动获取足够的细节信息并减少网络参数量,本文提出了基于深度可分离卷积的级联多尺度交叉网络(Cascaded Multiscale Crossing Network, CMSC),在每个级联子网络中,堆叠多个多尺度交叉模块以便融合互补多尺度的信息,从而有效改善跨层的信息流。同时,在每个阶段引入残差学习策略,充分利用低分辨率特征信息,进一步提升重建性能。在基准数据集的评估表明本文方法优于最主流的超分辨率方法。

功能型复合深度网络的图像超分辨率重建

针对现有单图像超分辨率重建时主要采用的简单链式堆叠的单一网络存在层间联系弱、网络关注点单一以及分层特征不能充分利用等问题,提出了一种复合的深度神经网络用于提升图像超分辨重建性能。该方法首先使用特征提取层提取低分辨率图像的初始特征;再将初始特征分别送入两个子网络,一个子网络负责图像细节的提取与运算,另一子网络负责图像噪声降解与消除;然后将两个子网络输出的深层次抽象特征与初始特征相结合,最后通过重建层获得超分辨率图像。以峰值信噪比(PSNR)与结构相似性(SSIM)为评价指标,在Set14测试集上使用放大因子3进行实验,将复合网络与算法Bicubic、SelfEx、SRCNN、VDSR和RED等进行对比,实验结果发现,PSNR分别提高了2.27 dB、0.66 dB、0.54 d B、0.05 dB、0.21 dB,而SSIM则分别提高了6.08、1.54、1.41、0.36、0.09个百分点。