基于卷积神经网络和Transformer的高效图像超分辨率重建

深度学习推动了图像超分辨率重建技术的显著进步,但复杂的操作导致计算和内存成本高昂,限制了其实际应用。为此,提出了一种新颖的算法,融合了Transformer和卷积神经网络,同时采用膨胀卷积和深度可分离卷积技术。在五个基准数据集上的实验证明,所提EHN模型能够高效提取超分辨率特征,在更少参数和推理时间下实现与现有方法相当甚至更好的超分辨率效果。特别地,在×2、×3和×4放大倍数下,EHN的推理时间仅为现有网络的18.4%、18.9%和20.3%,这一优势对于处理大量图像的场景至关重要,能够显著减少计算时间和资源消耗,提升整体效率。

基于卷积神经网络的超分辨率失真控制图像重构研究

目的解决超分辨率图像重构模型中存在的功能单元之间关联性差,图像色度特征提取完整性不强、超分辨率重构失真控制和采样过程残差控制偏弱等问题。方法通过在卷积神经网络模型引入双激活函数,提高模型中各功能单元之间的兼容连接性;引用密集连接卷积神经网络构建超分辨率失真控制单元,分别实现对4个色度分量进行卷积补偿运算;将残差插值函数应用于上采样单元中,使用深度反投影网络规则实现超分辨率色度特征插值运算。结果设计的模型集联了内部多个卷积核,实现了超分辨率色度失真补偿,使用了统一的处理权值,确保了整个模型内部组成单元的有机融合。结论相关实验结果验证了本文图像重构模型具有良好可靠性、稳定性和高效性。

基于深度卷积神经网络的红外图像超分辨率重建技术

由于器件及工艺等技术限制,红外图像分辨率相对可见光图像较低,存在细节纹理特征模糊等不足。对此,本文提出一种基于深度卷积神经网络(convolutional neural network,CNN)的红外图像超分辨率重建方法。该方法改进残差模块,降低激活函数对信息流影响的同时加深网络,充分利用低分辨率红外图像的原始信息。结合高效通道注意力机制和通道-空间注意力模块,使重建过程中有选择性地捕获更多特征信息,有利于对红外图像高频细节更准确地进行重建。实验结果表明,本文方法重建红外图像峰值信噪比(peak signal to noise ratio,PSNR)优于传统的Bicubic插值法以及基于CNN的SRResNet、EDSR、RCAN模型。当尺度因子为×2和×4时,重建图像的平均PSNR值比传统Bicubic插值法分别提高了4.57 dB和3.37 dB。

基于混合时空卷积的轻量级视频超分辨率重建

针对三维卷积神经网络在视频超分辨率任务上具有较高的计算复杂度以及提取时空特征有限的问题,本文设计了一种基于混合时空卷积的轻量级视频超分辨率重建网络。首先,提出了一个基于混合时空卷积的模块,实现了网络时空特征提取能力的提升以及计算复杂度的降低;其次,提出了一个基于相似性的选择性特征融合模块,进一步增强了相关特征的提取能力;最后,设计了一种基于注意力机制的运动补偿模块,在一定程度上减轻了错误的特征融合的影响。实验结果表明:所提网络可以在视频超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集SPMCS-11上4倍超分辨率达到8 frame/s。所提网络满足了边缘设备推理运行中快速、准确等要求。

基于分组双阶段双向卷积长短期方法的高光谱图像超分辨率网络

文章提出基于分组的双阶段Bi-ConvLSTM网络(GDBN),可以充分利用图像的空间和光谱信息,通过使用以波段为单位的分组策略,有效缓解了计算负担,并对光谱信息进行保护。在编码器的不同阶段,对浅层信息提取模块和深度特征提取模块进行不同层次信息的提取,浅层信息提取模块能够对不同尺度的浅层特征信息进行充分捕捉,深度特征提取模块能够捕捉图像的高频特征信息。文章还引入通道注意力机制,增强网络对特征的组织能力,并在自然数据集cave上进行大量实验,效果普遍优于目前主流的深度学习方法。

卷积和自注意力融合的单图像超分辨率网络

近年来,超分辨率重建已经成为图像处理领域的一个研究热点。然而,超分辨率重建面临着诸多挑战,当模型参数过大时,虽然能取得良好的性能,但需要巨大的内存成本。针对目前大多数图像超分辨率网络无法做到既能实现良好的性能,又能保持网络模型轻量级的问题,提出了一种用于单图像超分辨率的新型轻量级双阶段网络。具体来说,设计了一种轻量级卷积模块用于局部特征提取,同时引入了一种轻量级Transformer模块学习图像的长期依赖关系,用于建模全局信息。实验结果表明,所提模型在客观评价指标和视觉效果上均表现良好。

多耦合反馈网络的图像融合和超分辨率方法

人们在日常生活中往往需要得到高动态范围和高分辨率的图像。但由于技术设备的限制,高动态范围的图像往往通过低动态范围图像的多曝光融合(MEF)而获得,高分辨率图像往往通过低分辨率图像的超分辨率(SR)而获得。MEF和SR通常被作为两个独立的内容进行研究。为了解决当前模型不能同时实现高动态范围和高分辨率的问题,通过对现有方法进行研究,提出了一种基于多耦合反馈网络MCF-Net及其方法。模型包括:N个子网和输出模块;在方法中,将N张下采样图片I_(lr)^(i),I_(lr)^(m),I_(lr)^(-i)分别输入至N个子网,提取的低分辨率特征F_(lr)^(i),F_(lr)^(m),F_(lr)^(-i);根据低分辨率特征F_(lr)^(i),F_(lr)^(m),F_(lr)^(-i)提取对应图像的超分辨率特征G_(0)^(i),G_(0)^(m),G_(0)^(-i);得到融合高分辨率特征G_(t)^(i),G_(t)^(m),G_(t)^(-i)并输入至下个MCFB中,直至第T个MCFB得到融合高分辨率特征G_(T)^(i),G_(T)^(m),G_(T)^(-i);获取对应的融合超分辨率图像I_(t)^(i),I_(t)^(m),I_(t)^(-i);融合N个子网中第T个重建模块REC输出的I_(T)^(i),I_(T)^(m),I_(T)^(-i)得到高动态范围、超分辨率图像I_(out)。在SICE数据集上实验并验证了性能,与现有的33种方法进行对比,结果显示以下各评价指标都有明显的提高,其中结构相似性(SSIM)达到0.833 2,峰值信噪比(PSNR)达到22.07 dB,多曝光融合相似性(MEF-SSIM)达到0.937 8。

面向超分辨率重建的层次间局部特征增强网络

基于卷积神经网络的超分辨率重建模型以单项传播为主,层次越靠后感知信息的能力越微弱,导致层次间局部特征部分丢失,难以实质提升网络的特征表达能力。针对此问题,提出层次间局部特征增强网络。该方法由级联残差模块、层次间特征增强块和特征感知注意力机制组成。级联残差模块通过有效残差连接增加对残差分支信息的利用;层次间特征增强块提取不同深度特征的依赖关系,自适应调整中间层特征权值增强捕获关键信息的能力;特征感知注意力机制采用方向感知和位置判断的方式准确定位和识别感兴趣对象。多项标准数据集的实验结果表明,该方法能改善超分辨率的视觉重建效果,整体性能优于现有方法。

渐进式逐层密集连接网络图像超分辨率重建

针对现有基于深度神经网络的图像超分辨率重建,存在未完全考虑层次特征信息的提取和利用问题,本文提出了一种渐进式逐层密集连接网络。通过设计一种逐层密集连接特征融合块,以挖掘和利用图像中不同层次的特征信息,并且利用一种渐进式特征融合机制,在全局层次上融合从逐层密集连接特征融合块中提取到的特征信息,促进图像纹理细节的重建。实验结果表明,所提方法与其他方法相比,在客观评价指标与主观视觉效果上有着更加显著的表现。

基于Transformer-CNN的轻量级图像超分辨率重建网络

针对现有超分辨率重建网络具有较高的计算复杂度和存在大量内存消耗的问题,提出了一种基于Transformer-CNN的轻量级图像超分辨率重建网络,使超分辨率重建网络更适合应用于移动平台等嵌入式终端。首先,提出了一个基于Transformer-CNN的混合模块,从而增强网络捕获局部−全局深度特征的能力;其次,提出了一个改进的倒置残差块来特别关注高频区域的特征,以提升特征提取能力和减少推理时间;最后,在探索激活函数的最佳选择后,采用GELU(Gaussian Error Linear Unit)激活函数来进一步提高网络性能。实验结果表明,所提网络可以在图像超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集Urban100上4倍超分辨率的推理速度达到91 frame/s,比优秀网络SwinIR(Image Restoration using Swin transformer)快11倍,表明所提网络能够高效地重建图像的纹理和细节,并减少大量的推理时间。

适用于图像超分辨率的多路径融合增强网络

卷积神经网络(Convolutional Neural Network,CNN)在单幅图像的超分辨率重建方面表现出了非常强大的能力,相比传统方法有着明显的改进。然而,尽管这些方法非常成功,但是由于需要大量的计算资源,直接应用于一些边缘设备并不现实。为了解决该问题,设计了一种轻量级的图像超分辨率重建网络——多路径融合增强网络(Multi-path Fusion Enhancement Network,MFEN)。具体来说,提出了一个新颖的融合注意力增强模块(Fusion Attention Enhancement Block,FAEB)作为多路径融合增强网络的主要构建模块。融合注意力增强模块由一条主干分支和两条层级分支构成:主干分支由堆叠的增强像素注意力模块组成,负责对特征图实现深度特征学习;层级分支则负责提取并融合不同大小感受野的特征图,从而实现多尺度特征学习。层级分支的融合方式则是以相邻的增强像素注意力模块输出为分支输入,通过自适应注意力模块(Self-Adaptive Attention Module,SAAM)来动态地增强不同大小感受野特征的融合程度,进一步补全特征信息,从而实现更全面、更精准的特征学习。大量实验表明,该多路径融合增强网络在基准测试集上具有更高的准确性。

基于并联式卷积神经网络的遥感影像超分辨率重建

遥感影像超分辨率重建有助于丰富地物细节,从而更全面地反映地物目标信息。为了解决目前基于深度学习的超分辨率重建方法难以同时兼顾影像高、低频信息的问题,提出了一种并联式遥感影像超分辨率重建方法。该方法并联了密集深层反投影网络和浅层多尺度网络,利用密集深层反投影网络精确预测遥感影像的高频内容;同时利用浅层多尺度网络来增加目标可分辨能力,并保留影像的低频部分来提升影像的质量。这个方法在GF-1和GF-2数据集上进行了实验,并在Landsat 8和ASTER异源遥感影像数据集上进行了泛化验证。研究结果表明,相较于增强深度残差网络(enhanced deep residual networks for single image super-resolution,EDSR)、深层和浅层端到端卷积网络(end-to-end image super resolution via deep and shallow convolutional network,EEDS)和密集深层反投影网络(deep back-projection networks for super-resolution,DBPN),峰值信噪比(peak signal to noise ratio,PSNR)分别提升了2.30、2.23、0.25 dB,结构相似度(structural similarity,SSIM)性能指标分别提升了0.1316、0.1085、0.0096。本文方法有助于从数据端改善遥感影像目标识别、地物分类等应用的精度,进一步提高遥感数据在资源调查、环境监测、灾害预报等领域的应用效能。

基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建

现有的单幅图像超分辨率重建算法大都在追求高峰值信噪比(Peak signal-to-noise ratio,PSNR),在特征提取过程中缺少对图像纹理细节信息的关注,导致重建图像的人眼主观感知效果不太理想。为了解决这一问题,本文提出了一种基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建算法。具体设计了3条支路分别用于结构特征提取、纹理细节特征提取及梯度补偿,然后利用所提出的融合模块对结构特征和纹理细节特征进行融合。为防止重建过程中丢失图像的纹理信息,提出纹理细节特征提取模块补偿图像的纹理细节信息,增强网络的纹理保持能力;同时,利用梯度补偿模块提取的梯度信息对结构信息进行增强;此外还构建了深层特征提取结构,结合通道注意力与空间注意力对深层特征中的信息进行筛选及特征增强;最后利用二阶残差块对结构和纹理特征进行融合,使重建图像的特征信息更加完善。通过对比实验验证了本文方法的有效性和优越性。

基于注意力机制的残差特征聚合网络超分辨率图像重建研究

针对单图像超分辨率算法级联残差块的输出特征仅在局部作用的问题,提出了一种结合注意力机制的残差特征聚合网络。该网络通过跳跃连接将各残差块输出不同层次的特征聚合到残差组的尾部,实现特征的充分提取与复用,扩大网络的感受野并增强特征的表达能力,使得不同层次的特征图更充分地参与到图像重建中。同时,为增强特征信息空间上的相关性,引入增强空间注意力机制以改善残差块的性能。大量实验表明,此模型可以获得良好的超分辨率性能。在×4倍SR任务中与RCAN,SAN和HAN等主流方法相比,在5个基准测试集上取得的峰值信噪比平均提升0.07 dB,0.06 dB,0.006 dB,结构相似度平均提升0.0012,0.0011,0.0008,重建图像质量明显提高,细节更加丰富,充分说明了所提方法的有效性与先进性。

级联残差优化Transformer网络的图像超分辨率重建

为了扩展图像超分辨率算法中卷积神经网络在多个尺度特征上的自适应学习能力,提升网络性能,本文提出一种基于级联残差方法的Transformer网络优化结构进行图像超分辨率重建。首先,该网络采用级联残差结构,增强了网络对低阶和中阶特征的迭代复用和信息共享能力;其次,将通道注意力机制引入Transformer结构中,增强网络的特征表达和自适应学习通道权重的能力;最后,优化Transformer网络结构中的感知模块为级联感知模块,扩展网络深度,增强模型的特征表达能力。在数据集Set5,Set14,BSD100,Urban100和Manga109上进行放大2倍、3倍和4倍的重建测试并与主流方法进行对比,客观评价结果表明,在4倍放大因子的Set5数据集下,本文方法所得图像的峰值信噪比对比其他主流方法平均值提升1.14 dB,结构相似度平均值提升0.019。结合主观评价结果表明,本文方法相比其他主流方法的图像重建效果更好,恢复得到的图像纹理细节更清晰。

基于宽深超分辨率网络的信道估计方法

在正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)系统中由于快衰落导致信道特征不连续,常规的信道插值方法无法准确反应导频与整个信道之间的关联性。针对这一问题,提出了一种基于宽深超分辨率(Wide Deep Super-resolution,WDSR)网络的信道估计方法,把导频值通过最小二乘估计(Least Squares,LS)初步插值,再通过WDSR网络再次放大重构整个信道的响应。将信道估计插值上采样替换成初步插值和图像超分辨率上采样两步。仿真结果表明,与超分辨率卷积神经网络(Super-resolution Convolutional Neural Network,SRCNN)信道估计算法相比,在不同种类的信道以及导频数下WDSR信道估计方法均方误差性能提升约4.6 dB。

基于蓝图可分离的视频超分辨率重建技术研究

目前视频超分辨率重建技术面临着以下2个问题:相邻帧对齐过程中,难以做到内容对齐,这种情况尤其会发生于大运动视频帧超分辨率重建过程中;其次,在视频超分辨率重建过程中出现的运动模糊和多运动难以良好的进行融合.我们针对以上2个问题提出了基于蓝图可分离的视频超分辨率重建技术(BSCVSR),设计出一种性能优越、针对性强的视频超分辨率重建技术算法.BSCVSR引入了金字塔级联蓝图可分离卷积对齐网络和时空注意力融合SR网络,分别在不同层级基于不同信息对视频帧进行对齐,接着通过加入时空注意力机制解决多运动和运动模糊的融合问题.同时,对齐网络中,我们引入蓝图可分离卷积来减少冗余.通过研究发现,内核内部的相关性相较于跨内核的相关性对于分离操作具有更明显更直接的效果,最终的实验数据也可以很好的证明这一点.通过最终的实验数据我们可以看到,BSCVSR为视频超分辨率重建技术在效果上、在模型的轻量化上都提供了可参考的方案.

基于深层特征差异性网络的图像超分辨率算法

传统深层神经网络通常以跳跃连接等方式堆叠深层特征,这种方式容易造成信息冗余。为了提高深层特征信息的利用率,该文提出一种深层特征差异性网络(DFDN),并将其应用于单幅图像超分辨率重建。首先,提出相互投影融合模块(MPFB)提取多尺度深层特征差异性信息并融合,以减少网络传输中上下文信息的损失。第二,提出了差异性特征注意力机制,在扩大网络感受野的同时进一步学习深层特征的差异。第三,以递归的形式连接各模块,增加网络的深度,实现特征复用。将DIV2K数据集作为训练数据集,用4个超分辨率基准数据集对预训练的模型进行测试,并通过与流行算法比较重建的图像获得结果。广泛的实验表明,与现有算法相比,所提算法可以学习到更丰富的纹理信息,并且在主观视觉效果和量化评价指标上都取得最好的排名,再次证明了其鲁棒性和优越性。

基于特征聚合和传播网络的图像超分辨率重建

基于深度学习的图像超分辨率重建通过网络加深提升图像重建性能,但复杂网络会导致参数量急剧增加,限制其在资源受限设备上的应用.针对此问题,文中提出基于特征聚合和传播网络的图像超分辨率重建方法,采用逐步提取融合特征的方式获取图像丰富的内部信息.首先,提出上下文交互注意力模块,使网络学习到特征图丰富的上下文信息,提高特征的利用率.然后,设计多维注意力增强模块,提高网络对关键特征的判别能力,分别在通道和空间两个维度提取高频信息.最后,提出特征聚合传播模块,有效聚合深层细节信息,去除冗余信息,并促进有效信息在网络中传播.在Set5、Set14、BSD100、Urban100等基准数据集上的测试实验表明,文中方法性能较优,重建后的图像细节纹理较清晰.

基于隐式神经表示的图像超分辨率

基于连续表示的图像超分辨可以实现任意倍数的图像分辨率缩放,目前已成为当前该领域研究的主流趋势。隐式神经表示方法将坐标信息与深度特征信息作为输入,给定坐标下的RGB值(红绿蓝值)作为输出,提供了构建局部连续表示的基本框架,是典型的连续表示方法。然而,隐式神经表示方法未能充分考虑图像的局部结构信息。为此,提出了基于权重学习和注意力机制的隐式神经表示方法。首先,引入权重学习模块,该模块借助梯度信息和多层感知机学习临近特征点的权重。其次,引入通道注意力机制,以此增强特征通道中的关键信息,提升图像局部连续表示的准确性。数值实验结果表明,通过这两种机制的共同作用,该算法的性能相较于现有算法有了显著提升,表现出强大的竞争力。