融合双分支语义增强感知的遥感图像超分辨率重建算法

针对遥感图像中地物目标的特征信息模糊以及背景噪声影响导致遥感图像重建效果差的问题,提出一种融合双分支语义增强感知的遥感图像超分辨率重建算法。首先,设计了一种全局-局部空间注意力模块,该模块用于增强特征在空间全局-局部不同尺度下的语义表征能力,同时强化网络对有效特征组的分辨能力;其次,提出一种通道分组-聚合注意力模块,通过设计特征分组-聚合以及通道注意力模块,增强模型对地物目标特征的区分,强化对有效特征通道的关注能力。实验表明,所提算法在UC Merced数据集上,峰值信噪比在×2/×3/×4倍率下分别达到了34.397 dB、29.920 dB和28.128 dB,结构相似度在×2/×3/×4倍率下达到了0.931、0.834和0.791。在AID数据集上,峰值信噪比在×2/×3/×4倍率下分别达到了32.524 dB、29.317 dB和27.522 dB,结构相似度在×2/×3/×4倍率下达到了0.895、0.829和0.721。两个指标相较于等主流算法均有所提升,重建后图像的边缘与区域细节效果更优,有效克服了地物目标的特征信息模糊及背景噪声影响导致遥感图像重建效果差的问题。

基于ESRGCNN的单帧红外图像超分辨率重建算法

红外图像的超分辨率重建算法研究是近年来图像处理算法领域的研究重点,现有的具有较强学习能力的卷积神经网络(Convolutional Neural Networks,CNNs)在改善图像超分辨率重建效果的同时会增加计算成本,而后续提出的具有浅层结构的增强组卷积神经网络超分辨率重建方法(Enhanced Super-Resolution Group Convolutional Neural Network,ESRGCNN)在可见光图像的超分辨率重建中不仅节省成本且效率高。所以针对红外图像分辨率差、对比度低等不足,将经过预处理的红外图片通过高频纹理细节提取、重建等操作后得到的高分辨率纹理细节图与经过ESRGCNN网络得到红外图像的高频细节层、基层分别进行权重构建、CLAHE处理后进行加权融合得到最终的超分辨率红外图像。通过在红外数据集CVC-14进行大量对比实验,表明所提出的优化算法在三种倍率重建图像的PSNR优于经典算法约13.7%~32.4%,其重建效果的SSIM优于经典算法约13.9%~32.4%。

基于潜在辅助特征的图像超分辨率重建算法研究

图像超分辨率重建作为图像质量增强研究领域的基本任务之一,具有很高的研究和应用价值。生成对抗网络可以有效提高超分辨率重建图像的纹理细节信息,在该领域得到了广泛应用。然而,仅仅依靠从输入的低分辨率图像中学习的特征信息,难以重建出高质量的超分辨率图像。针对该问题,本文提出一种基于潜在辅助特征的图像超分辨率重建算法,引入一个可训练的潜在特征来扩大生成器的特征空间,为重建图像提供辅助的特征信息,提高重建效果。同时还利用输入图像特征来对潜在辅助特征的生成进行约束指导,避免特征空间差异性大,导致重建图像保真度低。本文所提方法在7个公开数据集上与7种方法进行了对比实验。实验结果表明,本文方法所重建的超分图像纹理细节信息更丰富,视觉效果更好。

联合图像—频率监督的图像超分辨率重建算法

针对现有单幅图像超分重建方法难以捕获图像中完备有效信息的问题,提出一种联合图像—频率监督的图像超分辨率重建算法,旨在利用多个域之间的互补信息,进而获得更完备的图像特征表示。首先通过分析图像像素转换到频域空间后的特性,根据其复数表征方式提出了一种新的频域距离监督损失,将频谱信息有效地应用到卷积神经网络的优化过程;然后通过分析频域中不同频带的表征特点,在频域距离损失基础上构建了频谱加权损失,并将其分别应用到低频和高频两个频带;最后结合图像域的监督,构成多个域的联合优化,取得良好的性能。在Set14、B100和Kodak三种公开数据集上进行了验证,结果表明:该算法的PSNR和SSIM分别达到了33.47 dB和0.9859,与几种图像超分方法相比取得了最好的性能。

多尺度自适应上采样的图像超分辨率重建算法

针对现有基于卷积神经网络的图像超分辨率重建网络中存在的训练难以收敛、无法适配多个放大系数和无法进行非整数放大系数上采样的问题,提出了一种基于多尺度和分而治之思想的自适应上采样图像超分辨率重建算法。该算法通过改进后的多尺度通道注意力特征提取模块对低分辨率图像进行多尺度特征提取以生成不同尺度下的特征图,再将其输入瓶颈层实现全局特征融合,使用基于分而治之的自适应上采样模块获得超分辨率图像,从而解决了不同放大系数的适配问题和非整数放大系数的上采样问题。在对比实验中,该算法在不使用任何初始化方法时仍然具有良好的收敛性。在整数放大系数下,该算法的图像重建性能超过当前主流的超分辨率网络,PSNR和SSIM性能相比MRFN分别提升了0.34 dB和0.039 1。在非整数放大系数下,其PSNR性能相比双三次插值方法平均提升1.24 dB,且不需要对每一个放大系数都进行训练。

基于多尺度残差的数字图像超分辨率重建算法

针对目前数字图像采集传输过程中因受环境干扰出现低像素的图像,导致图像重建效果较差的问题,提出了基于多尺度残差的数字图像超分辨率重建算法。首先,采用双边滤波算法完成数字图像的去雾处理;其次,分类数字图像的亮度特征信息和色彩信息,采用距离阈值去噪方法分别对其进行去噪处理;并且设置多个尺寸的卷积核,将其引入图像特征提取过程中,获取数字图像特征,对其展开反向投影操作,在残差学习思想的基础上连接升采样和降采样过程提取的特征,实现数字图像超分辨率重建。实验结果表明,所提算法对图像重建的结构相似度高、峰值信噪比(PSNR:Peak Signal-to-Noise Ratio)高、重建效果好。

基于空洞卷积的医学图像超分辨率重建算法

为解决现有医学图像超分辨率重建中存在的图像细节模糊、全局信息利用不充分等问题,提出一种基于空洞卷积与改进的混合注意力机制的医学图像超分辨率重建算法。首先,将深度可分离卷积与空洞卷积相结合,使用不同大小的感受野对图像进行不同尺度的特征提取,从而增强特征表达能力;其次,引入边缘通道注意力机制,在提取图像高频特征的同时融合边缘信息,从而提高模型的重建精度;再次,混合L1损失与感知损失函数作为整体损失函数,使重建后的图像效果更符合人类视觉感观。实验结果表明,在放大因子为3时,与基于卷积神经网络的图像超分辨率(SRCNN)算法、VDSR(Very Deep convolutional networks Super-Resolution)相比,所提算法的峰值信噪比(PSNR)平均提高了11.29%与7.85%;结构相似性(SSIM)平均提高了5.25%和2.44%。可见,所提算法能增强医学图像的效果与纹理特征,且对图像整体结构还原更加完整。

基于双字典的医学图像超分辨率重建算法

随着医疗设备的不断改进,医学图像质量得到了大幅度提升。但是,受图像采集时间和人体承受放射剂量的限制,医学图像分辨率仍需进一步改进。在图像稀疏表示的相关理论中,双字典将图像高频细节信息看作是主要高频和残留高频的组合。基于此,提出一种基于双字典的医学图像超分辨率重建算法。首先,采用非下采样Contourlet变换提取图像特征;然后,这些特征被用于训练主字典和残差字典;最后,利用两种字典恢复出图像的主高频和残留高频,并将两种高频信息叠加到低分辨率图像上,实现重建高分辨率医学图像。实验结果表明,所提算法能有效提高重建图像质量,其性能优于其他几种算法。

单帧红外图像超分辨率重建算法研究

针对目前基于插值的红外图像超分辨率重建算法主要把重心置于原始图像的像素上的问题,提出了一种将原始图像像素和插值像素相结合的红外图像超分辨率重建算法。该算法在最近邻插值算法的基础上,将其与自适应高斯滤波相结合,采用边插值边滤波的方式对红外图像进行超分辨率重建处理。由红外数据集的大量对比试验结果可知,该算法能够在不以时间消耗为代价的前提下使重建结果得到有效提升。具体表现为其重建结果的客观评价指标与经典的图像插值算法相比提高了约2.8%~3.2%,并且能够有效减少噪声、锯齿和模糊现象。该算法有助于推动红外图像超分辨率重建在军事、医疗等领域的发展。

基于FSRCNN补充模块的图像超分辨率重建算法研究

激活函数在超分辨率重建算法中可以增加算法的非线性、提高算法的复杂程度。利用ReLU激活函数在算法训练时间短的优点,针对负值通过ReLU激活函数置零导致部分神经元失活的问题,将失活的部分通过rReLU函数重新加入到模型中,该方法称为FSRCNN补充模块算法。实验过程中分别测试了FSRCNN模型在激活函数为ReLU、PReLU以及使用ReLU激活函数加入补充模块后的算法性能,结果表明:在放大倍数为4的条件下,补充模块算法的峰值信噪比结果高于原FSRCNN算法0.1dB。因此,补充模块能够提高模型的性能,增强模型对信息的提取。

基于深度学习的单幅图像超分辨率重建算法综述

综述了3类基于深度学习的图像超分网络原理与优缺点,比较了浅层直连、残差学习及博弈思想下的几种经典算法,在公开数据集上通过实验进行总结。图像超分对其他交叉领域的研究具有良好的推动作用,但基于深度学习的图像超分技术仍存在一些问题,需要继续加强研究。

基于深度学习的图像超分辨率重建算法研究

图像超分辨率重建是计算机进行图像处理的底层任务,可以将低分辨率图像进行优化,生成高频细节的高分辨率图像。基于深度学习的图像超分辨率重建算法可以进一步提高重建图像质量与视觉效果,采用轻量化的超分辨率算法可以有效减少重建算法模型所需要的内存空间。本文采用深度学习技术中的基于卷积神经网络的图像超分辨率重建模型,提高图像分辨率,降低计算复杂度。

融合边缘检测的遥感图像超分辨率重建算法

针对基于生成对抗网络的遥感图像超分辨率重建存在训练不稳定,参数冗余,图片纹理细节不够清晰等问题。提出一种融合边缘检测的遥感图像超分辨率重建算法。首先,在生成器网络中引入改进后的Canny边缘检测算子用于低分辨率图像特征提取,通过在Canny算子边缘提取流程中利用双边滤波和3×3邻域梯度以检测图像的边缘信息,使网络能够更好的表达高频特征;其次,为降低网络参数和提高网络训练的稳定性,去除判别器网络中冗余的BN层,同时将Wasserstein距离定义为对抗损失以解决生成对抗网络训练出现的梯度消失现象。在NWPU RESISC45数据集上,所提方法的峰值信噪比与结构相似性较WDSR和CARN算法分别提升了1.22 dB、0.114和0.32 dB、0.013,且重建后的图像相比较WDSR、CARN等其他SR算法在图像纹理细节和主观视觉效果方面也均有提升。

基于NSCT稀疏编码的医学图像超分辨率重建算法

为了满足临床对医学图像分辨率的进一步需求,提出了一种非下采样Contourlet变换和稀疏表示结合的单帧医学图像超分辨率重建算法。该方法在改进字典学习步骤中,首先通过非下采样Contourlet变换中的方向滤波器提取训练样本集图像的高频特征;其次,采用K-SVD奇异值分解法和OMP正交匹配追踪算法来求取高、低分辨率字典和稀疏表示系数,并重建出高分辨率图像。最后,将提出的方法与Yang、Zeyde提出的稀疏表示重建算法都应用于医学图像超分辨率重建上,通过实验对比分析,提出算法重建结果的PSNR值与SSIM值分别达到45.389和0.907,充分展现出了提出算法的优势。

基于多尺度反向投影的图像超分辨率重建算法

为解决当前主流图像超分辨率重建算法对低分辨率图像中细节信息利用不够充分的问题,提出一种基于多尺度反向投影的图像超分辨率重建算法。使用多个不同尺度的卷积核从浅层特征提取层中提取出不同维度的特征信息,输入到反向投影模块后,交替使用升采样和降采样来优化高分辨率和低分辨率图像的投影误差,同时运用残差学习的思想将升采样和降采样阶段提取到的特征使用级联的方式进行连接,从而提升图像的重建效果。实验结果表明,在Set5、Set14和Urban100数据集上,与Bicubic、SRCNN、ESPCN、VDSR和LapSRN 5种主流算法相比,该算法的峰值信噪比和结构相似性均有所提高。

基于DNGAN的磁共振图像超分辨率重建算法

磁共振图像的质量会影响医生对患者身体情况的判断,高清晰度的磁共振图像更有利于医生做出准确的诊断。利用计算机技术对磁共振图像进行超分辨率重建,可以由低分辨率的磁共振图像得到高分辨率的磁共振图像。基于生成对抗网络强大的生成能力及其非监督学习特性,文中研究了基于生成对抗网络的磁共振图像超分辨率算法,设计了一个结合残差网络结构及DenseNet结构作为生成网络的网络模型DNGAN。该网络使用WGAN-GP理论作为对抗损失来稳定生成对抗网络的训练。除此之外,使用内容损失函数以及感知损失函数作为网络的损失函数。同时,为了更好地利用磁共振图像丰富的频域信息,将磁共振图像的频域信息作为频域损失函数添加到网络中。为了证明DNGAN模型的有效性,将其磁共振图像超分辨率实验结果与SRGAN以及双三次插值法的磁共振图像超分辨率重建结果进行对比,表明DNGAN模型能够有效地对磁共振图像进行超分辨率重建。

一种改进的SRGAN红外图像超分辨率重建算法

针对红外图像分辨率偏低的问题,设计了一种改进的超分辨率生成对抗网络(Super-Resolution Using a Generative Adversarial Network,SRGAN)算法。在生成网络中,提出应用残差密集网络获取各网络层提取的图像特征以保留图像更多的高频信息,并采用渐进式上采样方式以提升大缩放因子下超分辨率重建效果。在损失函数方面采用更符合人类感官的感知损失,使生成图像在感官和内容上与真实高分辨率图像更加接近。实验结果表明:所提方法重建的超分辨率红外图像质量在主观及客观评价中均要优于当前具有代表性的方法。

一种改进的多帧图像超分辨率重建算法

文中构建了超分辨率重建图像的一般框架。在对图像模糊的不确定性和复杂性作一定限制条件下,讨论采用最小二乘方规整化方法重建除运动外其它因素引起降质的低分辨率图像;并进一步提出了采用改进的递归最速下降迭代算法实现多帧图像的超分辨率重建。计算机模拟结果表明,该方法具有较好的重建图像质量。

基于稀疏表示的图像超分辨率重建算法设计

为解决一般重建方法效果欠佳的问题,使重建后的图像具有良好的清晰度,本文依据稀疏表示原理等内容,设计了一种新的超分辨率重建算法,实现了超分辨率最优解问题.对一幅低分辨率图像,分割后进行特征提取,得到的图像特征块可在字典的低分辨率部分生成一组权重系数.在字典的高分辨率部分,用高分辨率特征块乘以所得系数,可以重新构造出高分辨率图像块,并将它们组合起来得到一幅完备的高分辨率图像.实验结果表明,与双三次插值方法相比,本文算法重构的高分辨率图像具有更好的质量.

基于结构稀疏化的红外图像超分辨率重建算法

本文在稀疏编码的基础上,对红外图像特性进行分析,提出了一种基于结构稀疏化的红外图像超分辨率重建算法。该算法将稀疏作为先验知识,通过对稀疏进行结构化编组,学习字典中高能量的区域,通过纹理代价函数和结构代价函数来实现图像的超分辨率重建。实验结果表明,本文算法较传统的稀疏编码方法在PSNR方面提高4-5dB,重建后的图像更加清晰,背景层次感更强。