基于空间非一致模糊核标定的红外图像超分辨率重建方法

近年来,红外成像系统在工业、安防、遥感等领域获得了广泛的应用,但由于制造工艺及成本制约,红外系统的分辨率仍然较低。基于深度神经网络的单帧图像超分辨率重建技术是提高红外图像分辨率的有效方法,获得了广泛研究,并在仿真图像上取得了显著进展,但应用于实际场景图像时容易出现伪影或图像模糊等现象。造成这种性能差异的主要原因是目前方法大多假定造成图像退化的模糊核是空间一致的,然而实际红外光学系统不可避免地存在像差、热离焦等,由此造成的图像模糊的模糊核并非空间一致的。针对这一问题,提出了一种非盲模糊核估计方法,通过采集特定的靶标图像,并设计模糊核估计网络,求解空间非一致模糊核;设计基于图像分块的超分辨率重建方法,将图像块和对应区域的模糊核一起输入非盲超分辨率重建网络进行子块图像重建,再通过子块合并和重叠区域图像融合,得到最终的高分辨率图像。实验结果表明,光学系统自身引起了模糊核随空间位置缓慢变化,在实验室条件下标定模糊核并基于图像分块进行超分辨率重建的方法可显著提高红外图像超分辨率重建的效果。

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

结合坐标注意力与生成式对抗网络的图像超分辨率重建

针对现有生成式对抗网络GAN的图像超分辨率重建模型中存在着特征信息利用不充分、VGG式判别器对局部细节的判断能力较弱以及训练不稳定的问题,提出了一种结合坐标注意力与生成式对抗网络的图像超分辨率重建模型。首先,以嵌有坐标注意力的残差块构建生成器,沿通道和空间2个维度聚合特征,更充分地提取特征。然后,调整Dropout加入网络的方式使其作用于生成器中,提高模型的泛化能力。接着,以U-Net结构构造判别器,输出详细的逐像素反馈,以获取真假图像间的局部差异。最后,在判别器中引入谱归一化正则化,稳定GAN的训练。实验结果表明,当放大因子为4时,在基准测试集Set5和Set14上取得的峰值信噪比平均提高了1.75 dB,结构相似性平均提高了0.038,能够重建出更加清晰且真实的图像,重建图像具有良好的视觉效果。

基于多频特征和纹理增强的轻量化图像超分辨率重建

现有基于卷积神经网络主要关注图像重构的精度,忽略了过度参数化、特征提取不充分以及计算资源浪费等问题。针对上述问题,提出了一种轻量级多频率特征提取网络(MFEN),设计了轻量化晶格信息交互结构,利用通道分割和多模式卷积组合减少参数量;通过分离图像的低频、中频以及高频率信息后进行特征异构提取,提高网络的表达能力和特征区分性,使其更注重纹理细节特征的复原,并合理分配计算资源。此外,在网络内部融合局部二值模式(LBP)算法用于增强网络对纹理感知的敏感度,旨在进一步提高网络对细节的提取能力。经验证,该方法在复杂度和性能之间取得了良好的权衡,即实现轻量有效提取图像特征的同时重建出高分辨率图像。在Set5数据集上的2倍放大实验结果最终表明,相比较于基于卷积神经网络的图像超分辨率经典算法(SRCNN)和较新算法(MADNet),所提方法的峰值信噪比(PSNR)分别提升了1.31 dB和0.12 dB,参数量相比MADNet减少了55%。

基于视觉传达技术的激光光斑图像超分辨率重建方法

激光光斑图像在成像过程中易受到成像条件和成像方式的限制,导致激光光斑图像的分辨率比较低,难以满足实际需求。为此,提出基于视觉传达技术的激光光斑图像超分辨率重建方法。采用视觉传达技术采集激光光斑图像,并使用双树复小波阈值方法对激光光斑图像去噪处理,通过改进稠密神经网络提取激光光斑图像特征,基于奇异值分解方法降低字典中原子的数目,改进稀疏表达正则化方法,实现激光光斑图像的超分辨率重建。实验结果表明,所提方法的低分辨率图像重建结果与原始图像更加接近,重建图像的结构相似度均在0.9以上,证明该方法的重建效果好、更适合实际应用。

基于超分辨率重建与机器学习的油菜苗情监测方法

为优化养分管理和确保植株正常生长,以无人机遥感技术高效且非破坏采集田间作物苗情信息,监测油菜苗期的叶面积指数(LAI)与叶绿素相对含量(SPAD)。针对无人机因飞行高度与图像分辨率相互制约,监测效率与监测精度难以兼顾的问题,采用超分辨率重建方法,融合较低飞行高度拍摄高分辨率影像,重建较高飞行高度拍摄影像,建模完成后可通过拍摄飞行影像监测LAI和SPAD。试验设置3个氮肥梯度、3个播期、3个种植密度处理,在苗期利用无人机分别采集20m及40m 2个飞行高度的油菜苗影像,采用SRRestnet方法,对40m影像进行超分辨率重建。基于20m、40m及40m重建影像中提取的3种特征组合,利用偏最小二乘回归(PLSR)、随机森林(RF)、支持向量回归(SVR)3种机器学习方法对LAI和SPAD进行监测。结果表明,超分辨率重建后的图像在表型苗情监测中表现出良好效果,PLSR监测LAI、RF监测SPAD的监测精度最高,且40m重建图像的作业效率相比于20m图像提高48.6%。

基于改进边缘注意力生成对抗网络的电力设备热成像超分辨率重建

针对低分辨率电力设备热成像图像,提出一种基于改进边缘注意力生成对抗网络的超分辨率重建方法。首先,在边缘注意力的基础上,引入通道注意力和位置注意力的双注意力模块(dual attention, DA),捕获特征图不同位置间和不同通道间的依赖关系,并将两组依赖关系进行融合,以加大全局信息的提取程度。然后针对参数修正线性单元激活函数(parametric rectified linear unit, PReLU)对网络中神经元进行无差别激活,导致网络特征表达能力受限问题。采用改进β-ACONC自适应控制激活函数替代PRe LU函数,在辨识有效特征的基础上,对神经元进行选择性激活,以强化有效特征、弱化无效特征,提升网络的自适应激活能力和特征表达能力。最后对所提改进边缘注意力生成对抗网络模型(edge-attention generative adversarial network, EA-GAN)进行实验验证。结果表明,与Bi Cubic双三次插值模型和原EA-GAN模型边缘注意力生成对抗网络模型相比,所提改进模型网络性能最好,重建图像质量最高,客观评价指标峰值信噪比(peaksignal-to-noiseratio, PSNR)均值、结构相似性(structural similarity,SSIM)均值和均方误差损失(mean square error loss, MSE-loss)均值最优,在电力设备红外图像重建领域普适性较高,具有一定的工程应用价值。

跨尺度混合注意力的遥感图像超分辨率重建

为了解决现有遥感图像超分辨率重建模型对长期特征相似性和多尺度特征相关性关注不足的问题,提出了一种基于跨尺度混合注意力机制的遥感图像超分辨率重建算法.首先提出了一个全局层注意力机制(global layer attention,GLA),利用层注意力机制加权融合不同层级的全局特征,建模低分辨率与高分辨率图像特征间的长期依赖关系.同时,设计了跨尺度局部注意力机制(cross-scale local attention,CSLA),在多尺度的低分辨率特征图中寻找与高分辨率图像匹配的局部信息补丁,并融合不同尺度的补丁特征,以优化模型对图像细节信息的恢复能力.最后,提出一种局部信息感知损失函数来指导图像的重建过程,进一步提高了重建图像的视觉质量和细节保留能力.在UC-Merced数据集上的实验结果表明,本文方法在3种放大倍数下的平均PSNR/SSIM优于大多数主流方法,并在视觉效果方面展现出更高的质量和更好的细节保留能力.

多尺度特征融合的Transformer遥感影像超分辨率重建

针对现有遥感影像超分辨率重建算法,在处理复杂场景时,存在无法充分提取和利用特征,且计算复杂度高的问题,提出一种多尺度特征融合的Transformer遥感影像超分辨率重建网络模型.该模型引入了多尺度残差Swin Transformer模块,在充分提取特征的同时,减少用于提取浅层特征的模块冗余;建立了一个特征细化融合模块,可以充分提取图像特征来提高网络性能.基于UC Merced Land Use公开数据集进行实验,结果表明:提出的模型所需参数数量仅为目前主流超分辨率重建方法 EDSR模型的61.6%,重建结果在不同尺度下的峰值信噪比和结构相似度相对EDSR分别平均提高了0.82 dB和0.024.通过对比分析,证明本文提出的模型在提高图像质量的同时,有效地减少了网络参数冗余,可明显提高重建图像质量,满足高分辨率遥感影像处理需要.

融合双分支语义增强感知的遥感图像超分辨率重建算法

针对遥感图像中地物目标的特征信息模糊以及背景噪声影响导致遥感图像重建效果差的问题,提出一种融合双分支语义增强感知的遥感图像超分辨率重建算法。首先,设计了一种全局-局部空间注意力模块,该模块用于增强特征在空间全局-局部不同尺度下的语义表征能力,同时强化网络对有效特征组的分辨能力;其次,提出一种通道分组-聚合注意力模块,通过设计特征分组-聚合以及通道注意力模块,增强模型对地物目标特征的区分,强化对有效特征通道的关注能力。实验表明,所提算法在UC Merced数据集上,峰值信噪比在×2/×3/×4倍率下分别达到了34.397 dB、29.920 dB和28.128 dB,结构相似度在×2/×3/×4倍率下达到了0.931、0.834和0.791。在AID数据集上,峰值信噪比在×2/×3/×4倍率下分别达到了32.524 dB、29.317 dB和27.522 dB,结构相似度在×2/×3/×4倍率下达到了0.895、0.829和0.721。两个指标相较于等主流算法均有所提升,重建后图像的边缘与区域细节效果更优,有效克服了地物目标的特征信息模糊及背景噪声影响导致遥感图像重建效果差的问题。

基于迁移学习的GOCI超分辨率重建与海洋漂浮藻类探测

遥感技术是进行海洋漂浮藻类目标识别与变化监测的重要手段。GOCI遥感卫星影像具有高时间分辨率、低空间分辨率的特点,其低空间分辨率影响了海洋漂浮藻类遥感探测的效果。本研究通过对具有较高空间分辨率的Sentinel-2遥感卫星影像结构特征的迁移学习,应用ESRGAN超分辨率重建技术,将GOCI影像的空间分辨率提升至125 m;在此基础上,构建了基于超分辨率重建GOCI遥感影像的U-Net深度学习语义分割网络,实现了海洋漂浮藻类的较高精度探测。实验结果表明:超分辨率重建的GOCI影像显著提升了影像的空间细节清晰度,基于此实现的海洋漂浮藻类探测结果取得了较高的精度,其中面积相对误差下降了51.87%,F1值提高了2.41%。本研究是应用GOCI遥感影像进行海洋漂浮藻类高精度探测的一次成功实践,为实现海洋目标的动态精细化监测提供有益的参考。

联合视口预测和超分辨率重建的实时VR全景视频流式传输方法

现有基于视口预测的VR全景视频流式传输方法尚未有效地考虑VR视频的时间维度信息,并且忽略了客户端在提高视频重建质量上应发挥的作用.为了进一步提高传输系统的综合性能及用户体验质量,提出一种联合视口预测和超分辨率重建的实时VR全景视频流式传输方法.在服务器端提出时间非局部注意力模块,并将其嵌入GhostNet中对VR全景视频进行全局上下文建模,捕获视频内容特征在时间维度上的长距离依赖;在客户端提出轻量级VR全景视频超分辨率重建模型,对来自服务器端预测视口内的次要内容进行质量增强及投影失真优化.在VR全景视频用户头部运动数据集上的实验结果表明,所提方法的平均视口预测精度和平均带宽占用分别为95.6%和52.9%,与5种代表性的传输方法相比,该方法能够获得更高的视口预测精度和更低的带宽占用,同时具有良好的视频重建质量和较低的计算资源消耗.

基于渐进式GAN逆映射的人脸超分辨率重建

为了缓解生成对抗网络(generative adversarial network,GAN)自身存在的训练不稳定问题,增强图像超分辨率重建的效果,提出一种基于GAN逆映射的图像超分辨率重建算法。通过渐进式网络增加模型的稳定性,通过逆映射金字塔充分学习低分辨人脸图像的语义特征,实现准确的隐空间转换,通过半空间特征调制进行图像增强。对所提算法进行实验验证,该算法在Celeb A数据集上重建8倍后的图像峰值信噪比为27.18 dB,相比超分辨率生成对抗网络(super-resolution generative adversarial network,SRGAN),提高了2.44 dB,模型的收敛速度也更快。实验结果表明,通过GAN逆映射和渐进的方式进行图像超分辨率重建具有较好的效果和更高的稳定性。

基于双分支融合网络的图像超分辨率重建与增强

针对现有的图像超分算法难以从模糊的低分辨率图像中重建清晰的高分辨率图像的问题,提出了双分支融合网络,通过双分支结构来联合处理图像去模糊增强、图像超分任务。网络整体分为特征提取、特征融合、重建3个阶段。在特征提取阶段,通过以ResNet为基本模式所构建的轻量化残差组、增强稠密残差块来强化对去模糊局部特征、多尺度高频特征的提取;同时为了提升关键区域的特征表达,引入监督注意力模块将提取到的特征进行校准与细化。在特征融合阶段,以像素相乘、通道相加的方式进行融合。在重建阶段,通过多个卷积操作提升空间分辨率。试验结果表明,对于4倍重建任务,输出图像的峰值信噪比(PSNR)在LR-GOPRO、Set5数据集上比GFN网络分别提高了1.34、1.36 dB,且模型的参数减少约50%。

基于优化深度学习的低照度图像超分辨率重建方法的研究

为提升低照度多波段谱密度图像的分辨和检测能力,本文提出基于优化深度学习的低照度图像超分辨率重建方法。首先,构建低照度多波段谱密度图像超分辨特征采样模型,通过图像压缩感知方法实现对低照度图像的向量像素重构;其次,通过模糊度辨识和匹配滤波方法进行低照度图像的降噪滤波,构建低照度多波段谱密度图像的压缩光谱维度检测模型;再次,通过图像去噪、压缩重建和谱特征重组建立正则化约束模型来恢复图像的光谱信息;最后,根据同一空间区域的全体光谱数据的关联性特征分布,采用优化深度学习算法实现对低照度图像的特征分配和结构重组,实现对低照度图像的超分辨率重建。该方法对低照度图像超分辨率重建时可对图像细节部分进行补全,且其去噪和去模糊能力较好,可有效保留图像的关键信息,其信噪比均为26 dB,结构相似度高于0.94,均优于对比方法,具有较好的应用价值。

遥感图像超分辨率重建技术研究及地质解译应用

遥感图像超分辨率重建技术通过提升遥感图像的空间分辨率,增强图像的细节和清晰度,在地质调查中能够提高地质特征的识别精度和信息提取的准确性,具有重要的应用价值。针对现有遥感图像重建模型在地质解译下的细节和特征信息丢失等缺点,提出一种基于增强型深度残差网络的多尺度渐进式残差网络(MPEDSR)的超分辨率重建模型。该模型重点针对残差结构进行调整,在残差块堆叠结构中加入跳跃连接,同时在残差块间引入通道注意力机制模块,实现残差分支信息的充分利用,并通过测试集图像证明所提方法的地质调查要素解译能力。实验结果表明:所提算法在主观视觉感受及峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)和结构相似度(Structural Similarity,SSIM)等客观评价指标上均高于现有几种主流算法。在2倍和4倍放大因子下相较原模型在PSNR上分别提升0.176和0.194 dB,在SSIM上分别提升0.018和0.021。此外,该网络能有效提取滑坡和岩性边界,识别断裂构造。本研究为高分辨率遥感图像下的地质解译和地质灾害监测提供了有效的技术手段,推动了遥感地质解译的精细化和智能化发展。

太赫兹图像超分辨率重建方法的研究进展

图像超分辨率是近几十年来图像处理领域的一个重要研究课题,旨在从低分辨率图像中重建出高分辨率图像,其突破了传感器和光学器件制造工艺和成本的限制,从算法方面提高图像分辨率,是一种简单、高效、低成本的方法。太赫兹(Terahertz,THz)图像受到THz波衍射和散射的影响,会产生图像模糊、纹理细节不清晰等问题,越来越多的学者致力于开发THz图像的超分辨率重建方法。根据近年来THz技术与超分辨率重建技术相关文献的研究,对THz图像的三大重建方法进行了详细阐述,重点对基于深度学习的方法进行介绍,并对比了各类算法的重建效果与优缺点;回顾了THz图像质量评价指标和常用数据集,并总结THz图像超分辨率重建技术的相关应用。最后,探讨了THz图像超分辨率重建技术的未来发展趋势。

基于深度学习的红外图像超分辨率重建方法

为了提高红外图像的超分辨率重建效果,提出基于深度学习的红外图像超分辨率重建方法。利用红外图像的反射特性与红外辐射特性建立红外图像的显著性区域检测模型;通过可见光与近红外图像之间样貌差异度水平检测图像的边缘轮廓特征,提取可见光与近红外光融合性特征参数;根据融合层次不同对图像信号级、像素级、特征级、决策级四个维度进行重建,提取图像的边缘、形状、纹理特征;根据特征分布的噪声水平与配准质量,采用深度学习算法实现对红外图像超分辨率重建。仿真测试结果得出,该方法进行红外图像重建的显著性特征检测能力较强,重建后将图像分辨率提升到1280×960 PPI,模板匹配准确率为49.4%,峰值信噪比PSNR值高于36.34 dB,结构相似度SSIM值高于0.972,重建效果较好,更适合用于特定场景下的红外图像目标特征识别。

基于轻量化生成对抗网络的遥感图像超分辨率重建

针对ESRGAN模型复杂度高、特征提取与表示性能欠佳的问题,提出了一种基于轻量化生成对抗网络(Light weight Generative Adversarial Network, LwGAN)的遥感图像超分辨率重建算法。该算法以改进残差密集模块(Improved Residual Dense Block, IRDB)为基础块构建生成网络的高阶特征提取部分,提取了丰富的多样化特征,同时建立了特征的通道及长距离位置关系,在降低模型参数量的同时提升了模型的特征提取与表示性能。通过在UC MERCED和NWPU-RESISC45数据集上的实验结果表明,与ESRGAN相比,LwGAN获取了更大的峰值信噪比和结构相似度,显著提升了遥感图像的超分辨率重建性能,可视化结果表明重建图像恢复了更多的纹理细节信息,同时模型参数量仅为原始ESRGAN的约三分之一,大幅地提高了模型的运行效率,为后续遥感图像的分析处理奠定了基础。

极化雷达图像目标超分辨率重建研究进展

成像雷达具有全天时、全天候的观测能力,能够通过成像处理获得目标雷达图像信息,是对地观测、侦察监视等民用和军用领域中的重要遥感设备。高分辨率雷达图像能够提供目标的详细轮廓和精细结构,有利于后续目标分类识别等应用。对获取的雷达图像,如何利用信号和信息处理等理论方法进一步提升分辨率,突破分辨率瑞利极限,具有重要的科学研究和实际应用价值。另一方面,作为电磁波的重要属性之一,极化在目标特性的获取和挖掘中发挥着重要作用,能够为目标超分辨率重建带来丰富信息。为此,该文梳理了极化雷达图像目标超分辨率重建的概念及性能评价指标,并重点归纳整理了极化雷达图像目标超分辨率重建方法及其应用。最后,总结了现有方法的局限性并展望了未来的技术发展趋势。