基于keren改进配准算法的POCS超分辨率重建

详细介绍了keren亚象素配准算法及其不足,提出了keren算法及其迭代算法的改进算法。该算法基于简化的四参数仿射变换模型而不是传统的刚体变换模型,成功地避免了keren算法因为角度的泰勒级数展开所带来的误差,大大地提高了配准精度。实验仿真结果表明该算法与keren迭代算法相比角度绝对误差显著的降低;平移参数在15°的大角度旋转情况下获得了0.1个象素以下的绝对误差精度,在小角度的情况下获得了0.01个象素以下的绝对误差精度,最后采用POCS方法进行序列图像的高分辨率重建,实验仿真结果表明基于改进配准算法的POCS重建具有良好的配准精度和超分辨率重建效果。

序列图像的POCS超分辨率重建方法

为了有效地执行超分辨率算法,使其改善高分辨率图像的边缘质量,根据POCS算法的原理,给出了模拟-修正迭代超分辨率图像重建方法和具体实现步骤.针对重建的高分辨率图像中产生的边缘Gibbs现象,提出了一种抑制方法,该方法将中心在边缘像素的PSF与一个指数型权值函数相乘,使得修改的PSF系数沿着边缘正交的方向减小.利用模拟序列和实际序列对改进的POCS算法的有效性进行了验证.结果表明:该方法简单易行,能有效地保持边缘的特性,达到提高图像质量的目的.

一种改善图像边缘效果的POCS超分辨率重建方法

利用图像超分辨率重建(SRR)技术可以在现有成像系统基础上提高图像空间分辨力。凸集投影(POCS)是超分辨率重建的主流方法之一。对POCS算法进行了改进,具体改进体现在两个方面:(1)用可控核回归插值图像作为POCS重建的初始估计以提高初始估计图像的质量;(2)将POCS重建中使用的点扩散函数(PSF)由高斯核改为可控核以减少重建图像的边缘振荡效应。对所提出的算法进行了仿真,实验结果显示采用本文方法重建图像的边缘效果有了明显的改善。

基于空间非一致模糊核标定的红外图像超分辨率重建方法

近年来,红外成像系统在工业、安防、遥感等领域获得了广泛的应用,但由于制造工艺及成本制约,红外系统的分辨率仍然较低。基于深度神经网络的单帧图像超分辨率重建技术是提高红外图像分辨率的有效方法,获得了广泛研究,并在仿真图像上取得了显著进展,但应用于实际场景图像时容易出现伪影或图像模糊等现象。造成这种性能差异的主要原因是目前方法大多假定造成图像退化的模糊核是空间一致的,然而实际红外光学系统不可避免地存在像差、热离焦等,由此造成的图像模糊的模糊核并非空间一致的。针对这一问题,提出了一种非盲模糊核估计方法,通过采集特定的靶标图像,并设计模糊核估计网络,求解空间非一致模糊核;设计基于图像分块的超分辨率重建方法,将图像块和对应区域的模糊核一起输入非盲超分辨率重建网络进行子块图像重建,再通过子块合并和重叠区域图像融合,得到最终的高分辨率图像。实验结果表明,光学系统自身引起了模糊核随空间位置缓慢变化,在实验室条件下标定模糊核并基于图像分块进行超分辨率重建的方法可显著提高红外图像超分辨率重建的效果。

多尺度残差密集注意力网络图像超分辨率重建

目的使用单一尺度卷积网络提取低分辨率(low-resolution,LR)图像特征会造成大量图像高频特征丢失,为了获取更多高频特征,重建更清晰的超分辨率图像,方法提出一种基于多尺度残差密集注意力网络(multi-scale residual dense attention network)的单幅图像超分辨率重建算法。首先,使用卷积网络从低分辨率图像中提取浅层特征并将其作为后续网络各级输入;其次,采用各级多尺度残差密集注意力块(multi-scale residual dense attention block)处理前级网络图像特征并从中提取图像高频特征,多尺度残差密集网络善于提取更丰富的图像特征,并融入注意力机制,增强网络对高频区域特征的关注;然后,将网络各级提取不同深度的图像特征进行全局特征融合;最后,融合后的特征经上采样输出重建的超分辨率图像。结果放大因子为4时,网络在SET5,SET14,BSDS100,URBAN100和MANGA109数据集上测试,峰值信噪比分别为31.97,28.58,27.57,25.85,29.79 dB;网络中基本模块分别由多尺度残差密集注意力块、残差块和密集块替换提取特征,以峰值信噪比作为模块性能评估标准,多尺度残差密集注意力块表现更优异。结论该网络结合多尺度残差密集网络能够获取更丰富图像高低频信息,融入注意力机制有效对网络中高频信息进行提取,能重建纹理更清晰的超分辨率图像。

结合坐标注意力与生成式对抗网络的图像超分辨率重建

针对现有生成式对抗网络GAN的图像超分辨率重建模型中存在着特征信息利用不充分、VGG式判别器对局部细节的判断能力较弱以及训练不稳定的问题,提出了一种结合坐标注意力与生成式对抗网络的图像超分辨率重建模型。首先,以嵌有坐标注意力的残差块构建生成器,沿通道和空间2个维度聚合特征,更充分地提取特征。然后,调整Dropout加入网络的方式使其作用于生成器中,提高模型的泛化能力。接着,以U-Net结构构造判别器,输出详细的逐像素反馈,以获取真假图像间的局部差异。最后,在判别器中引入谱归一化正则化,稳定GAN的训练。实验结果表明,当放大因子为4时,在基准测试集Set5和Set14上取得的峰值信噪比平均提高了1.75 dB,结构相似性平均提高了0.038,能够重建出更加清晰且真实的图像,重建图像具有良好的视觉效果。

基于多频特征和纹理增强的轻量化图像超分辨率重建

现有基于卷积神经网络主要关注图像重构的精度,忽略了过度参数化、特征提取不充分以及计算资源浪费等问题。针对上述问题,提出了一种轻量级多频率特征提取网络(MFEN),设计了轻量化晶格信息交互结构,利用通道分割和多模式卷积组合减少参数量;通过分离图像的低频、中频以及高频率信息后进行特征异构提取,提高网络的表达能力和特征区分性,使其更注重纹理细节特征的复原,并合理分配计算资源。此外,在网络内部融合局部二值模式(LBP)算法用于增强网络对纹理感知的敏感度,旨在进一步提高网络对细节的提取能力。经验证,该方法在复杂度和性能之间取得了良好的权衡,即实现轻量有效提取图像特征的同时重建出高分辨率图像。在Set5数据集上的2倍放大实验结果最终表明,相比较于基于卷积神经网络的图像超分辨率经典算法(SRCNN)和较新算法(MADNet),所提方法的峰值信噪比(PSNR)分别提升了1.31 dB和0.12 dB,参数量相比MADNet减少了55%。

基于视觉传达技术的激光光斑图像超分辨率重建方法

激光光斑图像在成像过程中易受到成像条件和成像方式的限制,导致激光光斑图像的分辨率比较低,难以满足实际需求。为此,提出基于视觉传达技术的激光光斑图像超分辨率重建方法。采用视觉传达技术采集激光光斑图像,并使用双树复小波阈值方法对激光光斑图像去噪处理,通过改进稠密神经网络提取激光光斑图像特征,基于奇异值分解方法降低字典中原子的数目,改进稀疏表达正则化方法,实现激光光斑图像的超分辨率重建。实验结果表明,所提方法的低分辨率图像重建结果与原始图像更加接近,重建图像的结构相似度均在0.9以上,证明该方法的重建效果好、更适合实际应用。

基于改进边缘注意力生成对抗网络的电力设备热成像超分辨率重建

针对低分辨率电力设备热成像图像,提出一种基于改进边缘注意力生成对抗网络的超分辨率重建方法。首先,在边缘注意力的基础上,引入通道注意力和位置注意力的双注意力模块(dual attention, DA),捕获特征图不同位置间和不同通道间的依赖关系,并将两组依赖关系进行融合,以加大全局信息的提取程度。然后针对参数修正线性单元激活函数(parametric rectified linear unit, PReLU)对网络中神经元进行无差别激活,导致网络特征表达能力受限问题。采用改进β-ACONC自适应控制激活函数替代PRe LU函数,在辨识有效特征的基础上,对神经元进行选择性激活,以强化有效特征、弱化无效特征,提升网络的自适应激活能力和特征表达能力。最后对所提改进边缘注意力生成对抗网络模型(edge-attention generative adversarial network, EA-GAN)进行实验验证。结果表明,与Bi Cubic双三次插值模型和原EA-GAN模型边缘注意力生成对抗网络模型相比,所提改进模型网络性能最好,重建图像质量最高,客观评价指标峰值信噪比(peaksignal-to-noiseratio, PSNR)均值、结构相似性(structural similarity,SSIM)均值和均方误差损失(mean square error loss, MSE-loss)均值最优,在电力设备红外图像重建领域普适性较高,具有一定的工程应用价值。

基于超分辨率重建与机器学习的油菜苗情监测方法

为优化养分管理和确保植株正常生长,以无人机遥感技术高效且非破坏采集田间作物苗情信息,监测油菜苗期的叶面积指数(LAI)与叶绿素相对含量(SPAD)。针对无人机因飞行高度与图像分辨率相互制约,监测效率与监测精度难以兼顾的问题,采用超分辨率重建方法,融合较低飞行高度拍摄高分辨率影像,重建较高飞行高度拍摄影像,建模完成后可通过拍摄飞行影像监测LAI和SPAD。试验设置3个氮肥梯度、3个播期、3个种植密度处理,在苗期利用无人机分别采集20m及40m 2个飞行高度的油菜苗影像,采用SRRestnet方法,对40m影像进行超分辨率重建。基于20m、40m及40m重建影像中提取的3种特征组合,利用偏最小二乘回归(PLSR)、随机森林(RF)、支持向量回归(SVR)3种机器学习方法对LAI和SPAD进行监测。结果表明,超分辨率重建后的图像在表型苗情监测中表现出良好效果,PLSR监测LAI、RF监测SPAD的监测精度最高,且40m重建图像的作业效率相比于20m图像提高48.6%。

跨尺度混合注意力的遥感图像超分辨率重建

为了解决现有遥感图像超分辨率重建模型对长期特征相似性和多尺度特征相关性关注不足的问题,提出了一种基于跨尺度混合注意力机制的遥感图像超分辨率重建算法.首先提出了一个全局层注意力机制(global layer attention,GLA),利用层注意力机制加权融合不同层级的全局特征,建模低分辨率与高分辨率图像特征间的长期依赖关系.同时,设计了跨尺度局部注意力机制(cross-scale local attention,CSLA),在多尺度的低分辨率特征图中寻找与高分辨率图像匹配的局部信息补丁,并融合不同尺度的补丁特征,以优化模型对图像细节信息的恢复能力.最后,提出一种局部信息感知损失函数来指导图像的重建过程,进一步提高了重建图像的视觉质量和细节保留能力.在UC-Merced数据集上的实验结果表明,本文方法在3种放大倍数下的平均PSNR/SSIM优于大多数主流方法,并在视觉效果方面展现出更高的质量和更好的细节保留能力.

多尺度特征融合的Transformer遥感影像超分辨率重建

针对现有遥感影像超分辨率重建算法,在处理复杂场景时,存在无法充分提取和利用特征,且计算复杂度高的问题,提出一种多尺度特征融合的Transformer遥感影像超分辨率重建网络模型.该模型引入了多尺度残差Swin Transformer模块,在充分提取特征的同时,减少用于提取浅层特征的模块冗余;建立了一个特征细化融合模块,可以充分提取图像特征来提高网络性能.基于UC Merced Land Use公开数据集进行实验,结果表明:提出的模型所需参数数量仅为目前主流超分辨率重建方法 EDSR模型的61.6%,重建结果在不同尺度下的峰值信噪比和结构相似度相对EDSR分别平均提高了0.82 dB和0.024.通过对比分析,证明本文提出的模型在提高图像质量的同时,有效地减少了网络参数冗余,可明显提高重建图像质量,满足高分辨率遥感影像处理需要.

融合双分支语义增强感知的遥感图像超分辨率重建算法

针对遥感图像中地物目标的特征信息模糊以及背景噪声影响导致遥感图像重建效果差的问题,提出一种融合双分支语义增强感知的遥感图像超分辨率重建算法。首先,设计了一种全局-局部空间注意力模块,该模块用于增强特征在空间全局-局部不同尺度下的语义表征能力,同时强化网络对有效特征组的分辨能力;其次,提出一种通道分组-聚合注意力模块,通过设计特征分组-聚合以及通道注意力模块,增强模型对地物目标特征的区分,强化对有效特征通道的关注能力。实验表明,所提算法在UC Merced数据集上,峰值信噪比在×2/×3/×4倍率下分别达到了34.397 dB、29.920 dB和28.128 dB,结构相似度在×2/×3/×4倍率下达到了0.931、0.834和0.791。在AID数据集上,峰值信噪比在×2/×3/×4倍率下分别达到了32.524 dB、29.317 dB和27.522 dB,结构相似度在×2/×3/×4倍率下达到了0.895、0.829和0.721。两个指标相较于等主流算法均有所提升,重建后图像的边缘与区域细节效果更优,有效克服了地物目标的特征信息模糊及背景噪声影响导致遥感图像重建效果差的问题。

基于迁移学习的GOCI超分辨率重建与海洋漂浮藻类探测

遥感技术是进行海洋漂浮藻类目标识别与变化监测的重要手段。GOCI遥感卫星影像具有高时间分辨率、低空间分辨率的特点,其低空间分辨率影响了海洋漂浮藻类遥感探测的效果。本研究通过对具有较高空间分辨率的Sentinel-2遥感卫星影像结构特征的迁移学习,应用ESRGAN超分辨率重建技术,将GOCI影像的空间分辨率提升至125 m;在此基础上,构建了基于超分辨率重建GOCI遥感影像的U-Net深度学习语义分割网络,实现了海洋漂浮藻类的较高精度探测。实验结果表明:超分辨率重建的GOCI影像显著提升了影像的空间细节清晰度,基于此实现的海洋漂浮藻类探测结果取得了较高的精度,其中面积相对误差下降了51.87%,F1值提高了2.41%。本研究是应用GOCI遥感影像进行海洋漂浮藻类高精度探测的一次成功实践,为实现海洋目标的动态精细化监测提供有益的参考。

基于双分支融合网络的图像超分辨率重建与增强

针对现有的图像超分算法难以从模糊的低分辨率图像中重建清晰的高分辨率图像的问题,提出了双分支融合网络,通过双分支结构来联合处理图像去模糊增强、图像超分任务。网络整体分为特征提取、特征融合、重建3个阶段。在特征提取阶段,通过以ResNet为基本模式所构建的轻量化残差组、增强稠密残差块来强化对去模糊局部特征、多尺度高频特征的提取;同时为了提升关键区域的特征表达,引入监督注意力模块将提取到的特征进行校准与细化。在特征融合阶段,以像素相乘、通道相加的方式进行融合。在重建阶段,通过多个卷积操作提升空间分辨率。试验结果表明,对于4倍重建任务,输出图像的峰值信噪比(PSNR)在LR-GOPRO、Set5数据集上比GFN网络分别提高了1.34、1.36 dB,且模型的参数减少约50%。

基于渐进式GAN逆映射的人脸超分辨率重建

为了缓解生成对抗网络(generative adversarial network,GAN)自身存在的训练不稳定问题,增强图像超分辨率重建的效果,提出一种基于GAN逆映射的图像超分辨率重建算法。通过渐进式网络增加模型的稳定性,通过逆映射金字塔充分学习低分辨人脸图像的语义特征,实现准确的隐空间转换,通过半空间特征调制进行图像增强。对所提算法进行实验验证,该算法在Celeb A数据集上重建8倍后的图像峰值信噪比为27.18 dB,相比超分辨率生成对抗网络(super-resolution generative adversarial network,SRGAN),提高了2.44 dB,模型的收敛速度也更快。实验结果表明,通过GAN逆映射和渐进的方式进行图像超分辨率重建具有较好的效果和更高的稳定性。

基于优化深度学习的低照度图像超分辨率重建方法的研究

为提升低照度多波段谱密度图像的分辨和检测能力,本文提出基于优化深度学习的低照度图像超分辨率重建方法。首先,构建低照度多波段谱密度图像超分辨特征采样模型,通过图像压缩感知方法实现对低照度图像的向量像素重构;其次,通过模糊度辨识和匹配滤波方法进行低照度图像的降噪滤波,构建低照度多波段谱密度图像的压缩光谱维度检测模型;再次,通过图像去噪、压缩重建和谱特征重组建立正则化约束模型来恢复图像的光谱信息;最后,根据同一空间区域的全体光谱数据的关联性特征分布,采用优化深度学习算法实现对低照度图像的特征分配和结构重组,实现对低照度图像的超分辨率重建。该方法对低照度图像超分辨率重建时可对图像细节部分进行补全,且其去噪和去模糊能力较好,可有效保留图像的关键信息,其信噪比均为26 dB,结构相似度高于0.94,均优于对比方法,具有较好的应用价值。

基于超分辨率图像重建的轻量化目标检测算法研究

利用面向边缘的卷积模块、像素注意力机制和重参数化技术使超分辨率重建算法图像分辨率得到提升,使图像特征细节表现更为优越;利用YOLOv4目标检测算法并结合Focus结构、双向特征金字塔网络和轻量级子通道注意力机制,提高中、低分辨率图像目标检测精度。经实验研究,基于超分辨率重建的轻量化目标检测算法对图像目标具有较好的检测效果,有效提升了图像的检测精度,对提升图像中的细小目标检测精度具有一定的参考意义。

太赫兹图像超分辨率重建方法的研究进展

图像超分辨率是近几十年来图像处理领域的一个重要研究课题,旨在从低分辨率图像中重建出高分辨率图像,其突破了传感器和光学器件制造工艺和成本的限制,从算法方面提高图像分辨率,是一种简单、高效、低成本的方法。太赫兹(Terahertz,THz)图像受到THz波衍射和散射的影响,会产生图像模糊、纹理细节不清晰等问题,越来越多的学者致力于开发THz图像的超分辨率重建方法。根据近年来THz技术与超分辨率重建技术相关文献的研究,对THz图像的三大重建方法进行了详细阐述,重点对基于深度学习的方法进行介绍,并对比了各类算法的重建效果与优缺点;回顾了THz图像质量评价指标和常用数据集,并总结THz图像超分辨率重建技术的相关应用。最后,探讨了THz图像超分辨率重建技术的未来发展趋势。

基于深度学习的红外图像超分辨率重建方法

为了提高红外图像的超分辨率重建效果,提出基于深度学习的红外图像超分辨率重建方法。利用红外图像的反射特性与红外辐射特性建立红外图像的显著性区域检测模型;通过可见光与近红外图像之间样貌差异度水平检测图像的边缘轮廓特征,提取可见光与近红外光融合性特征参数;根据融合层次不同对图像信号级、像素级、特征级、决策级四个维度进行重建,提取图像的边缘、形状、纹理特征;根据特征分布的噪声水平与配准质量,采用深度学习算法实现对红外图像超分辨率重建。仿真测试结果得出,该方法进行红外图像重建的显著性特征检测能力较强,重建后将图像分辨率提升到1280×960 PPI,模板匹配准确率为49.4%,峰值信噪比PSNR值高于36.34 dB,结构相似度SSIM值高于0.972,重建效果较好,更适合用于特定场景下的红外图像目标特征识别。