基于空间非一致模糊核标定的红外图像超分辨率重建方法

近年来,红外成像系统在工业、安防、遥感等领域获得了广泛的应用,但由于制造工艺及成本制约,红外系统的分辨率仍然较低。基于深度神经网络的单帧图像超分辨率重建技术是提高红外图像分辨率的有效方法,获得了广泛研究,并在仿真图像上取得了显著进展,但应用于实际场景图像时容易出现伪影或图像模糊等现象。造成这种性能差异的主要原因是目前方法大多假定造成图像退化的模糊核是空间一致的,然而实际红外光学系统不可避免地存在像差、热离焦等,由此造成的图像模糊的模糊核并非空间一致的。针对这一问题,提出了一种非盲模糊核估计方法,通过采集特定的靶标图像,并设计模糊核估计网络,求解空间非一致模糊核;设计基于图像分块的超分辨率重建方法,将图像块和对应区域的模糊核一起输入非盲超分辨率重建网络进行子块图像重建,再通过子块合并和重叠区域图像融合,得到最终的高分辨率图像。实验结果表明,光学系统自身引起了模糊核随空间位置缓慢变化,在实验室条件下标定模糊核并基于图像分块进行超分辨率重建的方法可显著提高红外图像超分辨率重建的效果。

基于深度学习的红外图像超分辨率重建方法

为了提高红外图像的超分辨率重建效果,提出基于深度学习的红外图像超分辨率重建方法。利用红外图像的反射特性与红外辐射特性建立红外图像的显著性区域检测模型;通过可见光与近红外图像之间样貌差异度水平检测图像的边缘轮廓特征,提取可见光与近红外光融合性特征参数;根据融合层次不同对图像信号级、像素级、特征级、决策级四个维度进行重建,提取图像的边缘、形状、纹理特征;根据特征分布的噪声水平与配准质量,采用深度学习算法实现对红外图像超分辨率重建。仿真测试结果得出,该方法进行红外图像重建的显著性特征检测能力较强,重建后将图像分辨率提升到1280×960 PPI,模板匹配准确率为49.4%,峰值信噪比PSNR值高于36.34 dB,结构相似度SSIM值高于0.972,重建效果较好,更适合用于特定场景下的红外图像目标特征识别。

基于ESRGCNN的单帧红外图像超分辨率重建算法

红外图像的超分辨率重建算法研究是近年来图像处理算法领域的研究重点,现有的具有较强学习能力的卷积神经网络(Convolutional Neural Networks,CNNs)在改善图像超分辨率重建效果的同时会增加计算成本,而后续提出的具有浅层结构的增强组卷积神经网络超分辨率重建方法(Enhanced Super-Resolution Group Convolutional Neural Network,ESRGCNN)在可见光图像的超分辨率重建中不仅节省成本且效率高。所以针对红外图像分辨率差、对比度低等不足,将经过预处理的红外图片通过高频纹理细节提取、重建等操作后得到的高分辨率纹理细节图与经过ESRGCNN网络得到红外图像的高频细节层、基层分别进行权重构建、CLAHE处理后进行加权融合得到最终的超分辨率红外图像。通过在红外数据集CVC-14进行大量对比实验,表明所提出的优化算法在三种倍率重建图像的PSNR优于经典算法约13.7%~32.4%,其重建效果的SSIM优于经典算法约13.9%~32.4%。

基于各向异性滤波的无人机红外图像超分辨率重建方法

为提高无人机红外图像分辨率,研究基于各向异性滤波的无人机红外图像超分辨率重建方法。基于人眼视觉特性自适应设定图像内边缘区域与平滑区域梯度阈值,在此设定下通过各向异性扩散滤波方法去除初始红外图像内平滑区域噪声,并保留与增强图像内边缘区域细节信息,获得去噪后红外图像,向生成对抗网络内输入此图像,经其中生成模型与判别模型的博弈学习,获得最终超分辨率重建红外图像输出。结果显示,该方法具有较高的图像边缘细节保护能力与背景噪声去除能力,综合消噪效果较好,可获得分辨率高、视觉呈现清晰的超分辨率重建红外图像,保障无人机巡检中红外图像的辨识精度与效率。

基于深度卷积神经网络的红外图像超分辨率重建技术

由于器件及工艺等技术限制,红外图像分辨率相对可见光图像较低,存在细节纹理特征模糊等不足。对此,本文提出一种基于深度卷积神经网络(convolutional neural network,CNN)的红外图像超分辨率重建方法。该方法改进残差模块,降低激活函数对信息流影响的同时加深网络,充分利用低分辨率红外图像的原始信息。结合高效通道注意力机制和通道-空间注意力模块,使重建过程中有选择性地捕获更多特征信息,有利于对红外图像高频细节更准确地进行重建。实验结果表明,本文方法重建红外图像峰值信噪比(peak signal to noise ratio,PSNR)优于传统的Bicubic插值法以及基于CNN的SRResNet、EDSR、RCAN模型。当尺度因子为×2和×4时,重建图像的平均PSNR值比传统Bicubic插值法分别提高了4.57 dB和3.37 dB。

单帧红外图像超分辨率重建算法研究

针对目前基于插值的红外图像超分辨率重建算法主要把重心置于原始图像的像素上的问题,提出了一种将原始图像像素和插值像素相结合的红外图像超分辨率重建算法。该算法在最近邻插值算法的基础上,将其与自适应高斯滤波相结合,采用边插值边滤波的方式对红外图像进行超分辨率重建处理。由红外数据集的大量对比试验结果可知,该算法能够在不以时间消耗为代价的前提下使重建结果得到有效提升。具体表现为其重建结果的客观评价指标与经典的图像插值算法相比提高了约2.8%~3.2%,并且能够有效减少噪声、锯齿和模糊现象。该算法有助于推动红外图像超分辨率重建在军事、医疗等领域的发展。

融合轻量级ViT与CNN的广范围红外图像超分辨率重建

卷积神经网络的注意力机制模型重建波长范围广的红外图像时只能聚焦于局部特征、感受野小,为此提出一种适用于重建广范围红外图像的融合轻量级视觉Transformer(ViT)与卷积神经网络的模型。该模型采用改进的轻量级残差块结合轻量级ViT块构建全局自注意力机制模型,学习不同特征图区域之间的长距离注意力依赖关系以辅助重建,约束解空间,采用Huber损失函数使模型稳定收敛,通过迭代上下采样的方式挖掘高低分辨率图像对的深层变换关系。使用近红外图像和远红外图像数据集进行实验,该模型以1 031K的参数量在峰值信噪比和结构相似度比较中超越了参数量为1 518K的轻量级模型SRResNet和1 592K的CARN,接近于参数量为4 543K的重量级模型EDSR,表明该模型可以有效重建不同波长的红外图像。

改进ESRGAN的电力设备红外图像超分辨率重建方法

为解决红外图像模糊、分辨率低的问题,提出了一种基于改进ESRGAN的电力设备红外图像超分辨率重建方法。通过改进ESRGAN算法的数据集构造、判别模型结构和损失函数,保证网络性能和稳定性,应用该方法对电力变压器、互感器和绝缘子三类电力设备红外图像数据集进行训练和测试。结果表明,相较于SRGAN和ESRGAN算法,文中方法重建的超分辨率电力设备红外图像质量在主观及客观评价均有提升,峰值信噪比分别提高了4.56和2.03 dB,结构相似性分别提高了0.111和0.098。

近似稀疏正则化的红外图像超分辨率重建

针对红外图像分辨率低、受噪声影响严重等问题,引入近似稀疏正则化和K-奇异值分解(K-SVD)法,提出了基于近似稀疏表示模型的红外图像超分辨率重建方法。考虑到红外图像受到噪声污染,首先建立了稳健近似稀疏表示模型。针对已有字典训练方法时间消耗巨大问题,在假定低分辨率图像空间和高分辨率图像空间具有相似流形的前提下,联合近似稀疏表示模型和K-SVD方法,提出近似稀疏约束的基于K-SVD的高低分辨率字典对学习算法。最后,通过高分辨字典和对应的红外图像群稀疏表示系数重建得到高分辨率的红外图像。为了验证算法的性能,对提出的算法与稀疏性正则化的图像超分辨模型(SRSR)和Zeyde算法进行了实验比较。结果表明,本文方法能够较好地减少红外图像中的噪声,同时获得更好的超分辨率重建效果。

一种改进的SRGAN红外图像超分辨率重建算法

针对红外图像分辨率偏低的问题,设计了一种改进的超分辨率生成对抗网络(Super-Resolution Using a Generative Adversarial Network,SRGAN)算法。在生成网络中,提出应用残差密集网络获取各网络层提取的图像特征以保留图像更多的高频信息,并采用渐进式上采样方式以提升大缩放因子下超分辨率重建效果。在损失函数方面采用更符合人类感官的感知损失,使生成图像在感官和内容上与真实高分辨率图像更加接近。实验结果表明:所提方法重建的超分辨率红外图像质量在主观及客观评价中均要优于当前具有代表性的方法。

基于梯度阈值自适应处理的红外图像超分辨率重建

超分辨率图像重建中,Huber马尔可夫随机场模型是一种常用的正则化算子.针对Huber函数中固定梯度阈值引起图像重建效果不佳的问题,本文提出一种梯度阈值自适应处理的红外图像超分辨率重建算法.在最大后验概率理论框架下,构造了基于数据项和正则项的正则化模型;通过迭代的方式,利用中间重建结果不断更新正则化参量,解决了Huber马尔可夫随机场模型中梯度阈值不易选择的难题.实验结果表明,改进算法能够根据局部梯度特征自适应选择相应的正则化参量并找到最优解,较好恢复目标细节的同时有效抑制了图像噪音.

基于通道注意力与迁移学习的红外图像超分辨率重建算法

针对现有红外图像分辨率低、质量不高的问题,提出了基于通道注意力与迁移学习的红外图像超分辨率重建方法。该方法设计了一个深度卷积神经网络,融入通道注意力机制来增强网络的学习能力,并且使用残差学习方式来减轻梯度爆炸或消失问题,加速网络的收敛。考虑到高质量的红外图像难以采集、数目不足的情况,将网络的训练分成两步:第一步使用自然图像来预训练网络模型,第二步利用迁移学习的知识,用较少数量的高质量红外图像对预训练的模型参数进行迁移微调,使模型对红外图像的重建效果更优。最后,加入多尺度细节滤波器来提升红外重建图像的视觉效果。在Set5、Set14数据集以及红外图像上的实验表明,融入通道注意力机制和残差学习方法,均能提升超分辨率重建的效果,迁移微调能很好地解决红外样本数量不足的问题,而多尺度细节提升滤波则能提升重建图像的细节,增大信息量。

红外图像超分辨率重建技术研究

利用图像超分辨率重建技术可以在不改进硬件的情况下提升现有成像系统的图像分辨率。为提升红外图像质量,提出了一种基于NSCT变换与自适应正则化重建相结合的图像超分辨率重建算法。算法充分考虑了实际红外图像中噪声特点,利用NSCT变换特点在尽可能减少图像信息损失的条件下,对加性噪声与乘性噪声采用不同策略进行了抑制,并对预处理后的红外图像序列进行自适应正则化重建。实验结果表明本算法处理后的红外图像在主观视觉效果与客观指标上较传统图像处理方法均有改善。

基于结构稀疏化的红外图像超分辨率重建算法

本文在稀疏编码的基础上,对红外图像特性进行分析,提出了一种基于结构稀疏化的红外图像超分辨率重建算法。该算法将稀疏作为先验知识,通过对稀疏进行结构化编组,学习字典中高能量的区域,通过纹理代价函数和结构代价函数来实现图像的超分辨率重建。实验结果表明,本文算法较传统的稀疏编码方法在PSNR方面提高4-5dB,重建后的图像更加清晰,背景层次感更强。

生成式对抗神经网络的多帧红外图像超分辨率重建

生成式对抗神经网络在约束图像生成表现出了巨大潜力,使得其适合运用于图像超分辨率重建。但是使用生成式对抗神经网络重建后的超分辨率图像存在过度平滑,缺少高频细节信息的缺点。针对单帧图像超分辨率重建方法不能有效利用图像序列间的时间-空间相关性的问题,提出了一种基于生成式对抗神经网络的多帧红外图像超分辨率重建方法(M-GANs)。首先,对低分辨率图像序列进行运动补偿;其次,使用权值表示卷积层对运动补偿后的图像序列进行权值转换计算;最后,将其输入生成式对抗重建网络,输出重建后的高分辨率图像。实验结果表明:文中方法在主观及客观评价中均优于当前代表性的超分辨率重建方法。

一种改进的稀疏表示红外图像超分辨率重建

针对红外图像成像质量不高、分辨率低的问题,提出稀疏表示超分辨率重建技术。选用不同方向的Sobel算子对样本低分辨率图像进行特征提取,利用提取的特征图像训练高、低分辨率字典。使用同样的方法获得低分辨率目标图像的特征图像,结合低分辨率字典求得目标图像的稀疏系数。依据高、低分辨率图像的结构相似性,通过稀疏系数和高分辨率字典得到重建的高分辨率图像。经过实验验证,该方法能取得较好的超分辨率重建效果。

基于改进生成对抗网络的红外图像超分辨率重建

由于硬件成本和拍摄条件等限制,很难直接获取高分辨率红外图像。生成对抗网络可以实现红外图像的超分辨率重建,但仍存在训练不稳定,训练时不收敛等不足。针对这些问题,本文使用Wasserstein距离代替KL散度,结合图像间的欧式距离构造新的损失函数,优化原有网络结构和算法流程,使网络更准确地学习低分辨率图像与重建图像的对应特征映射关系,网络训练更加稳定。实验结果表明,重建图像的边缘过渡平缓,目标细节得到有效保证,并获得了更好的客观评价结果。

改进的深度反投影网络红外图像超分辨率重建

深度反投影网络在可见光图像的超分辨率重建中具有优异的表现,本文探索将深度反投影网络应用到红外图像超分辨率重建中。针对红外图像对比度低、图像质量不高的特点,在深度反投影网络框架上作如下改进:在上采样模块之前添加串联层,将前一次的下采样输出和原始低分辨率预处理图像串联作为上采样模块的输入,以此提高网络获取图像高频信息的能力,增强生成图像的细节信息。实验结果证明,本文算法较改进前能够得到细节更加丰富、视觉效果更加良好的红外超分辨率重建图像。

基于对偶循环结构及注意力机制的红外图像超分辨率重建

针对红外图像空间分辨率低、成像效果不好的问题,提出了一种基于对偶循环结构和注意力机制的红外图像超分辨率重建方法。对偶循环结构的引入能够更好地约束LR到HR的映射,通过引入融合了多维度的注意力机制CBAM,让网络在不显著提高计算量与参数的情况下取得了细节更丰富的重建效果。通过在真实红外数据集上与现有的典型方法进行比较,所提方法在显著降低了模型的参数量的情况下取得了不错的重建效果。

基于自适应金字塔的红外图像超分辨率重建算法

本文通过分析红外图像特性,提出了一种自适应金字塔的红外图像超分辨率重建算法,利用多层信息互补实现图像重建。本算法通过金字塔架构获取不同尺度字典的结构信息,并通过一个自适应均值融合计算单元,用于细节重组。实验结果表明,本文提出的算法能够获得清晰的图像,且视觉质量高。