基于Dropout改进的SRGAN网络DrSRGAN

超分辨率作为一种经典的视觉任务,在多个领域有着广泛的应用。随着深度学习中无监督学习的发展,以及生成对抗网络(generative adversarial network,GAN)的提出,超分辨率技术又得到了进一步的提高,但是相关网络仍旧存在过拟合、泛化性弱等诸多问题。以超分辨率生成对抗网络(super-resolution generative adversarial network,SRGAN)为基础,受研究Dropout在经典超分辨率网络中影响的相关论文启发,在SRGAN中加入Dropout层并研究其对生成图像质量的影响,采用峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)评估图像质量。实验结果表明在合适的Dropout参数下,网络重建图像具有更好的视觉效果,PSNR能够达到0.4左右的提升同时SSIM也有提高,从训练过程中不同迭代次数生成图像的比较发现改进后网络缓解了训练不稳定问题。将Dropout层加入超分辨率网络不同于以往的方法,为改进此类网络提供了一个新的思路。

基于SRGAN的图像超分辨率方法研究

基于机器学习的图像超分辨率系统主要应用于摄像设备分辨率不足、图像精度受损等场景,通过机器学习算法模型的方法解决对高清图像的需求问题。使用基于SRGAN图像超分辨率上的模型,对传统SRGAN模型的有关网络和函数进行改进和优化:通过对优化器Adam进行改进、调整学习率以及使用图像降噪等技术,使得重建的图像细节更加清晰,整体表现出较好的性能。

全局-局部注意力引导的红外图像恢复算法

针对真实世界的红外图像恢复算法中存在的图像模糊、纹理失真、参数过大等问题,提出了一种用于真实红外图像的全局-局部注意力引导的超分辨率重建算法。首先,设计了一种跨尺度的全局局部特征融合模块,利用多尺度卷积和Transformer并行融合不同尺度的信息,并通过可学习因子引导全局和局部信息的有效融合。其次,提出了一种新颖的退化算法,即域随机化退化算法,以适应真实红外场景图像的退化域。最后,设计了一种新的混合损失函数,利用权重学习和正则化惩罚来增强网络的恢复能力,同时加快收敛速度。在经典退化图像和真实场景红外图像上的测试结果表明,与现有方法相比,该算法恢复的图像纹理更逼真,边界伪影更少,同时参数总数最多可减少20%。

基于神经网络的SAR图像超分辨率重建技术研究

合成孔径雷达(SAR)图像在地形测绘、农作物监测等领域有重要作用。为改善SAR图像分辨率,本研究利用基于生成对抗网络(SRGAN)支持下的SAR图像超分辨率重建方式,改进模型加载数据结构,使用同一区域的哨兵一号(Sentinel-1A)雷达卫星SAR影像和高分三号卫星SAR影像形成训练模型的数据集,将哨兵一号雷达卫星SAR图像的地物细节提高到接近高分三号卫星SAR图像数据的级别。实验表明,该方法能提升极化方式为VV的哨兵一号雷达卫星SAR图像的地物细节。

改进的SRGAN图像超分辨率重建算法

图像超分辨率重建技术可以提高图像的分辨率,在医学、军事等领域都发挥着重要作用.传统的SRGAN图像超分辨率重建算法训练收敛速度慢,高频纹理锐化过度导致部分细节扭曲,影响重建图像质量.针对以上问题,对传统SRGAN模型的生成网络和损失函数进行改进,用于图像超分辨率重建.采用稀疏残差密集网络(SRDN)代替传统的SRResNet作为生成网络,以实现对低分辨率图像特征的充分利用,同时利用SRDN稀疏性的连接方式和深度可分离卷积思想,减少模型的参数量.此外,提出融合VGG低频特征和高频特征的联合感知损失,结合均方误差损失对网络的感知损失函数进行改进.在Set5、Set14、BSD100数据集进行测试,改进SRGAN算法的峰值信噪比(PSNR)、结构相似度(SSIM)和平均选项得分(MOS)3个评价指标结果均优于传统SRGAN算法,重建图像的细节部分更加清晰,整体表现出较好的鲁棒性和综合性能.

基于改进生成对抗网络的图像数据增强方法

为了提高机器学习模型的精确度,提出基于数据分布拟合、生成式对抗神经网络和图像超分辨率重建的图像数据增强方法.该方法将最大似然估计和采样算法生成的符合原始数据分布的二维噪声用于对抗训练,克服了在生成模型中传统图像噪声输入随意的问题;采用逐层训练方式生成高分辨率图像,改进高分辨率图像映射困难、参数冗余的缺点.以轴承滚子表面灰度图像数据增强为例,验证所提方法的有效性.研究结果表明,所提方法生成的图像质量更优,相比传统方法生成的图像峰值信噪比提高13.07%,结构相似性提高32.40%,弗雷歇初始距离降低37.58%,且数据增强后的模型平均精确度提升7.89%.

基于生成对抗网络的田间杂草图像超分辨率重建

针对目前图像超分辨率方法生成精度以及性能方面的不足,以SRGAN(Super-Resolution Using a Generative Adversarial Network)模型为基础,探讨和构建一种生成对抗网络模型,在该模型的损失函数中引入卷积神经网络边缘检测损失,生成的高分辨率图像中保持图像更多的细节。以作物/杂草田地图像数据集作为测试集,开展一系列试验,本方法超分辨率生成图像较双三次插值、SRGAN、ESRGAN和深度残差的GAN模型,峰值信噪比PSNR分别高8.242 dB、5.521 dB、3.079 dB、2.339 dB;结构相似性SSIM分别高0.143、0.089、0.051、0.018;在AI识图中的识别准确率分别高10.6%、3.5%、3.9%、2.7%。该方法为田间杂草图像的相关研究提供思路,同时为田间杂草分类等应用研究做好前期数据准备。

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络(generative adversarial network,GAN)的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜(mask)模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。

基于超分辨率模型与YOLO-V4的织物疵点检测

针对工业条件限制下采集的印花布数据集图像分辨率低、检测效果差等问题,课题组提出基于超分辨率模型SRGAN与YOLO-V4网络的织物疵点检测方法,并对SRGAN算法进行改进。课题组首先使用改进的SRGAN算法对原数据集进行超分辨率重构,提高图像分辨率;然后将重构图翻转变化与原图共同作为数据集输入YOLO-V4进行网络训练;最后通过YOLO-V4网络检测印花布表面疵点。实验结果表明:该方法可提高低分辨率织物图疵点检测效果,准确率高达90.29%,比超分辨率重构前提升了13.19%,能实现实时定位疵点的准确位置并输出疵点类别。

基于生成对抗网络的红外图像电力设备超分辨算法研究

红外图像超分辨算法对电网智能巡检至关重要,现有超分辨算法忽略了红外图像和可见光图像之间的模态差异,并存在输入需要完全对齐的限制。针对模态差异问题,提出了使用生成对抗网络生成对应的可见光图像,并进行融合。针对输入限制问题,将基于参考的超分辨看作是特征空间中的纹理匹配与转移,依据参考图像的纹理细节来自适应生成丰富的高分辨图像的细节。实验结果表明了所提方法在解决电力设备红外图像超分辨问题上的有效性。

类别信息生成式对抗网络的单图超分辨重建

目的基于生成式对抗网络的超分辨模型(SRGAN)以感知损失函数作为优化目标,有效解决了传统基于均方误差(MSE)的损失函数导致重建图像模糊的问题。但是SRGAN的感知损失函数中并未添加明确指示模型生成对应特征的标志性信息,使得其无法精准地将数据的具体维度与语义特征对应起来,受此局限性影响,模型对于生成图像的特征信息表示不足,导致重建结果特征不明显,给后续识别处理过程带来困难。针对上述问题,在SRGAN方法的基础上,提出一种类别信息生成式对抗网络的超分辨模型(class-info SRGAN)。方法对SRGAN模型增设类别分类器,并将类别损失项添加至生成网络损失中,再利用反向传播训练更新网络参数权重,以达到为模型提供特征类别信息的目的,最终生成具有可识别特征的重建图像。创新及优势在于将特征类别信息引入损失函数,改进了超分辨模型的优化目标,使得重建结果的特征表示更加突出。结果经Celeb A数据集测试表明:添加性别分类器的class-info SRGAN的生成图像性别特征识别率整体偏高(58%97%);添加眼镜分类器的class-info SRGAN的生成图像眼镜框架更加清晰。此外,模型在Fashion-mnist与Cifar-10数据集上的结果同样表明其相较于SRGAN的重建质量更佳。结论实验结果验证了本方法在超分辨重建任务中的优势和有效性,同时结果显示:虽然class-info SRGAN更适用于具有简单、具体属性特征的图像,但总体而言仍是一种效果显著的超分辨模型。