基于多尺度特征融合的轻量化人脸图像修复算法

针对当前遮挡的人脸图像修复中修复图像质量差和模型参数量大的问题,提出了一种基于多尺度特征融合的改进U-Net的轻量化人脸图像修复模型——LM-UNET。首先,使用深度可分离卷积替换原有卷积,增强模型对不同通道和上下文信息的特征表达能力,实现模型轻量化;其次,在跳跃连接中设计了多尺度特征注意力融合模块,充分融合不同尺度特征的信息,内嵌残差块减少特征间语义差距,提高模型修复准确率;最后,引入了位置注意力模块,增强人脸图像的显著信息,提升模型对人脸位置像素信息的有效提取能力。在基于CK+数据集生成的遮挡人脸数据集MFD上对该算法进行训练、验证和测试,修复后的图像的峰值信噪比(PSNR)达到30.49dB,结构相似性(SSIM)达到96.85%,与其他模型的对比实验结果表明,该模型对存在遮挡的人脸修复图像质量和视觉效果更好。

基于非局部操作和多尺度特征聚合的图像修复方法

为有效解决修复大范围破损图像时存在的纹理模糊和整体语义信息不连贯的问题,提出基于非局部操作和多尺度特征聚合的两阶段图像修复算法,在第1阶段,边缘重建网络生成整体的边缘结构信息;在第2阶段,引入非局部操作机制进行纹理细节信息的修复。在CelebA-HQ数据集上采用不同掩码率的图像进行性能验证,结果显示所提模型的PSNR和SSIM分别达到了32.17 dB和0.982;与EdgeConnect、RFR、CTSDG和AOT-GAN模型进行比较,结果表明:该模型对大范围破损图像能够生成纹理更加清晰且语义合理的修复图像,PSNR、SSIM和FID指标均优于其他4种算法。

深度生成模型下缺损图像修复方法仿真研究

图像在存储或传输过程中容易产生缺损,为获取全面的图像信息,提出一种基于深度生成模型的缺损图像修复方法。利用小波线性变换特征,在小波逆变换过程中选取合适的阈值去除图像噪声,得到初始图像,利用深度生成模型中的生成对抗网络增强图像质量,通过对抗训练增强缺损图像质量,将图像修复问题转换成像素填充问题,缩短结构部分与破损区域的距离,生成缺损图像预填充结果,利用PDE有限差分修复缺损图像中心点信息,利用人工复原法修改等照度线方向权重,实现缺损图像修复。实验结果表明,所提方法修复效果较好,能最大程度保留原始图像信息。

基于边缘图与多尺度特征融合的图像修复

针对现有的图像修复方法在面对大规模图像缺损和不规则破损区域修复时,修复结果出现生成结构与原图像语义不符以及纹理细节模糊等问题,本文提出一种利用生成边缘图的多尺度特征融合图像修复算法——MSFGAN(multi-scale feature network model based on edge condition).模型采用两阶段网络设计,使用边缘图作为修复条件对修复结果进行结构约束.首先,使用Canny算子提取待修复图像的边缘图进行完整边缘图生成;然后利用完整的边缘图结合待修复图像进行图像修复.为了弥补图像修复算法中经常出现的问题,提出一种融入了注意力机制的多尺度特征融合模块(attention mechanism multi-fusion convolution block,AM block),实现受损图像的特征提取和特征融合.在图像修复网络解码器部分引入跳跃链接,将高级语义提取和底层特征进行融合实现高质量细节纹理修复.在CelebA和Places2数据集上的测试结果显示,MSFGAN修复质量上比当前修复方法有一定提升,其中在20%–30%掩码比例中,SSIM平均提升0.0291,PSNR提升1.535 dB,使用消融实验验证了当前优化和创新点在图像修复任务中的有效性.

基于深度学习的二阶段图像修复算法综述

图像修复是计算机视觉领域的重要研究方向之一,它的目标是准确修复图像中原来信息内容。随着计算机技术的快速发展,基于深度学习的图像修复算法相对于传统算法表现出了明显的优势,具有更高的精度和实时性。文章介绍了几种经典的基于深度学习的二阶段图像修复算法,介绍了它们的优点,同时展望了未来图像修复算法的发展。

面向档案修复的低质图像修复与重建算法设计

传统的低质图像修复算法难以对图像的细节进行学习,由此导致修复后的图像边缘较为模糊,且细节信息也存在一定的不足。针对这一问题,对低质图像进行分析,并在改进深度卷积生成对抗网络的基础上提出一种图像修复与色彩重建算法。该算法使用粗细尺度网络生成器结构代替原模型结构,其中,粗尺度网络可学习全局特征,而细尺度网络则能学习图像边缘细节信息。使用多尺度注意力机制自动填充颜色,进而完成图像的重建。实验测试表明,所提算法处理后,图像的PSNR指标、SSIM指标以及算法运行时间均优于对比算法,且重建后的图像细节丰富,故所提算法具有一定的工程实用价值。

生成对抗网络在图像修复中的应用综述

随着生成对抗网络的迅猛发展,许多基于传统方法难以较好解决的图像修复问题获得了新的研究途径。生成对抗网络凭借强大的生成能力,能从受损图像中恢复出完好的图像,故而在图像修复中得到较为广泛的应用。总结了近年来利用生成对抗网络修复受损图像问题的相关理论与研究,以受损图像的类别及其所适配的修复方法为主要划分依据,将图像修复的应用划分为图像补全、图像去模糊、图像去噪三个主要方面。针对每一方面,通过技术原理、应用对象等维度对图像修复的应用进一步细分。对于图像补全领域,从使用条件引导与潜在编码等角度探讨了基于生成对抗网络的不同图像补全方法;对于图像去模糊领域,阐释了运动模糊图像与静态模糊图像的本质不同及其修复方法;对于图像去噪领域,归纳了不同类别图像的个性化去噪方法。同时,对于每一类应用,分析了所采用的具体生成对抗网络模型的特点及其贡献。最后,总结了生成对抗网络应用于图像修复的优势与不足,并对未来应用场景进行了展望。

基于匹配语义感知的单板缺陷图像修复研究

单板的质量决定单板类人造板的使用价值,单板上的缺陷处理成为木材加工中的重要环节。为处理单板的缺陷,提高木材的利用率,提出一种基于匹配语义感知的单板缺陷图像修复方法。首先使用匹配语义感知模块获取远距离的特征,提升模型的精度;然后使用双卷积模块,捕获多尺度上下文信息,并在整个网络中使用区域归一化,避免均值和方差偏移。使用峰值信噪比(Peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity index,SSIM)为评价指标。研究结果表明,改进后方法的PSNR达到28.48,SSIM达到0.91,与全局和局部判别器网络(Globally and Locally Consistent Image Completion,GL)相比,PSNR和SSIM分别提升1.03%和0.05%。研究结果表明该方法可取得结构、纹理一致的修复效果,为单板缺陷修复提供指导性意见。

基于上下文特征提取的边缘生成三阶段图像修复算法

对于具有较大不规则缺失区域的图像修复问题,现有的基于深度学习的图像修复方法通常会生成具有模糊纹理和扭曲结构的内容。针对这个问题,将修复问题分解为基于上下文特征的结构预测和图像补全三阶段模型。第一阶段,通过空洞卷积编-解码网络,利用周围图像特征来对缺失部分进行初步修复;第二阶段,将第一阶段粗修复结果进行边缘提取后,输入到一个自注意力机制编-解码网络来预测缺失区域的纹理结构;第三阶段,将前两个阶段的输出一起输入到一个改进的U-net精修复网络中,得到结构清晰、纹理细节丰富的图像。在公开数据集上将所提算法与现有经典算法进行对比,实验表明,所提方法在主观视觉和客观评价方面优于现有方法。

级联式生成对抗网络的全景图像修复

为了解决全景图像视场宽、畸变显著等问题,提出了一种级联式生成对抗网络的全景图像修复算法。第一阶段提出了一种双判别器生成对抗网络,通过对等矩形格式的全景图像进行立方体投影转换,对立方体六面图像进行修复,引入PatchGAN作为全局判别器捕获细节信息,局部判别器网络可以保证局部修复结果与周围区域的一致性。第二阶段提出了一种失真感知生成对抗网络,通过矩形混合卷积缓解全景图像失真,判别器引入谱归一化,与第一阶段进行级联以缓解立方体图像边界不连续问题,设计联合损失函数以优化网络修复效果。实验结果表明,所提算法无论从主观视觉评价或是从客观评价指标上均取得了优秀的效果,实现全景图像的有效修复。

基于离散小波变换的细节增强的图像修复优化方法

针对现有基于小波变换的深度图像修复方法存在的不足进行优化,提出了一种基于离散小波变换的细节增强的深度图像修复优化方法。首先,采用一种求和方法将现有方法中的冗余高频信息加以利用,进一步增强修复图像的高频细节;其次,提出一种基于稠密神经网络(DenseNet)的判别网络结构,改进原有方法中的判别网络结构,以提高修复图像的质量;最后,在多个公共数据集上进行大量实验,实验结果表明,所提出的优化方法具有有效性。

利用图像平滑结构信息指导图像修复

利用图像结构特征进行图像修复,是近年来在深度学习技术广泛应用背景下出现的新方法。应用该方法可以在缺失区域内生成合理的内容,但图像修复结果过于依赖图像结构的提取内容,且在实际训练中会出现错误的持续传播和累积,一旦图像结构存在噪声或失真会直接影响到图像的生成质量。该方法处在探索应用阶段,尚存在网络训练难度大、鲁棒性较差、生成图像上下文语义不一致等问题。为此,本文提出了一种图像平滑结构指导修复的并行网络结构。图像平滑结构的生成内容不直接作为下一级网络的输入,只为网络的解码层提供指导信息。同时,为了更好地匹配和均衡结构与图像之间的特征关系,本文结合transformer提出了一种多尺度特征指导模块。该模块利用transformer联系全局特征的强大建模能力,对结构和图像纹理之间的特征进行匹配和均衡。实验结果表明,本文方法在三个常用的数据集上能够有效地恢复图像缺损内容,并且可以作为图像编辑工具实现目标移除。

基于Transformer的多阶段运动模糊图像修复网络

运动模糊是导致图像退化的常见原因,其限制了图像的可读性和后续处理效果。针对卷积网络感受野有限以及常规多阶段网络中信息丢失的问题,提出一种基于Transformer的多阶段去模糊网络。网络采用多阶段编码器-解码器结构,在单个阶段内和多个阶段间采用跳跃连接来增强信息的传递。首先,高效Transformer模块采用通道注意力和深度卷积来处理图像的全局和局部信息;其次,多分支结构的前馈传播网络通过引入多个并行的分支,实现了不同尺度和不同层次的特征提取和融合;最后,通过多阶段的残差处理实现更优的图像恢复结果。实验结果显示,在GoPro数据集上该网络的峰值信噪比(PSNR)达到32.23 dB,结构相似性指数(SSIM)达到0.955,在HIDE数据集上PSNR和SSIM分别达到30.15 dB和0.930,优于DeepDeblur、DeblurGAN-V2等模型。

基于pix2pixHD图像修复的光伏电站秒级功率预测方法

云团遮挡导致地面辐照度发生瞬变是光伏电站出力剧烈波动的根本原因,为提高在云团遮挡情况下光伏功率预测的精度,提出一种基于pix2pix HD图像修复的光伏电站秒级功率预测方法。首先,依据光伏电站光伏组件的参数、内部光伏阵列的排列结构和布局,推导光伏电站精细化模型;其次,深入挖掘逆变器集群输出的光伏功率数据特征,剖析光伏功率与辐照度的映射关系,构建能够描述云团形状、厚度和运动方向的虚拟云图用以表征云团遮挡(功率缺失)情况;随后,提出生成对抗网络的pix2pixHD图像修复算法对缺损的虚拟云图进行修复,融合最近5s的修复云图,提高对云团性质的精确表达;最后,依据光伏功率、辐照度、虚拟云图像素值三者之间的线性关系,实现高精度的光伏电站秒级功率预测;以山东某地市的实际光伏电站为例,仿真结果表明所提pix2pixHD图像修复的预测模型能够有效提高秒级光伏功率预测精度。

边缘引导和拉普拉斯金字塔分解的古文本图像修复算法

针对当前图像修复算法应用到古文本图像上时,出现纹理模糊或结构内容不完整的问题,提出边缘引导和拉普拉斯金字塔分解的古文本图像修复算法.首先利用边缘修复模块对古文本图像的边缘结构进行修复,重建缺损区域的边缘信息;然后利用预训练的文字学习模块对局部缺损区域进行内容修复,得到一幅局部内容修复图像,并进行拉普拉斯分解;最后在拉普拉斯金字塔修复模块中,根据图像的低层和高层特征,利用内容修复模块对图像进行递进修复,内容修复模块中引入双交叉编码器和多尺度融合块,有助于获取更加有效的特征信息,生成纹理结构完整的图像修复结果.在古文本图像数据集的测试集上进行实验的结果表明,各项图像质量评估指标中,峰值信噪比为34.322 dB,结构相似性为0.970,均方根误差为5.203,验证了所提算法的有效性和可行性.

多分辨率特征协作的图像修复网络

深度生成方法最近通过采用由粗到细的策略在图像修复领域取得了相当大的进展,但子网络串行连接的多阶段修复方法由于结构定位不准确和瓶颈层的特征表达能力欠佳,造成图像结构不连续和细节模糊。针对上述问题,提出一种多分辨率特征协作的图像修复网络,以并行的多分辨率网络结构修复破损图像。对破损图像进行并行的多分辨率编码,学习到不同尺度的结构位置特征,利用迭代融合模块动态融合多尺度信息,为破损结构的恢复提供更准确的定位,从而生成结构连贯的图像。在瓶颈层使用门控多特征提取模块,结合注意力机制和卷积操作的优势,来捕获不同维度上的远距离依赖关系并提取在不同感受野下的特征,然后采用门控残差融合来调整多种特征的权重,增强瓶颈层的特征表达能力,从而更好地恢复出缺失区域的图像细节。在CelebA-hq数据集、FFHQ数据集和Paris StreetView数据集上进行的大量实验表明,该方法在峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、结构相似性(Structural Similarity,SSIM)和Frechet Inception距离(Frechet Inception Distance,FID)指标上和视觉质量上相较于其他图像修复方法都有较大提升。

傅里叶变换下的粗细双路径图像修复算法

针对传统的粗细双路径图像修复算法在修复图像时提取全局特征能力弱和所修复图像与原图像存在频域差,导致修复的图像全局结构差和存在伪影的问题,提出了傅里叶变换下的粗细双路径图像修复算法。为了改善编码器特征提取能力,设计了具有压缩奖惩机制的编码器来提升网络采集全局信息的能力;在编码器训练时首次引入焦频损失来监督图像的修复,缩小了修复图像与原图像的频域差,提升了算法修复高频成分的能力,改善了修复图像伪影和模糊性。将该算法应用于CelebA数据集,所提的算法修复的图像比基线算法所修复的图像的峰值信噪比(PNSR)、结构相似性(SSIM)等性能分别提高了1.18%~6.14%,0.11%~2.24%,而距离得分(FID)降低了34.58%~38.79%。实验结果表明,所提算法以微小的时间成本获取了较好的性能提升,增强了修复图像的全局结构性和清晰度。

基于感知推理和外部空间先验特征的图像修复

在基于深度学习的图像修复算法中,当存在大面积掩码时,由于缺乏合理的先验信息指导,修复结果往往会出现伪影和模糊纹理等现象。针对此问题,提出将先验特征与图像预测滤波相结合的图像修复算法。该算法包含两个分支:图像滤波核预测分支和特征推理与图像滤波分支。从图像滤波核预测分支的解码器部分提取特征,利用多尺度外部空间特征融合对掩码区域特征进行重建,并传递给另一分支的解码阶段作为先验特征,为图像修复提供更为丰富的语义信息。然后,在特征推理和图像滤波分支部分引入空间特征感知推理块,它能够过滤掉分散注意力的特征,同时捕捉信息丰富的远距离图像上下文进行推理。最后,使用图像预测滤波核进行过滤消除伪影。在CelebA和Places2数据集上与其他修复网络进行对比实验,证明了该方法在修复质量上的优越性。

融合监督注意力模块和跨阶段特征融合的图像修复改进网络

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。

基于密集连接注意力块的双生成器图像修复算法

针对图像修复痕迹明显、模型训练不稳定等问题,设计一种结合密集连接注意力块的图像修复算法。在生成器中引入精修复和粗修复二阶段修复网络,并在精修复网络中使用4个通道注意力块设计的密集连接注意力块;同时,增设VGG16特征提取模型,引入WGAN-GP作为判别器损失函数,以多损失融合的方式提高图像的修复效果。在CelebA数据集上验证模型的修复效果,该算法在主客观指标上均优于DCGAN、CE和DD这3种主流算法。