基于Transformer的文物图像修复方法

文物极易因为保存不当而导致部分结构或纹理缺失,而现有的图像修复技术由于受到先验信息和卷积操作的局限而无法直接应用于文物图像修复,为更合理地恢复文物图像原貌,提出了一种新的文物图像修复方法,将文物图像修复工作分为2个步骤:第1步使用Transformer进行粗略的图像重建并恢复连贯的结构;第2步使用卷积神经网络将粗略的重建图像进行上采样并恢复缺失区域的精细纹理.考虑到目前国内外没有高质量的大型文物数据库,因此也提出了一个新的高质量大型文物图像数据库.最终实验结果表明,在符合现实场景的破损修复实验和大面积破损修复实验中,修复效果在主观和客观评估中均优于当前图像修复算法.同时,支持多元化输出,为修复人员提供多样化参考,极大地提升了文物修复效率.

基于Transformer的多阶段运动模糊图像修复网络

运动模糊是导致图像退化的常见原因,其限制了图像的可读性和后续处理效果。针对卷积网络感受野有限以及常规多阶段网络中信息丢失的问题,提出一种基于Transformer的多阶段去模糊网络。网络采用多阶段编码器-解码器结构,在单个阶段内和多个阶段间采用跳跃连接来增强信息的传递。首先,高效Transformer模块采用通道注意力和深度卷积来处理图像的全局和局部信息;其次,多分支结构的前馈传播网络通过引入多个并行的分支,实现了不同尺度和不同层次的特征提取和融合;最后,通过多阶段的残差处理实现更优的图像恢复结果。实验结果显示,在GoPro数据集上该网络的峰值信噪比(PSNR)达到32.23 dB,结构相似性指数(SSIM)达到0.955,在HIDE数据集上PSNR和SSIM分别达到30.15 dB和0.930,优于DeepDeblur、DeblurGAN-V2等模型。

联合Swin Transformer和UNet的GAN人脸修复算法

基于GAN的人脸修复技术大都采用CNN进行修复,忽略了人脸修复的全局信息和整体均匀性,从而导致修复结果不理想。基于此问题,提出一种联合Swin Transformer和UNet的GAN人脸修复算法,进行人脸图像修复。该方法整体采用GAN生成器-判别器架构,使用Swin Transformer作为主干网络,用于捕捉图像的全局依赖关系;采用UNet的编码-解码结构,在局部区域进行特征提取和重建。实验结果表明,相较于以往方法,该方法能更好地处理人脸图像修复任务。

基于多尺度特征融合的轻量化人脸图像修复算法

针对当前遮挡的人脸图像修复中修复图像质量差和模型参数量大的问题,提出了一种基于多尺度特征融合的改进U-Net的轻量化人脸图像修复模型——LM-UNET。首先,使用深度可分离卷积替换原有卷积,增强模型对不同通道和上下文信息的特征表达能力,实现模型轻量化;其次,在跳跃连接中设计了多尺度特征注意力融合模块,充分融合不同尺度特征的信息,内嵌残差块减少特征间语义差距,提高模型修复准确率;最后,引入了位置注意力模块,增强人脸图像的显著信息,提升模型对人脸位置像素信息的有效提取能力。在基于CK+数据集生成的遮挡人脸数据集MFD上对该算法进行训练、验证和测试,修复后的图像的峰值信噪比(PSNR)达到30.49dB,结构相似性(SSIM)达到96.85%,与其他模型的对比实验结果表明,该模型对存在遮挡的人脸修复图像质量和视觉效果更好。

基于改进pix2pix框架的人脸图像修复模型

人脸图像修复任务可以通过图像到图像的转换问题来实现。本文在经典的图像转换模型pix2pix的基础上提出了一种改进的人脸图像修复模型。该模型以pix2pix框架作为基础,首先通过引入感知损失、风格损失来增强生成器对图像细节和全局一致性的处理能力;其次在模型的网络实现过程中融合残差块来缓解梯度爆炸,增加模型的稳定性。本文的实验结果表明,改进后的pix2pix模型取得了较好的视觉效果,在客观评价指标PSNR和SSIM上得到了显著的提升。这些结果展示了所提模型的有效性,为人脸图像修复任务提供了一种解决方案。

基于扩散模型的人脸图像修复技术

人脸作为人体信息最为密集的部位,人脸图像在各个研究领域都有不可替代的作用。因此,研究如何将遮挡或模糊的人脸图像恢复成真实图像是非常有意义的。针对人脸图像修复技术的研究,提出基于扩散模型的人脸图像修复技术。在现有的人脸图像修复技术基础上,解决在修复大区域破损或遮挡的情况下,修复图像出现纹理模糊及结构扭曲等问题。所提出的方法基于边缘引导的扩散模型图像修复网络,主要包括两个阶段:首先训练基于U-Net结构的边缘修复模型生成较为真实的缺失区域的边缘信息,然后根据已修复好的边缘信息,训练内容生成模型填充缺失部分的内容信息。实验证明对于人脸图像修复具有较好的效果。

一种用于人脸图像修复的TPDCU-Net算法

针对目前的算法在细节处理、纹理清晰度以及语义特征连贯性方面存在的问题,提出一种用于人脸图像修复的基于Transformer的U型网络组合部分卷积和空洞卷积模块(Transformer partial convolution and dilated convolution U-shaped network,TPDCU-Net)算法。TPDCU-Net算法将注意力机制中的标准卷积替换为部分卷积,以保留更多可靠信息并降低计算量;同时,在下采样过程中为了减少重要信息的丢失,引入了空洞卷积模块,以改善修复效果。通过在高清人脸(celebfaces attributes high quality,CelebA-HQ)数据集上进行实验,使用峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性指数(structural similarity index measure,SSIM)和平均绝对误差(mean absolute error,MAE)指标与现有的图像修复算法进行比较,结果表明当掩码比例最大时TPDCU-Net算法各指标值分别为23.0493 dB、0.7786、0.0368。该研究证实所提改进算法在人脸图像修复任务中取得了较好的效果。

基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道⁃空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。

基于GAN和Transformer的人脸图像超分辨率重建

为满足工业领域对低成本、高质量和大批量人脸图像的获取需求。本文提出了一种基于生成对抗网络和Transformer的超分辨率模型。在生成器方面,新设计了一种密集连接的Transformer结构替换了传统的卷积层,以建立全局特征依赖关系,从而提高特征提取能力和图像重建质量。同时,在鉴别器上采用判别能力更强的U-Net结构,以匹配生成器的性能。为了解决以往图像退化泛用性不足的问题,提出了一种图像退化模型,以实时生成训练图像对,大大丰富退化场景和数据集。为了更加细致地呈现人脸特征,所提出的模型还在自制数据集上进一步训练。实验结果表明,本文提出的模型相比其他模型在线条、纹理和清晰度等方面表现更好。

基于边缘先验融合动态门控特征的人脸图像修复

为解决现有人脸图像修复算法因无法提取动态特征和缺乏边缘先验信息导致修复大区域不规则破损时纹理模糊和结构扭曲问题,提出了基于边缘先验融合动态门控特征的人脸图像修复算法。首先,设计动态门控卷积模块动态提取破损区域特征,关联已知区域和缺失区域的有效特征,提升纹理细腻度;然后,设计动态门控边缘增强网络和U型编码纹理修复网络,边缘增加网络旨在获取边缘轮廓信息,为U型编码纹理修复网络提供结构先验约束;U型编码纹理修复网络采用UNet++融合多层特征以保证人脸修复图像结构和纹理一致性;最后,通过消融实验证明UNet++的有效性和通用性,并剪枝U型网络以选取适宜的人脸图像模型表征层进行缺失区域纹理重建,在CelebA-HQ人脸数据集上进行实验评估。实验结果表明:相较于主流算法,所提方法在SSIM上平均提升3.87%,PSNR平均提升3.79 dB,FID平均下降16.54%,能有效修复大区域不规则缺失面积,生成纹理清晰、结构合理的图像。

利用图像平滑结构信息指导图像修复

利用图像结构特征进行图像修复,是近年来在深度学习技术广泛应用背景下出现的新方法。应用该方法可以在缺失区域内生成合理的内容,但图像修复结果过于依赖图像结构的提取内容,且在实际训练中会出现错误的持续传播和累积,一旦图像结构存在噪声或失真会直接影响到图像的生成质量。该方法处在探索应用阶段,尚存在网络训练难度大、鲁棒性较差、生成图像上下文语义不一致等问题。为此,本文提出了一种图像平滑结构指导修复的并行网络结构。图像平滑结构的生成内容不直接作为下一级网络的输入,只为网络的解码层提供指导信息。同时,为了更好地匹配和均衡结构与图像之间的特征关系,本文结合transformer提出了一种多尺度特征指导模块。该模块利用transformer联系全局特征的强大建模能力,对结构和图像纹理之间的特征进行匹配和均衡。实验结果表明,本文方法在三个常用的数据集上能够有效地恢复图像缺损内容,并且可以作为图像编辑工具实现目标移除。

基于部分卷积和多尺度特征融合的人脸图像修复模型

针对破损区域较大的人脸图像,修复后图像存在局部色差、边界伪影和细节缺陷等问题,提出基于部分卷积和多尺度特征融合的人脸图像修复模型。该模型主要分为多尺度修复网络和判别器网络。修复网络通过多级特征提取模块和主分支模块,有效融合深层和浅层的图像特征,实现了人脸图像的特征提取和融合。此外,构建由内容损失、感知损失、风格损失、总变分损失和对抗损失组成的联合损失函数,用于训练多尺度修复网络,并通过与判别器网络的相互对抗,提高修复图像与真实图像的视觉一致性。实验结果表明,对于不同的掩膜率,采用该模型修复的图像具有合理的纹理结构和上下文语义信息,并在定性和定量比较上表现更好。

草图引导的选择循环推理式人脸图像修复网络

图像修复在修复老照片、消除人脸马赛克等应用中起到关键作用。针对现有深度学习人脸图像修复方法因受干扰信息影响,存在编解码器修复效果欠佳,修复结果因概率多样性出现偏离用户预期等问题。提出了一种草图引导的选择循环推理式人脸图像修复网络,通过设计一种选择循环推理策略,在循环网络中引入选择机制降低干扰信息对编解码的推理影响,并在编码器和解码器之间的跳跃连接中加入基于草图的结构信息修正模块,从而限制修复结果相对于用户期望的结构偏离。在CelebA-HQ数据集上的实验结果表明,该方法在评价指标和引导生成用户期望内容方面均优于其他经典网络。在人工手绘草图上的实验结果表明,可以通过简单的手绘方式生成用户指定的内容,具有一定的实际应用意义。

基于双重自注意力机制的人脸图像修复

人脸图像修复旨在修复输入人脸图像中的缺失区域,生成令人满意的高质量修复结果 .然而当存在大面积缺失时,直接修复缺失人脸图像十分困难,此时修复网络的全局上下文信息感知能力是影响修复结果的关键.鉴于此,本文提出了软硬注意力相结合的双重自注意力模块.该模块通过全局相似度计算来获得软硬两种注意力特征,之后对两种注意力特征进行自适应融合,进而提高修复网络对全局上下文信息的感知能力.此外,本文进一步提出了多尺度生成对抗网络以加强对修复结果的监督,促使修复网络生成更高质量的修复结果 .实验结果表明,本文方法在定量和定性评测上均优于五种先进的对比方法 .

基于Transformer块的混合域网络稀疏角度CT成像

目的 针对计算机断层扫描(Computed Tomography,CT)中由于不完全扫描数据导致图像噪声伪影严重的问题,提出一种基于Transformer块的混合域网络稀疏角度CT成像算法(Hybrid Domain network for sparse view CT imaging based on Transformer,HDTransformer)。方法 算法的主要思想是借助于新型的Transformer网络,构建适用于多阶段稀疏角度CT投影数据及图像数据的处理流,以提高稀疏角度CT图像重建质量;与现有两阶段混合域处理方法相比,本方法采用图像域-投影域-图像域三阶段混合处理流程,通过多阶段信息的联合互补提高成像质量;此外,针对不同阶段数据噪声伪影特点设计不同的Transformer块,以实现差异化的处理;更进一步,算法采用可微分的解析重建和投影运算,建立投影域与图像域数据的转换,最终实现端到端的稀疏角度CT优质成像流。结果 通过Mayo数据实验验证,其视觉结果表明:处理后的不同部位CT图像噪声伪影均能够得到较好的抑制;量化结果表明:处理后的CT图像峰值信噪比和特征相似性均优于对比方法。结论 实验的定性和定量结果表明:所提算法在去除图像伪影噪声方面要优于其他算法,具有更高的质量,验证了该方法的有效性。

一种基于BEGAN改进的残缺人脸图像修复算法

随着数字图像处理技术的迅速发展,如何修复残缺的人脸图像成为一个热门的研究方向。论文提出了一种基于BEGAN改进的残缺人脸图像修复算法,首先,论文生成器模型基于U-net网络结构,在简单跳跃连接基础上引入嵌套、密集的跳跃连接以增强不同尺度特征图的语义结合;其次,判别器模型采用全局和局部联合判别模型,优化区域不协调以及语义不一致问题;最后,基于对抗网络损失、重构损失、身份特征一致性损失作为联合损失函数以获得和原始图像特征更为一致的修复图像。在CelebA人脸图像数据集上的实验结果显示,该算法能够有效对残缺人脸图像进行修复,定量分析指标PSNR和SSIM相比较其他方法均有所提高,从主观定性分析效果来看,论文算法修复的人脸图像细节更清晰,且和原始图像特征更加一致。

UG_2F2F:多特征深度融合的人脸图像修复

利用现有深度学习方法实现人脸图像修复存在特征挖掘不充分、语义表达不完整等问题,导致输出图像容易存在伪影或模糊纹理等现象.为了解决这个问题,提出一种多特征深度融合的人脸图像修复模型.以融入门控卷积的U-Net作为主干网络,来提取结构和纹理这两种特征.再对两特征依次使用双向门控特征融合和门控注意特征融合进行两次融合,以充分挖掘图像高级语义及特征间上下文关系,实现精准而且有效的空洞填充.在训练过程中,定义一种修正的重建损失函数,强调保持结构完整时生成更多纹理细节.在CelebA-HQ数据集上的实验结果表明,与CA、EdgeConnect和CTSDG等代表性模型相比,所提出的图像修复模型在峰值信噪比、结构相似度和FID指标上均得到提升,它能够有效修复人脸图像.

基于特征提取的视频人脸图像受损区域修复研究

针对受损人脸图像在修复过程中易受到噪声影响的问题,采用特征提取方法,设计视频人脸图像受损区域修复方法。结合受损的图像纹理信息,判别图像受损区域。判断特征点到中心点的欧氏距离。提取图像边缘特征,设置分割线,将待修复的图像区域分成无边缘块和有边缘块,实现敏感受损区域特征分段修复。通过实验得出,该方法下图像的信噪比最高为42.354 dB,对左眼、右眼、鼻子、嘴巴特征点的修复效果均较好,能够得到一个最佳的修复结果。

一种面向图像修复的局部优化生成模型

图像修复在照片的编辑、去除等方面有着广泛地应用。针对现有深度学习图像修复模型因受卷积算子感受野局限性的影响,导致修复结果存在结构扭曲或纹理模糊的问题,提出一种局部优化生成模型LesT-GAN,该模型由生成器和鉴别器两部分组成。其中,生成器部分由局部增强滑动窗口Transformer模块构成,该模块将深度卷积的平移不变性、局部性优势与Transformer的全局信息建模能力相结合,既能够覆盖较大范围的感受野又能实现局部细节的优化。鉴别器部分是一种基于掩码指导和补丁的相对平均鉴别器,通过估计给定的真实图像比生成图像更真实的平均概率,模拟缺失区域边界周围的像素传播,使生成器训练时能够直接借助真实图像生成更清晰的局部纹理。在Places2,CelebA-HQ和PairsStreet的3种数据集上,与其他先进的图像修复方法进行对比实验,LesT-GAN在L_(1)和FID评价指标方面分别有10.8%和41.36%的提升。实验结果表明,LesT-GAN在多个场景中有更好的修复效果,同时能很好地泛化到比训练时分辨率更高分辨率的图像中。

基于感知去模糊的高效人脸图像修复算法

针对现有深度学习图像修复算法在修复区域内部产生模糊纹理或存在修复区域边界的内容不连贯性的问题,提出一种基于感知去模糊的人脸图像修复算法.首先提出一种包含PSNR损失、SSIM损失和对抗损失的生成对抗网络生成粗略的人脸结构修复信息;然后开发一种基于感知去模糊的生成对抗网络对粗略的人脸结构进行进一步的纹理细节恢复,从而生成自然清晰且内容连贯的面部纹理.在CelebAHQ公开人脸数据集上进行定量、定性和消融实验的结果表明,所提算法在峰值信噪比和结构相似性等定性评价指标方面优于所对比的前沿图像修复算法.