基于局部和全局特征融合的二阶段人脸图像修复算法研究

针对大面积不规则破损的人脸图像修复过程中出现的伪影和不连贯问题,提出一种基于特征融合和多尺度注意力机制的二阶段人脸图像修复算法。在粗修复网络增加全局和局部特征分支来处理编码器的输出。其中,局部特征分支使用多尺度空洞卷积和门控残差连接来聚合上下文信息,并与全局特征分支的输出进行正交融合,提高局部特征与全局特征的相关性,减少特征冗余。在精修复网络增加平均和最大金字塔池化模块,其中,平均池化用于捕捉整体统计信息,最大池化用于提取空间上显著的特征并保留关键信息,并利用通道⁃空间注意力机制进行图像特征结构调整和纹理生成。最后,构建了一个包括多尺度结构相似性损失的复合函数对网络进行训练。实验结果表明,所提算法在主观和客观评价指标上均优于现有算法。

基于边缘先验融合动态门控特征的人脸图像修复

为解决现有人脸图像修复算法因无法提取动态特征和缺乏边缘先验信息导致修复大区域不规则破损时纹理模糊和结构扭曲问题,提出了基于边缘先验融合动态门控特征的人脸图像修复算法。首先,设计动态门控卷积模块动态提取破损区域特征,关联已知区域和缺失区域的有效特征,提升纹理细腻度;然后,设计动态门控边缘增强网络和U型编码纹理修复网络,边缘增加网络旨在获取边缘轮廓信息,为U型编码纹理修复网络提供结构先验约束;U型编码纹理修复网络采用UNet++融合多层特征以保证人脸修复图像结构和纹理一致性;最后,通过消融实验证明UNet++的有效性和通用性,并剪枝U型网络以选取适宜的人脸图像模型表征层进行缺失区域纹理重建,在CelebA-HQ人脸数据集上进行实验评估。实验结果表明:相较于主流算法,所提方法在SSIM上平均提升3.87%,PSNR平均提升3.79 dB,FID平均下降16.54%,能有效修复大区域不规则缺失面积,生成纹理清晰、结构合理的图像。

基于部分卷积和多尺度特征融合的人脸图像修复模型

针对破损区域较大的人脸图像,修复后图像存在局部色差、边界伪影和细节缺陷等问题,提出基于部分卷积和多尺度特征融合的人脸图像修复模型。该模型主要分为多尺度修复网络和判别器网络。修复网络通过多级特征提取模块和主分支模块,有效融合深层和浅层的图像特征,实现了人脸图像的特征提取和融合。此外,构建由内容损失、感知损失、风格损失、总变分损失和对抗损失组成的联合损失函数,用于训练多尺度修复网络,并通过与判别器网络的相互对抗,提高修复图像与真实图像的视觉一致性。实验结果表明,对于不同的掩膜率,采用该模型修复的图像具有合理的纹理结构和上下文语义信息,并在定性和定量比较上表现更好。

基于双重自注意力机制的人脸图像修复

人脸图像修复旨在修复输入人脸图像中的缺失区域,生成令人满意的高质量修复结果 .然而当存在大面积缺失时,直接修复缺失人脸图像十分困难,此时修复网络的全局上下文信息感知能力是影响修复结果的关键.鉴于此,本文提出了软硬注意力相结合的双重自注意力模块.该模块通过全局相似度计算来获得软硬两种注意力特征,之后对两种注意力特征进行自适应融合,进而提高修复网络对全局上下文信息的感知能力.此外,本文进一步提出了多尺度生成对抗网络以加强对修复结果的监督,促使修复网络生成更高质量的修复结果 .实验结果表明,本文方法在定量和定性评测上均优于五种先进的对比方法 .

一种基于BEGAN改进的残缺人脸图像修复算法

随着数字图像处理技术的迅速发展,如何修复残缺的人脸图像成为一个热门的研究方向。论文提出了一种基于BEGAN改进的残缺人脸图像修复算法,首先,论文生成器模型基于U-net网络结构,在简单跳跃连接基础上引入嵌套、密集的跳跃连接以增强不同尺度特征图的语义结合;其次,判别器模型采用全局和局部联合判别模型,优化区域不协调以及语义不一致问题;最后,基于对抗网络损失、重构损失、身份特征一致性损失作为联合损失函数以获得和原始图像特征更为一致的修复图像。在CelebA人脸图像数据集上的实验结果显示,该算法能够有效对残缺人脸图像进行修复,定量分析指标PSNR和SSIM相比较其他方法均有所提高,从主观定性分析效果来看,论文算法修复的人脸图像细节更清晰,且和原始图像特征更加一致。

UG_2F2F:多特征深度融合的人脸图像修复

利用现有深度学习方法实现人脸图像修复存在特征挖掘不充分、语义表达不完整等问题,导致输出图像容易存在伪影或模糊纹理等现象.为了解决这个问题,提出一种多特征深度融合的人脸图像修复模型.以融入门控卷积的U-Net作为主干网络,来提取结构和纹理这两种特征.再对两特征依次使用双向门控特征融合和门控注意特征融合进行两次融合,以充分挖掘图像高级语义及特征间上下文关系,实现精准而且有效的空洞填充.在训练过程中,定义一种修正的重建损失函数,强调保持结构完整时生成更多纹理细节.在CelebA-HQ数据集上的实验结果表明,与CA、EdgeConnect和CTSDG等代表性模型相比,所提出的图像修复模型在峰值信噪比、结构相似度和FID指标上均得到提升,它能够有效修复人脸图像.

基于感知去模糊的高效人脸图像修复算法

针对现有深度学习图像修复算法在修复区域内部产生模糊纹理或存在修复区域边界的内容不连贯性的问题,提出一种基于感知去模糊的人脸图像修复算法.首先提出一种包含PSNR损失、SSIM损失和对抗损失的生成对抗网络生成粗略的人脸结构修复信息;然后开发一种基于感知去模糊的生成对抗网络对粗略的人脸结构进行进一步的纹理细节恢复,从而生成自然清晰且内容连贯的面部纹理.在CelebAHQ公开人脸数据集上进行定量、定性和消融实验的结果表明,所提算法在峰值信噪比和结构相似性等定性评价指标方面优于所对比的前沿图像修复算法.

利用属性控制的人脸图像修复

人脸图像修复在刑事侦查、医疗美容、安防等领域有着重要的应用价值,但是传统已有工作大多基于扩散和纹理方法,均未有效地利用人脸图像已有的属性知识和语义信息,图像真实性和语义不一致问题较为突出.因此,提出一种基于属性控制的人脸图像修复方法.首先通过改进生成对抗网络,加入额外人脸属性信息以及分类网络,实现了在修复人脸图像的同时控制人脸面部特征;然后加入基于多尺度特征融合的注意力模块,在几乎不增加复杂度的同时通过增大神经网络的感受野获得更多全局特征,以提升人脸图像修复质量.结合MAE,PSNR,SSIM和FID这4项评价指标,在CelebA数据集上的实验结果表明,本文方法通过有效的语义引导,不仅可以保证人脸图像修复质量,还可以基于属性修改人脸面部特征.

基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点.该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良.生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果.基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15.从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然.

基于生成对抗网络的遮挡人脸图像修复的改进与实现

针对目前的遮挡人脸图像修复领域中遮挡部位与遮挡大小的限制或修复后人脸图像不够连贯等问题,提出一种改进的Wasserstein生成对抗网络(WGAN)方法来改善人脸图像的修复。将卷积神经网络作为生成器模型,并在对应层间加入跳跃连接来增强生成图像的准确性。在判别器中引入Wasserstein距离进行判别,并引入梯度惩罚来完善判别器。在CelebA人脸数据集与LFW人脸数据集上进行实验,结果表明该方法的修复效果良好。

风格感知和多尺度注意力的人脸图像修复

人脸图像修复是计算机视觉领域中重建人脸图像的一项重要图像处理技术。现有人脸图像修复技术存在修复结果全局语义不合理的问题,这主要是由于现有技术的特征长程迁移能力不足,无法将破损图像中已知区域的信息合理地迁移到被遮蔽区域上。为此,本文在生成式对抗网络(generative adversarial network,GAN)框架下,构建了一种融合风格感知和多尺度注意力的编解码人脸图像修复模型。风格感知模块用于提取图像的全局语义信息,并利用提取的信息对编码逐级地进行渲染,以实现对修复过程的全局性调节;利用多尺度注意力模块对多尺度特征进行补丁块提取,并通过共享注意力得分和提取补丁块的矩阵乘法进行多尺度特征的长程迁移。在公开数据集CelebA-HQ上的实验结果表明:风格感知模块和多尺度注意力模块极大地增强了修复网络的特征长程迁移能力。相较于现有先进的人脸图像修复方案,本文所提出的模型在多种评价指标上均有显著的提升;修复结果的全局语义更加合理,并且在暗光条件下的修复效果更加自然。

基于生成对抗网络的人脸图像修复方法研究

传统的图像修复方法在修复含有较大面积破损的图像时,不仅会出现明显的修复边界,而且与原图存在较大差异。为有效解决以上问题,提出一种基于生成对抗网络的图像修复方法。利用自编码器作为生成器网络结构,可以直接处理含有破损的人脸图像,然后引入LSGAN替换原始的生成对抗损失函数,解决网络训练过程中模型崩溃问题,最后结合基于距离的加权重建损失训练图像修复模型。在CelebA人脸数据集上的试验结果表明,本文方法所得到的修复图像较好地去除了修复边界,且人像五官细节更加贴合原始图像。

基于高效注意力模块的三阶段网络图像修复

现存的人脸图像修复方法,在图像大比例缺损或分辨率高的条件下合成的图像会出现图像纹理结构不协调和上下文语义信息不一致的情况,不能准确合成清晰的图像结构,比如眼睛和眉毛等。为解决此问题,提出一种基于归一化注意力模块(NAM)的三阶段网络(RLGNet)人脸图像修复方法,能加快模型收敛速度并降低计算成本。其中,粗修复网络对残损图像进行初步修复后,局部修复网络对残损图像局部进行细致的修复,基于归一化注意力模块的全局细化修复网络对残损图像整体进行修复,以增加图像的语义连贯性和纹理结构的协调性。该方法在CelebA-HQ数据集上进行实验,结果表明在掩码比例为20%~30%时PSNR达到30.35 dB,SSIM达到0.9269,FID为2.55,能够合成相邻像素过渡自然和纹理结构合理的人脸图像。

基于对抗生成网络的人脸照片去网纹技术

【目的】研究修复带网纹遮挡的人脸照片,以有助于提高后续的人脸验证的准确性。【方法】基于深度学习的模型(针对修复网纹遮挡的人脸照片)在训练时都要求输入对应的网纹数据,但是在实际应用中要获得对应的网纹数据却是非常困难的。为了避免使用对应的网纹数据对人脸图像进行有效的修复,提出了分离对抗生成网络。该网络利用网纹遮挡的人脸照片与干净的人脸照片做像素差生成残差网纹,利用1个分离网络和3个判别网络进行图像修复。【结果】实验结果表明所提出的方法对于消除人脸图像中网纹遮挡有效。【结论】针对带网纹结构遮挡的人脸图像,在对应网纹数据缺失的情况下,通过分离对抗生成网络,依然可以取得很好的图像修复效果。