结构门控与纹理联合引导的生成对抗壁画修复

现有深度学习修复方法修复壁画时,受结构和纹理影响较大,修复结果易出现结构紊乱和纹理模糊等问题.针对这些问题,提出了一种结构门控融合与纹理联合引导的生成对抗壁画修复模型.首先,构建由结构引导编码子网络和纹理引导解码子网络构成的生成网络,利用结构信息引导编码,并通过门控特征增强边缘轮廓信息.然后,设计纹理引导器和方向注意力模块提取分层纹理特征,引导解码器重构修复,提高壁画的纹理一致性.最后,采用跳跃连接促进结构和纹理的特征互补,并利用谱归一化马尔科夫判别模型对抗完成壁画修复.对真实敦煌壁画数字化修复实验的结果表明:所提方法主客观评价均优于比较算法,修复结果更加清晰、自然.

融合结构与纹理特征的壁画缺陷修复

针对现有算法在修复花纹复杂的壁画时存在结构混乱和纹理模糊等缺陷,提出一种融合结构与纹理特征引导的双重生成对抗网络模型。首先将U-Net引入双重生成网络,利用方向和通道双注意力机制提取到的纹理和结构信息分别引导结构、纹理解码器完成对结构与纹理的特征重构,并结合空洞残差块与跳跃连接实现多尺度特征融合提取。其次将两个分支输出的特征图通过双门控特征融合模块深度融合,完成特征信息交互。最后通过联合双判别器对抗完成缺陷修复,增强壁画修复效果的细节丰富度和全局一致性。实验使用自制数据集五台山某处非国宝级真实壁画进行训练及测试,并通过对比实验和消融实验验证,所提算法在峰值信噪比指标上平均提升4.24 dB,结构相似性指标上平均提升3.6%。实验表明该方法可以对受损的壁画进行有效修复,使其呈现出较好的结构、纹理信息,且视觉效果更清晰自然。