联合核预测和特征推理的渐进式壁画修复算法

针对现存深度模型修复壁画时,未兼顾像素级特征与语义级特征,而导致纹理精细度欠缺、结构扭曲等问题,提出一种联合核预测和特征推理的渐进式壁画修复算法.首先,设计区域渐进模块,通过部分卷积实现壁画特征渐进式映射.然后,提出双分支修复模块,其中核预测卷积分支实现破损区域的像素级修复;而语义特征推理分支中引入门控可变形卷积,并结合语义一致性注意力机制实现特征推理,完成破损壁画的语义级修复.最后,将双分支修复结果融合输出,最大限度地减少重构误差,提升修复精度.通过对敦煌壁画进行数字化修复实验,结果表明所提方法修复后的壁画具备较好的结构纹理特征,在评价指标上优于比较算法.

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有壁画深度学习修复方法,存在上下文信息关注不足及结果欠佳的问题,提出了一种多层次特征融合与超图卷积的生成对抗修复模型。首先,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,以克服单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征方法,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,以提高特征信息的利用率;并引入门控机制对特征进行选择融合,以减少细节信息的丢失。接着,将融合特征通过卷积长短期记忆网络(ConvLSTM)特征注意力方法,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积捕获编码器的空间特征信息,并将其迁移到解码器中,有助于解码器更好地生成壁画图像,以加强特征的长程依赖关系,并与SN-PatchGAN判别器对抗博弈从而完成修复。通过敦煌壁画数字化修复实验,结果表明:所提方法客观评价优于对比算法,对于破损壁画修复结果更加清晰自然。

多尺度特征和注意力融合的生成对抗壁画修复

针对现有深度学习图像修复算法修复壁画时,存在特征提取不足及细节重构丢失等问题,提出了一种多尺度特征和注意力融合的生成对抗壁画修复深度学习模型。设计多尺度特征金字塔网络提取壁画中不同尺度的特征信息,增强特征关联性;采用自注意力机制及特征融合模块构建多尺度特征生成器,以获取丰富的上下文信息,提升网络的修复能力;引入最小化对抗损失与均方误差促进判别器的残差反馈,从而结合不同尺度的特征信息完成壁画修复。通过对真实敦煌壁画数字化修复的实验结果表明,所提算法能够有效保护壁画图像的边缘和纹理等重要特征信息,并且主观视觉效果及客观评价指标均优于比较算法。

结构门控与纹理联合引导的生成对抗壁画修复

现有深度学习修复方法修复壁画时,受结构和纹理影响较大,修复结果易出现结构紊乱和纹理模糊等问题.针对这些问题,提出了一种结构门控融合与纹理联合引导的生成对抗壁画修复模型.首先,构建由结构引导编码子网络和纹理引导解码子网络构成的生成网络,利用结构信息引导编码,并通过门控特征增强边缘轮廓信息.然后,设计纹理引导器和方向注意力模块提取分层纹理特征,引导解码器重构修复,提高壁画的纹理一致性.最后,采用跳跃连接促进结构和纹理的特征互补,并利用谱归一化马尔科夫判别模型对抗完成壁画修复.对真实敦煌壁画数字化修复实验的结果表明:所提方法主客观评价均优于比较算法,修复结果更加清晰、自然.

结构引导的渐进式生成对抗壁画修复

针对破损壁画图像修复过程中存在的结构修复不当及修复后壁画细节重构丢失等问题,提出了一种基于结构引导的渐进式生成对抗壁画修复深度学习模型。设计结构生成器对壁画缺失结构内容进行修复,得到修复的壁画结构图像。通过壁画生成器生成对抗学习,结合改进的双池化SKNet多尺度特征提取模块,利用修复后的结构图像引导破损壁画实现渐进式修复,以提高壁画的细节特征学习能力。通过局部判别器和全局判别器,完成对结构图像和壁画图像的重构判别,增强壁画修复效果的全局一致性。通过对真实敦煌壁画数字化修复的实验表明:所提方法能够有效修复破损的敦煌壁画,修复后的壁画具有更好的结构及细节信息,在主客观评价指标上均优于比较方法。

联合特征推理和语义增强的渐进式壁画修复

针对现有深度学习算法修复壁画图像时,未充分考虑破损区域与完好区域信息的一致性,导致修复结果易出现边界效应和纹理模糊等问题,提出了一种联合特征推理和语义增强的渐进式壁画修复算法.首先,设计区域渐进结构,实现了待修复区域的渐进式收缩修复.然后,利用特征推理模块,对缺失像素的特征值进行迭代推理填充,减小壁画修复重构误差,增强壁画破损区域与完好区域之间的相关性.最后,将各层特征图自适应融合,并采用语义增强模块进行纹理细节迁移,提升壁画补全区域和整体的一致性.敦煌壁画数字化修复实验表明:所提方法修复结果具有更好的纹理细节一致性,在主客观评价指标上均优于比较算法.

块核范数的RPCA分解与熵权类稀疏的壁画修复

针对图像修复过程中,颜色纹理光学属性分离不彻底,以及在稀疏表示图像修复时字典设计单一,导致壁画图像修复结果易出现结构不连贯和模糊效应等问题,提出了一种基于块核范数的鲁棒主成分分析(robust principal component analysis,RPCA)分解与熵权类稀疏的壁画修复方法。首先,采用提出的基于块核范数的RPCA图像分解算法,将壁画图像分解为结构层和纹理层,利用块核范数进行纹理矫正操作,克服了RPCA结构纹理分离不完全的问题。然后,提出熵加权k-means方法对结构层图像进行聚类,构建得到稀疏子类字典,并通过奇异值分解和分裂Bregman迭代优化的类稀疏修复方法,完成结构层图像的重构。最后,利用双三次插值算法实现对纹理层图像的修复,将修复后的结构层和纹理层进行融合,完成破损壁画的修复。通过对真实敦煌壁画数字化修复,实验结果表明,该算法能够有效地保护壁画图像的边缘和纹理等重要特征信息,无论从视觉效果还是从峰值信噪比等定量评价方面,提出的方法修复效果均优于比较算法,且修复执行效率更高。

敦煌壁画数字化修复方法综述

敦煌壁画是古代人类文明艺术的结晶,凝聚着世界文明的精髓,蕴含着丰富的历史文化精神,对相关文物进行保护具有十分重要的意义。利用数字化图像修复技术对敦煌壁画实现虚拟修复保护,是目前图像处理和计算机视觉领域重要研究热点之一。首先介绍数字化图像修复的各类方法研究现状和基本原理;然后对破损敦煌壁画进行不同算法的修复实验,分析比较各类修复方法的优劣;最后展望了敦煌壁画数字化修复发展趋势与研究前景。

多尺度轮廓波分解的群稀疏壁画修复算法

壁画图像修复是利用原始壁画图像的先验信息从缺失像素的破损壁画出发恢复原始图像的过程。针对稀疏表示在壁画图像修复时,未考虑壁画结构信息与纹理信息的差异性,导致修复结果易出现纹理模糊和结构线条断裂等问题,提出了一种基于多尺度轮廓波分解的群稀疏壁画修复算法。首先,采用非下采样轮廓波变换对待修复壁画图像进行多尺度分解,将其分解为低频纹理分量和高频结构分量,克服了现有稀疏表示壁画修复时,未考虑壁画结构和纹理信息差异性的不足。其次,采用提出的改进群稀疏算法,对纹理低频分量构造样本块相似群集合,并通过奇异值分解和分裂伯格曼算法迭代优化得到自适应群字典和稀疏系数,从而完成低频分量的修复。然后,使用三次立方卷积插值算法实现对壁画结构高频分量的插值修复。最后,通过非下采样轮廓波逆变换对修复后各尺度分量进行融合重构。通过对真实敦煌壁画的修复实验,结果表明,所提方法相较对比算法取得了更好的主客观修复效果及评价。

基于HSI颜色空间的深度学习单幅图像去雾方法

针对传统的单幅图像去雾算法容易受到雾图先验知识制约导致颜色失真等问题,本文提出了一种基于HSI颜色空间的深度学习多尺度卷积神经网络单幅图像去雾方法,即通过设计深度学习网络结构来直接学习雾天图像与其无雾清晰图像色调、饱和度和亮度之间的映射关系,从而实现图像去雾。该方法首先将有雾图像从RGB颜色空间转换到HSI颜色空间,然后设计了一个端到端的多尺度全卷积神经网络模型,通过色调H、饱和度I、强度S三个不同的去雾子网分别进行多尺度提取,深度学习得到有雾图像与清晰图像之间的映射关系,从而恢复出无雾图像。实验结果表明,本文方法对于雾天图像具有良好的去雾效果,在主观评价和客观评价上均优于其它对比算法。

联合双编码器增强的生成对抗壁画多尺度重建

针对现有深度学习算法在修复破损壁画图像过程中,存在特征感知能力较弱和重建细节丢失等问题,提出了一种联合双编码器增强的生成对抗壁画多尺度重建深度学习模型.首先,设计由双分支联合编码器和多尺度解码器构成的生成网络,其中双分支联合编码器分为门控编码器分支和标准编码器分支:门控编码器分支利用门控卷积的动态特征选择机制并结合空洞卷积扩大感受野,提高壁画的语义特征感知能力;而标准编码器分支则利用标准卷积并结合密集连接加强特征传递,以获得更丰富的壁画细节信息.然后,采用多尺度解码器进行重构恢复,增强破损壁画纹理细节的重构能力.最后,通过谱归一化马尔科夫判别网络改善壁画修复结果的语义一致性和结构连续性.通过对真实敦煌壁画进行数字化修复的实验结果表明:所提出的算法能够有效完成破损壁画的修复,重构取得了更好地视觉感和协调性,在主客观评价方面均优于比较算法.

基于序贯相似性和布谷鸟寻优的敦煌壁画修复算法

针对Criminisi算法在修复敦煌壁画时易出现错误填充、修复效率较低等问题,提出了一种基于序贯相似性和布谷鸟寻优算法结合的敦煌壁画修复方法。首先采用P-Laplace算子重新定义数据项,改进了优先权计算方法,避免了优先权频繁趋于0的问题;其次引入动态阈值序贯相似性检测算法进行匹配块的搜索,提高了壁画修复效率;为了使匹配块选择更加合理,再利用布谷鸟寻优算法确定最佳匹配块;最后通过迭代更新完成壁画修复。通过对敦煌壁画的修复实验表明,本文方法相比于同类比较算法,取得了较好的主客观修复效果,并且修复效率也得到了进一步提升。

基于Gabor变换和组稀疏表示的敦煌壁画修复算法

在敦煌壁画修复过程中,初始字典的随机选取易陷入局部最优,仅以颜色欧氏距离作为图像块分组标准会导致图像修复后易出现结构模糊和线条不连续等问题。针对以上问题,提出了一种基于Gabor变换和组稀疏表示的敦煌壁画修复算法。首先,采用互信息作为图像块分组准则,并建立相似结构组,这使得组稀疏表示更加合理;然后,通过Gabor小波变换对相似结构组进行特征信息提取,并结合PCA降维的方式得到初始化结构组的特征字典,避免了字典初始化随机选取的不足;最后,采用奇异值SVD分解和分裂Bregman迭代优化方法对结构组字典和稀疏系数进行学习并完成壁画图像的修复。实验结果表明,相比于其他对比算法,所提方法取得了较好的主客观修复效果。

基于边缘缺失重构和改进优先权的壁画图像修复

敦煌壁画图像线条纹理结构复杂、轮廓边缘缺失,采用Criminisi算法修复时存在结构传播错误和块效应问题。因此,提出了一种基于边缘缺失结构重构和改进优先权的壁画图像修复算法。首先,通过改进的自适应贝塞尔曲线重构破损壁画缺失的边缘轮廓,以增强壁画的结构性,引导图像修复。然后,引入梯度、曲率等局部特征先验信息对优先权函数进行改进,避免优先权频繁趋于0引起的错误填充。最后,通过改进的动态阈值序贯相似性算法搜索匹配块,提高壁画修复效率,迭代完成壁画修复。对真实敦煌壁画数字化修复的实验结果表明,本算法能很好地解决Criminisi算法结构传播错误及块效应问题,修复后的壁画主客观评价结果均优于其他对比算法。