基于生成对抗网的中国山水画双向解码特征融合外推算法

研究基于生成对抗网的中国山水画的边界外推问题.现有的图像外推方法主要是针对草地、天空等内容比较单一、纹理比较规范的自然场景进行的,直接将其应用于内容较为复杂、层次丰富、笔触变化多样的中国山水画外推会出现外推内容模糊、与原有图像边界语义不一致等现象.针对上述问题,基于生成对抗网的思想,提出一种新的生成对抗网的双向解码特征融合网络(bidirectional decoding feature fusion generative adversarial network,BDFF-GAN).网络在生成器设计方面,以现有的U型网络(U-Net)为基础,增加一个多尺度解码器,构建一种双向解码特征融合的生成器UY-Net.多尺度解码器抽取编码器不同层级的特征进行交叉互补的组合,增强了不同尺度特征之间的连接交融;同时每一层双向解码的结果还通过条件跳跃连接进一步相互融合.UY-Net设计上的这2个特点有利于网络对山水画不同粒度的语义特征和笔触形态的传递与学习.在鉴别器设计方面,采用全局鉴别器和局部鉴别器相结合的架构,全局鉴别器将整幅山水画作为输入来控制外推结果的全局一致性,局部鉴别器将原有山水画与外推山水画交界处周围的小区域作为输入以提高外推部分与原画作的连贯性和细节生成质量.实验结果表明,与其他方法相比较,所提算法较好地学习到了山水画的语义特征和纹理信息,外推结果在语义内容的连贯性和笔触纹理结构的自然性方面都有更好的表现.此外,还设计了一种新的用户交互方式,该方式通过外推边界引导线的形式控制外推部分的轮廓走向,从而实现了布局可调的山水画外推效果,扩展了上述BDFF-GAN网络的生成多样性和应用互动性.

基于三阶段生成网络的图像修复

基于深度学习的图像修复研究重点之一是色彩、边缘和纹理的生成,然而,已有研究对色彩、边缘和纹理生成方法还可优化.因此,文中提出三阶段生成网络,每个阶段分别侧重于对色彩、边缘和纹理的合成.具体而言,在HSV色彩生成阶段,可在HSV色彩域中重建图像的全局色彩,为修复过程提供色彩指导.在边缘优化阶段,设计边缘学习框架,可获取更准确的边缘信息.在纹理合成阶段,构建特征双向融合解码器,增强图像的纹理细节.上述三个阶段依次衔接,每个阶段均可提升图像修复性能.大量实验表明文中网络性能较优.