IA-pix2seq:一个实现简笔画可控生成的深度双向学习方法

构建一个高斯混合模型(GMM)分布的编码空间是一种可辅助实现简笔画可控生成的编码方法.每种特定风格和类别的简笔画经过编码,被集中投影到GMM中的一个高斯区域中.通过选取不同高斯中的编码,可以可控地生成具有指定特征的简笔画.然而,现有方法在处理形态相似的简笔画时,所构建的GMM空间中,高斯区域间存在较大重叠.这降低了简笔画生成符合预期特征的准确率,即可控生成性能较差.本文以贝叶斯阴阳和谐学习算法为指导提出了IA-pix2seq深度双向学习模型.模型的双向互逆映射在和谐学习原理指导下,以最默契的方式达到最大共识,将同一高斯成分区域内的编码集中到相应的高斯中心,同时进一步约束了各简笔画在编码空间中的投影范围,从而扩大高斯成分间的边界并降低彼此间的重叠率.实验表明IA-pix2seq能有效降低不同类别简笔画因相似造成的编码重叠,以提高简笔画的可控生成性能.给定插值编码、将含像素缺失的简笔画作为约束,模型生成的简笔画仍能保留更多的预期特征.