基于手绘草图的视觉内容生成深度学习方法综述

手绘草图通过绘制简单的线条直观呈现用户的创作意图,支持用户采用手绘的方式快速表达思维过程及设计灵感,创作目标图像或视频.随着深度学习的发展,基于草图的视觉内容生成通过学习草图和视觉对象(即图像和视频)的特征分布进行跨领域特征映射,实现图像自动生成草图以及草图自动生成对应的图像或视频,与传统的人工创作方式相比有效地提高了生成的效率和多样性,成为计算机视觉、图形学领域的重要研究方向,并且在设计、视觉创作等领域具有重要作用.综述基于草图的视觉内容生成深度学习方法的研究现状和发展趋势,按照视觉对象的不同将现有工作分为基于草图的图像生成和基于草图的视频生成方法,并结合草图和视觉内容跨域生成、风格转化、视觉内容编辑等任务对生成模型进行详细分析,然后比较和总结常用的数据集、针对草图数据不足提出的扩充方法以及生成模型的评估方法,进一步通过草图在视觉内容生成应用中面临的挑战及生成模型未来发展方向对研究趋势进行展望.

AIGC视觉内容生成与溯源研究进展

随着数字媒体与创意产业的快速发展,人工智能生成内容(artificial intelligence generated content, AIGC)技术以其在视觉内容生成中的创新应用而逐渐受到关注。本文旨在围绕AIGC视觉内容生成与溯源研究进展深入研讨。首先,针对图像生成技术进行探讨,从基于生成式对抗网络的传统方法出发,系统地分析了基于生成式对抗网络、自回归模型和扩散概率模型的最新进展。接着,深入探讨可控图像生成技术,突出了通过布局、线稿等附加信息以及基于视觉参考的方法来为创作者提供精确控制的技术现状。随着图像生成技术的革新和应用,生成图像的安全性问题逐渐浮现。而预先审核和过滤的技术手段已难以满足实际需求,故亟需实现生成内容的溯源来进行监管。因此,本文进而对生成图像溯源技术进行研讨,并聚焦水印技术在确保生成内容可靠性和安全性方面的应用。依据水印嵌入的流程节点,首先将现有的水印相关的生成图像溯源方法归为无水印嵌入的生成图像溯源、水印前置嵌入的生成图像溯源、水印后置嵌入的生成图像溯源以及联合生成的生成图像溯源并进行详细分析,然后介绍针对生成图像的水印攻击研究现状,最后对生成图像溯源技术进行总结和展望。鉴于视觉内容生成在质量和安全上的挑战,旨在为研究者提供一个视觉内容生成与溯源的系统研究视角,以促进数字媒体创作环境的安全与可信,并引导未来相关技术的发展方向。