基于草图引导的少样本说话人视频生成算法研究

说话人视频生成需要对面部纹理和驱动语音进行精准联合建模;为实现该目标,对语义引导的纹理特征形变进行了研究,提出一种基于草图引导的少样本说话人视频生成框架,采用双阶段生成技术进行模态对齐;在第一阶段使用真实先验关键点信息进行语音到目标关键点的生成,第二阶段将关键点转化为草图作为中间表征与参考图片进行语义对齐;草图的引入有效地解决了语音与图像的模态不匹配问题;通过实验测试,算法在公开数据集HDTF和MEAD上的FID指标达到了15.676和8.618;经上述结果验证,提出的算法可通过中间表征有效建模目标音频驱动下的面部纹理,达到与最先进算法相当的生成效果。