基于姿态引导的场景保留人物视频生成

人物视频生成技术是通过学习人体结构与运动的特征表示,实现从特征表示到人物视频帧的空间生成映射。针对现有的人物视频生成算法未考虑背景环境转换及人体姿态估计精度较低等问题,提出一种基于姿态引导的场景保留人物视频生成算法(PSPVG)。首先,取合适的源视频和目标视频,利用分割人物外观的视频帧代替源视频帧作为网络的输入;然后,基于GAN的运动转换模型将源视频中的人物替换成目标人物,并保持动作一致性;最后,引用泊松图像编辑将人物外观与源背景融合,去除边界异常像素,实现将人物自然地融入源场景且避免改变画面背景环境和整体风格。该算法使用分割出的前景人物图代替源视频帧中的人物,减少背景干扰,提高姿态估计精度,自然地实现运动转移过程中源场景的保留,生成艺术性与真实性和谐并存的人物视频。