基于SMPL的人物视频生成算法

人物视频的生成需要人物外观和人物运动两部分信息。现有算法大都使用人物关键点在2D平面内的运动趋势作为运动信息,生成视频的视角只能是固定的。为了生成多视角的人物视频,提出了基于SMPL的人物视频生成算法。算法首先使用NERF配合SMPL人体模型对人物进行3D建模,获取人物外观信息。随后,提取驱动视频中的SMPL人体模型参数作为人物的运动信息,驱动静态的人物3D模型。最后,使用NERF中的体渲染技术将人物3D模型映射到2D平面内,得到最终的人物视频。得益于SMPL模型的特点,生成的视频不仅可以任意切换视角,还可以任意修改人物的体型。

基于深度学习的轻量级图像压缩算法

基于深度学习的图像压缩算法变换部分存在结构复杂、计算量大的问题.为了加快其编码和解码的速度,提出了一种在尽可能保持原有压缩图像质量的情况下,使用知识蒸馏减少原网络参数量和乘-加运算计算量(multiply-accumulationoperations,MACs)的方法.同时训练原网络和轻量化网络,通过将原网络的特征信息传递给轻量化网络,提升轻量化网络的性能.在轻量化网络的结构设计中,为了保留更多的特征信息,且尽可能地减少网络的参数量和MACs,在减少其通道数量的同时引入了分组卷积.在测试数据集Kodak以及DIV2K上的实验结果证明,相比于原网络,经过知识蒸馏的轻量化网络其参数量和MACs约为原来1/16,且仍然保持了较好的图像质量.