二维碰撞感知的单张图像参数化人体与服装重构

已有的基于图像的人体与服装重构大都不考虑身体与衣物之间的交互,导致独立重构结果互相穿刺.本文提出一个二维碰撞感知的从单张图像重构人体与服装的优化方法,利用SMPL和TailorNet参数化模型来分别表示人体和衣服的三维形状,进而建立约束能量求解人体形状参数,运动参数和服装细节控制参数.我们的方法在初始化阶段对输入图像进行了语义分割以及二维关节点的估计,并采用human mesh recovery初步估计人体的形状与运动参数作为能量优化的初始值.我们的能量优化由两部分构成:其一是形状与姿态约束,利用图像中人体的关节位置和着装人体区域对三维参数化模型的投影的关节位置和投影区域进行约束,保证重建模型与图像在形状与姿态上的一致性;其二是人体与衣服的碰撞约束,引入重构人体与服装模型的二维投影区域间的误差对人体与衣服进行碰撞约束,以避免相互穿刺,考虑到基于投影的约束对视点敏感,我们在三维空间中进行视点采样,从而建立多视角的二维投影约束.考虑到能量中包含了TailorNet,不容易计算梯度,我们利用爬山法交替地对人体形状,姿态和服装尺寸参数进行优化求取最优解.最后,通过一系列实验对本文方法和最近的一些相关工作进行了定性和定量分析,结果表明本文方法能有效缓解人体与服装穿刺,重构精度也更高。