基于先验知识和网格监督的手部姿态估计

手部自遮挡和深度信息缺失使得由单目RGB图像进行三维手部姿态估计存在关节相对深度估计不够准确、生成的姿态违背手部生物力学约束等问题。为解决此问题,文中结合手部结构中蕴含的先验知识以及手部网格信息,提出一种基于先验知识和网格监督的深度神经网络。手部骨架的铰链式结构意味着关节三维位置在二维图像平面和深度方向的投影之间存在着特定关系,但个体之间的手部结构差异导致难以对其进行直观的形式化描述,为此文中提出通过学习来对其进行拟合。同一手指的关节位置和骨骼长度、同一手指的不同分段以及不同手指的弯曲方向之间也存在特定关系,文中将其设计为损失函数,用于监督网络训练。所提出的神经网络在估计手部姿态的同时并行生成手部网格,通过网格标注监督网络训练,优化姿态估计,且不增加网络复杂度。使用混合数据集对神经网络进行了训练,以进一步提高其泛化能力。实验结果表明,所提方法在多个数据集的内部交叉验证精度、跨数据集验证精度、模型的时间和空间复杂度等方面都优于其他方法,手部结构先验知识和网格监督在提升姿态估计精度的同时保持了神经网络结构的紧凑性。