基于视觉识别技术的手势自动跟随研究

为了构建一个跨平台的实时手势跟踪应用系统,本文首先利用卷积神经网络从单色图像中估计手部的姿势和形状,并与直接在图像中预测的二维坐标和三维坐标结果进行比较实验证明。实验结果表明,预测的二维坐标与三维坐标的差异不大,可以直接进行三维坐标的预测。其次,基于跟踪到的21个手关节的坐标位置,进一步提出了计算手指关节运动角度的方法,并在舵机上进行角度转动复现实验证明。同时,实验证明在计算关节角度方面,所得到的角度与实际角度之间的误差控制在10°以内,并且该方法能够准确实时地反映手部动作。最终,本研究搭建了一个结合识别、检测、分类和跟踪多功能的跨平台实时手势自动跟随系统,可以在单根手指上实现多种功能。