基于特征分离的复杂环境三维手部姿态估计算法研究

基于视觉的三维手部姿态估计是实现人机交互的重要技术手段。目前,视觉手部姿态估计算法易受光照变化、遮挡和环境噪声等复杂环境因素干扰,导致模型的鲁棒性无法得到保障。这些多变的环境因素使得传统的深度学习方法在真实场景中难以取得令人满意的结果。针对这一难题,本文提出了一种基于特征分离的手部姿态估计算法,通过对手部图像中的关键特征进行精炼来提升模型在不同环境中的鲁棒性。首先,对编码器进行基于频域增强的预训练,从而减少环境噪声对于底层视觉特征提取的影响;其次,在解码阶段提出了一种用于分离因果特征和非因果特征的双分支结构,通过减少非因果特征对于姿态估计任务的影响以提高模型应对复杂环境的能力;最后,通过融合全局姿态信息和局部关节信息,实现了不同尺度的统一优化,并基于两个公开数据集的定量分析和定性分析,验证了本文所提出方法的准确性和鲁棒性。