基于深度学习方法的4D毫米波雷达点云人体关键点检测

人体关键点检测是在行为识别、动作捕捉等领域有着重要作用。基于视觉的方法会受光线环境影响,还可能会在室内环境中引发隐私问题,可穿戴设备的方法则不适用于非合作目标。基于此,提出了一种基于4D毫米波雷达点云的人体关键点检测方法,分析了使用毫米波点云进行关键点检测存在的问题。为了解决这些问题,提出了毫米波人体关键点检测(Millimeter Wave Human Pose Detection,mmWPose)系统;为了便于提取点云特征,设计了一种二维化方法用于处理点云数据,可以显著减少模型在特征提取阶段的参数量;为了进行数据标注,运用跨模态监督来训练目标模型;为了增强目标模型的泛化能力,设计了一个域适应模块协助目标模型分辨点云数据中属于环境的特征。实验证明,研究提出的mmWPose系统能够解决毫米波点云存在的问题,实现高精度的人体关键点检测。