使用骨盆X光片诊断发育性髋关节发育不良(Developmental Dysplasia of the Hip,DDH)要求准确地标注髋关节关键点,而深度学习方法能作为可靠的辅助工具。针对骨盆片拍摄姿势和拍摄距离多样化问题,本文基于U-Net提出了RKD-UNet来检测髋关...使用骨盆X光片诊断发育性髋关节发育不良(Developmental Dysplasia of the Hip,DDH)要求准确地标注髋关节关键点,而深度学习方法能作为可靠的辅助工具。针对骨盆片拍摄姿势和拍摄距离多样化问题,本文基于U-Net提出了RKD-UNet来检测髋关节关键点。该模型使用残差块改进U-Net的卷积层和skip-connection路径,并将坐标注意力引入到编码器中以增强模型对关键点邻域的特征提取能力。在编码器顶部使用卷积和ASPP模块构成Bridge块,以[3,6,9]的空洞率融合不同尺度的特征信息并提升模型的感受野。本文使用包含骨盆正位片、蛙位片、下肢全长片和术后骨盆片的数据集训练和测试模型。RKD-UNet实现了3.19±2.19 px的平均关键点检测误差和2.83°±2.59°的平均髋臼角测量误差。对正常、轻度、中度和重度脱位案例诊断的F1分数分别达到89.6、77.1、57.9和94.1,高于医生的手动诊断结果。实验结果表明,RKD-UNet能准确检测髋关节关键点并辅助医生诊断DDH。展开更多
人体关键点检测是在行为识别、动作捕捉等领域有着重要作用。基于视觉的方法会受光线环境影响,还可能会在室内环境中引发隐私问题,可穿戴设备的方法则不适用于非合作目标。基于此,提出了一种基于4D毫米波雷达点云的人体关键点检测方法,...人体关键点检测是在行为识别、动作捕捉等领域有着重要作用。基于视觉的方法会受光线环境影响,还可能会在室内环境中引发隐私问题,可穿戴设备的方法则不适用于非合作目标。基于此,提出了一种基于4D毫米波雷达点云的人体关键点检测方法,分析了使用毫米波点云进行关键点检测存在的问题。为了解决这些问题,提出了毫米波人体关键点检测(Millimeter Wave Human Pose Detection,mmWPose)系统;为了便于提取点云特征,设计了一种二维化方法用于处理点云数据,可以显著减少模型在特征提取阶段的参数量;为了进行数据标注,运用跨模态监督来训练目标模型;为了增强目标模型的泛化能力,设计了一个域适应模块协助目标模型分辨点云数据中属于环境的特征。实验证明,研究提出的mmWPose系统能够解决毫米波点云存在的问题,实现高精度的人体关键点检测。展开更多
文摘使用骨盆X光片诊断发育性髋关节发育不良(Developmental Dysplasia of the Hip,DDH)要求准确地标注髋关节关键点,而深度学习方法能作为可靠的辅助工具。针对骨盆片拍摄姿势和拍摄距离多样化问题,本文基于U-Net提出了RKD-UNet来检测髋关节关键点。该模型使用残差块改进U-Net的卷积层和skip-connection路径,并将坐标注意力引入到编码器中以增强模型对关键点邻域的特征提取能力。在编码器顶部使用卷积和ASPP模块构成Bridge块,以[3,6,9]的空洞率融合不同尺度的特征信息并提升模型的感受野。本文使用包含骨盆正位片、蛙位片、下肢全长片和术后骨盆片的数据集训练和测试模型。RKD-UNet实现了3.19±2.19 px的平均关键点检测误差和2.83°±2.59°的平均髋臼角测量误差。对正常、轻度、中度和重度脱位案例诊断的F1分数分别达到89.6、77.1、57.9和94.1,高于医生的手动诊断结果。实验结果表明,RKD-UNet能准确检测髋关节关键点并辅助医生诊断DDH。
文摘人体关键点检测是在行为识别、动作捕捉等领域有着重要作用。基于视觉的方法会受光线环境影响,还可能会在室内环境中引发隐私问题,可穿戴设备的方法则不适用于非合作目标。基于此,提出了一种基于4D毫米波雷达点云的人体关键点检测方法,分析了使用毫米波点云进行关键点检测存在的问题。为了解决这些问题,提出了毫米波人体关键点检测(Millimeter Wave Human Pose Detection,mmWPose)系统;为了便于提取点云特征,设计了一种二维化方法用于处理点云数据,可以显著减少模型在特征提取阶段的参数量;为了进行数据标注,运用跨模态监督来训练目标模型;为了增强目标模型的泛化能力,设计了一个域适应模块协助目标模型分辨点云数据中属于环境的特征。实验证明,研究提出的mmWPose系统能够解决毫米波点云存在的问题,实现高精度的人体关键点检测。