基于深度相机的咽拭子机器人采样系统研究

本文提出一个基于深度相机的咽拭子采样系统。首先,基于Mujoco仿真平台搭建了一套机械臂协作平台。基于此仿真平台,构建了一套视觉检测系统,用来准确获取口腔的位姿信息,并提出了两个视觉优化算法。一是基于关键点检测,提出一种防抖算法,其利用前后帧信息的差分滤波,用来克服口腔位姿估计过程中因噪声和干扰而导致的抖动问题;其二是基于非刚体的法向估计算法,其融合面部关键点信息和先验面部三维信息进行PnP估计面部法向量。最后,基于获得的鲁棒关键点信息和姿态信息完成了对采样信息的映射,为后续咽拭子采样机器人高效、安全地使用机械臂完成采样任务提供条件。实验表明,基于所提视觉检测系统可以准确、稳定的完成机械臂采样任务,在保证实时检测准确率的基础上能够有效去抖,在非限定环境下具有更高的鲁棒性和稳定性。