基于多级联深度学习处理器的机器人手术器械检测和姿态估计算法研究

目的:为完成器械护士机器人手术器械识别及传递任务,提出一种基于多级联深度学习处理器的手术器械检测和姿态估计算法。方法:提出的多级联深度学习处理器CYSP算法级联了添加坐标注意力模块的YOLOX(YOLOX with coordinate attention block,CA-YOLOX)、分割一切模型(segment anything model,SAM)、主成分分析(principal component analysis,PCA)等功能模组。首先,应用CA-YOLOX进行器械种类识别,完成x、y坐标粗定位;其次,利用SAM分割器明确手术器械在RGB图像中的位置,引入深度信息和相机内部参数获得手术器械点云;最后,对手术器械点云使用PCA算法获得其质心、主方向和法线方向,凭此求解目标坐标系(手术器械质心坐标系)与机械臂基坐标系间的旋转平移(rotation and translation,RT)矩阵,并将该矩阵转换为四元数传递给机械臂控制单元,使机械臂可以到达相应位置拾取器械,完成器械传递任务。在自建的手术器械图像数据集上完成迁移训练并评估提出算法的效果,在七自由度机械臂上进行器械传递实验并评估该算法的成功率。结果:多级联深度学习处理器CYSP算法在手术器械数据集上的识别准确率为98.52%,器械传递实验的成功率为94%,识别平均用时为0.28 s。结论:多级联深度学习处理器CYSP算法具有较好的可靠性和实用性,能有效辅助器械护士机器人完成手术器械识别及传递任务。

基于Tsfresh-RF特征提取的人体步态识别算法

惯性传感器(IMU)由于尺寸小、价格低、精度高以及信息实时性强等优点,在人体运动信息的获取与控制等方面得到广泛应用,但在步态识别的时间序列特征提取和步态环境数据等方面还存在着明显的局限.本文针对人体下肢步态识别特征提取的复杂性及适用性差等问题,提出基于Tsfresh-RF特征提取的人体步态识别新方法.首先,利用IMU获取的人体步态数据集,构建基于Tsfresh时间序列特征提取和随机森林(RF)的人体步态识别算法模型.其次,采用该算法对人体不同传感器位置进行实验,完成爬梯、行走、转弯等9种人体运动步态的识别.最后,实验结果表明所提方法平均分类准确率达到91.0%,显著高于传统的支持向量机(SVM)与朴素贝叶斯(NB)等方法的识别结果.此外,本文所提基于Tsfresh-RF特征提取的人体步态识别算法具有很好的鲁棒性,将为后续下肢外骨骼机器人的控制提供有利依据.