基于无监督深度学习的多模态手术轨迹快速分割方法

传统的手术机器人轨迹分割方法存在耗时长、分割准确度差且容易产生过度分割等问题.为解决上述问题,本文提出了一种基于特征提取网络DCED-Net(密集连接的卷积编码-解码网络)的多模态手术轨迹分割方法.DCED-Net采用无监督方法,不必进行十分耗时的人工标注,使用密集连接结构,使图像信息能更有效地在卷积层间传递,从而提高了特征提取质量.将特征提取后的视频数据和运动学数据投入转移状态聚类(TSC)模型得到预分割结果.为进一步提高分割精度,提出了一种基于轨迹段间相似性的合并后处理算法,通过衡量轨迹段间的4个相似性指标,包括主成分分析、互信息、数据中心距离和动态时间规整,将相似度高的分割段进行迭代合并,从而降低过度分割造成的影响.公开数据集JIGSAWS上的大量实验证明,与经典的轨迹分割聚类方法相比,本文方法的分割准确率最高提升了48.4%,分割速度加快了6倍以上.