混合现实技术与医学影像结合在临床手术中的应用

微创手术是一种通过小切口或穿刺来进行的外科手术,可减少患者的疼痛,缩短恢复时间并减少术后风险。在临床基于传统医学影像设备导航的微创手术中,存在着解剖结构不清晰、实时性不足,高度依赖医生的手眼协调能力和经验等问题。近年来随着混合现实(Mixed reality,MR)技术的发展,将其赋能于传统医学影像设备,可提高临床手术穿刺的准确性和安全性,同时减少手术中不必要的侵入和创伤,提高手术的成功率和患者的治疗效果。本文结合近年来国内外的研究文献,从MR在医学影像应用过程中所需的关键技术、方式方法和在各微创手术中产生的影响和帮助进行综述。文献复习结果表明,虚实匹配是MR应用中至关重要技术,大部分需依靠识别标志物并基于特征点匹配。MR与CT结合大多为静态虚实匹配,重建出患者三维模型后和真实人体匹配,可减少辐射剂量。MR与超声结合的静态匹配多为利用MR简单投影超声图像,解决手眼协调问题;动态匹配可在此基础上改善成像效果不好,难以捕捉针尖等问题。这些结果表明MR在外科手术导航上是一个具有光明前景的技术和方向。

基于混合现实技术的超声影像传输系统

目的:开发一种以头戴式眼镜(Helmet-mounted displays,HMD)为显示方式的混合现实超声影像传输系统(Mixed reality ultrasound in helmet-mounted displays,MRUS-HMD)并探讨其可行性。方法:测试产品技术参数,包括图像分辨率、传输帧率和传输延迟,通过系统可用性量表(System usability scale,SUS)评估产品系统可用性。志愿者被分为初学者组和有经验者组,利用猪肉制作穿刺模型进行MRUS-HMD、传统正视超声和传统斜视超声穿刺实验。收集穿刺时间评价脑力负荷,通过口头会话和半结构化访谈分析用户体验。结果:图像分辨率可达到600×800,传输帧率为30 FPS,传输延迟平均(73.69±14.56)ms。SUS评分为72.33分。初学者组使用MRUS-HMD对比两种传统方式,穿刺时间缩短(MRUS-HMD vs正视P=0.022;MRUS-HMD vs斜视P=0.002),初学者和有经验者使用MRUS-HMD对比传统斜视超声下都可减少脑力负荷(初学者P=0.050;有经验者P=0.012)。结论:初步证明了基于混合现实技术的超声影像传输的可行性,可在部分情况下帮助操作者减少穿刺时间和脑力负荷。