混合现实技术在椎体成形治疗中的应用

背景:如何提高椎体成形术中穿刺的精准性、减少手术损伤、提高手术效率是目前椎体成形治疗技术探索和改进的焦点之一。目的:探讨混合现实临床设计方案在脊柱骨折经皮椎体成形过程中应用的临床意义。方法:选择2023年6月大连市第二人民医院收治的2例脊柱骨质疏松性腰椎椎体压缩骨折患者,患者术前行腰椎128排CT扫描并获得医学数字成像和通信原始数据,Visual Volume软件构建脊柱压缩性骨折三维网络模型。运用全息影像眼镜将三维网络模型影像精确映射于真实世界,协助术者完成术前模拟、术前病情及治疗方案阐述,以及术中引导穿刺及骨水泥注射。结果与结论:①在混合现实临床设计方案辅助下可实现经皮椎体成形治疗的精准穿刺,术后影像学检查示骨水泥充填良好、无明显渗漏,术后患者症状缓解良好,术后当天即可下地活动;②提示混合现实临床设计方案有助于术者术前进行完善的手术设计、提高与患者及家属的沟通效率;术中协助精准穿刺、缩短手术时间、减少副损伤,是一种新的有效的临床诊疗模式,在脊柱外科微创化、精准化、个性化的治疗中具有发展潜力。

混合现实技术在口腔颌面部肿瘤诊疗中的应用

口腔颌面部肿瘤是口腔颌面外科的常见疾病,以虚拟手术设计、手术导航为代表的数字化外科技术目前已成为口腔颌面部肿瘤外科诊治的主要辅助手段。然而,现有的数字化技术在三维可视化成像、术中手眼配合等方面仍存在提升空间。目前,以混合现实技术为代表的三维可视化技术已经在医学领域迅速发展和应用,通过将三维虚拟图像叠加到真实的手术环境中,可辅助实现医学影像实时立体呈现,已逐步应用于口腔颌面部肿瘤的诊治中。术前可基于影像数据构建肿瘤及其周边重要结构三维模型,在混合现实环境中,进行个性化术前评估和手术方案设计;术中将混合现实技术与手术导航技术相结合,可以在术区真实环境中实时显示三维虚拟模型,克服单纯使用导航技术的手眼协调问题,进一步提高口腔颌面部肿瘤手术的精确性和安全性。混合现实技术与远程互联网医疗技术相结合,还可以提供高质量的教学平台,推动地区口腔颌面外科诊疗水平的发展。混合现实技术的局限性主要在于术区影像遮挡、单纯使用时精度不足、配准时间长等。笔者结合国内外文献报道以及本课题组的临床实践,对混合现实技术在口腔颌面部肿瘤诊疗中的应用进行归纳与总结。

论混合现实对实景体验的增强与重构

混合现实技术有效地将人们的想象空间外化为虚拟信息,再将这些虚拟信息和人类生活的真实场景用一种匹配于人类感官渠道的方法进行融合,从而对真实世界的场景呈现起到了或增强或重构的效果,并引导观者理解和探索虚拟与现实结合的现场,建构出全新的审美体验。混合现实视阈下的物理界、精神界与概念界缠绕共生形成的多维混合构成体,为卡尔·波普尔的“三个世界”理论提供了新的视角和理解框架。

基于混合现实技术的直观教学在骨科临床实践教学中的应用研究

近年来,伴随着5G技术的飞速发展和广泛应用,混合现实技术(mixed reality,MR)逐步试用于多项临床实践教学,特别是在骨科手术操作及临床教学中被更多地应用。由于骨科学科的特殊性、骨骼及其组织解剖的复杂性以及骨科病种的多样性,传统教学模式下学生难以直观全面地掌握知识技能。而越来越多的证据表明,MR技术能够增强教学的互动性及沉浸感,有利于提升学生的学习兴趣,更丰富全面地展开知识点。文章基于MR技术在骨科临床实践教学的应用,对MR技术在实际应用中的优势和局限展开讨论。

依托移动混合现实教育可供性的继续教育学习空间重构

受继续教育重心变迁和公共卫生危机蔓延的深刻影响,继续教育发展面临学习时空受限、实体操作匮乏、培训实境缺失等因素的制约,寻求课堂、网络和现场之外的第四维学习空间成为继续教育模式改革的重要方向。作为移动终端和混合现实技术(MR)的融合体,移动混合现实技术(MMR)具有高度的原真性、沉浸性、交互性和泛在性等重要属性,因而具有构建多种新型学习空间,甚至替代实境的潜能。充分解析继续教育发展动态和MR优势与不足,挖掘MMR教育可供性与继续教育学习空间重构的聚合点,以情境化学习理论和联结主义理论为理据,尝试为继续教育学员构建一种贴近实境的第四维继续教育学习空间,促使继续教育从传统模式向深度混合模式转变。

混合现实场景下结合SSVEP与眼动追踪的脑控机械臂系统

针对混合现实场景下脑控机械臂系统交互性差、指令集小的问题,设计了一种结合稳态视觉诱发电位(SSVEP)和眼动追踪技术的混合现实脑控机械臂系统。该系统通过眼动追踪技术实现目标区域的初选,而SSVEP信号则被用于在初选区域内识别最终的目标指令。在不增加刺激类别数量的前提下扩大了指令集,并根据受试者的视线停留区域实现异步控制。离线实验结果表明,在使用相同刺激类别数量的情况下,增加视觉刺激目标数量不会对分类准确率产生显著影响。通过在线实验验证了系统的适用性,相较于使用单一SSVEP范式的机械臂控制系统,所提出的系统具有更好的交互性和更大的指令集。

混合现实中基于GPU虚拟化的AI计算优化

研究探讨混合现实(MR)应用中,通过GPU虚拟化优化AI计算,聚焦于多任务调度与资源共享。研究提出了一个模型,其包含一种根据任务优先级、资源需求和等待时间,动态为正在执行的任务分配GPU资源的机制。同时,模型采用优化的多任务调度算法,以提高调度效率。实验结果表明,尽管在单任务性能测试中模型的执行时间、GPU利用率和内存使用方面略逊于物理GPU,但在多任务并发和资源共享方面,研究提出的模型展现了显著优势。未来研究将探索设计更公平高效的资源共享策略,以及进一步优化多任务调度算法。

基于MR混合现实的足球机器人目标跟踪仿真

机器人跟踪足球时,由于目标具有较强的运动随机性,且较小的目标尺度增大了跟踪框的自适应跟踪难度,目标跟踪时会将很多背景信息包含在内,导致目标模型的更新错误。为此,提出基于MR混合现实的足球机器人目标跟踪方法。构建MR混合现实平台,令足球机器人在虚拟现实场景下完成人机交互,在保证目标跟踪安全性的同时提升目标跟踪性能;采用帧差法获取目标模型,利用投影法对二值图像投影,并对差分图像滤波,以此获取足球机器人在目标模板区域及候选目标区域中的直方图。基于此,更新足球机器人目标模型,实现基于MR混合现实的足球机器人目标跟踪。实验结果表明,当跟踪误差阈值为0.8mm时,研究方法的目标跟踪准确率和成功率均可达95%以上,平均耗时为55.17ms。当足球目标出现遮挡问题时,该方法仍能完成高精度跟踪。

混合现实技术在神经外科专业学位研究生临床操作实践能力培养中的应用

目的探讨混合现实技术(mixed reality,MR)在培养神经外科专业学位研究生临床实践能力中的应用效果。方法采用混合现实技术更加高效地将住院医师规范化培训和专业学位研究生这两种培育模式结合起来,提高专业学位研究生的理论知识体系及临床操作实践能力。结果所有应届专业学位研究生均获得毕业证、学位证、执业医师资格证及住院医师规范化培训证书,通过率达到100%;同时其临床实践能力、临床科研能力有效提高率均达80%以上,医学人文素养、医患沟通能力、医德医风均得到明显提升。结论将住院医师规范化培训与专业学位研究生培训相结合,利用混合现实技术可在保证研究生人文素质培养的情况下,提高其临床操作实践能力。

基于混合现实技术的博物馆导览眼镜设计

为探究如何借助混合现实技术在博物馆导览中提升游客体验的设计策略,文章通过调研MR眼镜在博物馆导览系统中的应用案例,对存在的问题进行归类分析,深入剖析MR眼镜功能特点、应用优势,依据用户阶段认知过程总结机会点转化成设计思路。从设计层次化角度提出了完善软硬件系统的感官体验、优化多模态交互反馈、精准复现历史文化内涵、提升展览主题情感关联的设计策略。混合现实技术在博物馆导览中的应用突破了传统展览的信息传达形式,不仅能让观众深层次感知体验,还为博物馆导览创新提供了思路和方法。

基于混合现实技术的影视思维能力培养策略

当前,混合现实技术为影视思维能力培养开辟了全新的视角,提供了切实可行的实践手段,丰富了学生的认知,推动了学生的影视思维能力的发展。文章从感知、情境、认知维度出发,探究基于混合现实技术的影视思维能力培养策略。在感知维度,教师可以利用混合现实技术,模拟真实的视听效果,增强学生对影视语言、音效和主题的理解与把握,提升学生的审美能力。在情境维度,教师可以利用混合现实技术,模拟情境,鼓励学生互动参与和创新,让学生深入影视作品的情境,激发学生的批判性思维和创造性想象力。在认知维度,教师可以利用混合现实技术,深化学生对视听语言的理解与应用,强化学生的叙事逻辑与创意构思,增强学生的情感共鸣与文化认知。可见,混合现实技术应用于影视思维能力培养,不仅丰富学生的认知过程,而且在提升学生的审美能力、激发学生的批判性思维和创造性想象力、深化学生对视听语言的理解等方面都具有显著优势。因此,混合现实技术在影视教育领域的应用具有广阔的发展前景和重要的实践价值。

基于混合现实的应急遥操作机器人系统的研究

为了避免灾害救援人员在救援过程中受到伤害,本文提出一种基于混合现实头盔的应急遥操作机器人系统。系统包含三个模块,在混合现实模块中设计了混合现实人机交互界面以及可交互的机器人的数字孪生体;在现场机器人模块中配置麦轮差速底盘车,应用英伟达的Jetson Xavier NX开发者套件控制机器人的运动,并利用搭配有自适应夹爪的机械臂抓取目标对象;在云服务器模块中提供了数据的中转平台,利用自定义数据协议实时传输控制指令。实验结果表明,该系统的硬件设备轻便,能够充分利用操作人员经验与智慧,可以提高救援效率,保障救援人员的安全,从而进一步避免人员伤亡。

基于混合现实技术的船舶机舱集中操控试验装置设计与实现

文章提出一种基于混合现实(MR)的船舶机舱设备集中操控试验装置和管控方法,即时收集船舶机舱内数据,针对收集的数据建立数学模型,模拟舱内三维场景,从而对舱内设备实施控制。研究了基于MR的船舶机舱设备集中操控系统设计方案和方法,应用Faster R-CNN目标检测网络深度学习的船舶机舱设备状态指示识别框架与算法。从MR机舱设备集中操控流程、构建机舱三维模型及其优化、集中操控方法及其实操训练等环节的迭代研发,完成了MR机舱设备集中操控功能的测试验证。将混合现实技术应用于轮机设备操作、机舱资源管理等实践实训教学中,增强了船舱空间分析和可视化的交互效果。

混合现实技术在图书馆中的应用探讨

当前,图书馆海量实体馆藏的不断增加使馆舍空间日趋紧张,此外,传统读者服务模式也难以适应读者差异化、多元化的文化需求。随着图书馆建设水平的提升,混合现实技术开始逐渐走进人们视野,该技术将虚拟与现实的交互提升到新的层次,未来或能改善图书馆物理空间不足之处,也能够让读者在导读、阅览以及个性化定制等方面得到更好的体验。因此,探讨混合现实技术在图书馆中的应用,对于今后我国图书馆建设发展有重要的意义。

混合现实技术在青少年神经源性膀胱患者健康教育中的应用

目的探讨基于混合现实技术的液体管理健康教育在青少年神经源性膀胱患者中的应用效果。方法将80例青少年神经源性膀胱患者随机分为干预组和对照组各40例。对照组使用宣教册进行常规液体管理健康教育,干预组采用混合现实技术进行液体管理健康教育。比较两组液体管理依从性、自我管理水平、出院后2个月内泌尿系感染发生率及患者监护人满意度。结果干预后,干预组液体管理依从性、自我管理得分及患者监护人满意度显著高于对照组(均P<0.05);干预组出院后2个月内泌尿系感染发生率为20.00%,较对照组低(27.50%),但差异无统计学意义(P>0.05)。结论基于混合现实技术的健康教育有助于改善青少年神经源性膀胱患者健康相关行为和提高监护人的满意度,相对减少出院2个月内泌尿系感染。

基于神经辐射场算法的混合现实三维重建技术

针对目前在混合现实(MR)环境中高效率建立高质量三维(3D)模型的需求,基于神经辐射场算法(NeRF)的三维重建技术,提出了一种基于Laplacian算子的数据集优化算法。首先,围绕某线切割设备录制了一段1 min 51 s的视频,并采取等距提取视频帧的方式,获取了训练数据集;然后,使用Laplacian算子对数据集进行了优化,同时保留了原始数据集作为对比,使用了基于NeRF算法的重建方式与传统的基于COLMAP的稠密点云重建方式,分别对两组数据集进行了三维重建;最后,在重建精度与重建速度方面,对不同重建方式、不同重建数据集的重建结果进行了比较。研究结果表明:COLMAP稠密点云重建耗时是基于NeRF重建耗时的9.98倍,而相较于COLMAP稠密点云重建,使用NeRF重建方式的模型表面缺陷较少;此外,使用Laplacian算子优化的数据集的NeRF重建在峰值信噪比(PSNR)和结构相似性(SSIM)指标上分别提升了2.43%、0.72%,有利于提升重建模型的质量。研究结果支持混合现实技术在制造业数字化转型中的应用,可为其提供有益的参考。

人工智能混合现实技术在特殊类型复杂性上尿路结石经皮肾镜手术规划中的应用

目的 评价人工智能混合现实技术(AI-MR)在规划特殊类型的复杂性上尿路结石行超声引导下经皮肾镜碎石术(PCNL)中的应用价值。方法 该项目为前瞻性单中心单臂临床研究,纳入2022年8月—2023年5月于清华大学附属北京清华长庚医院收治的行超声引导下PCNL的15例特殊类型复杂性上尿路结石患者,其中男性9例、女性6例,包括盆腔异位肾结石3例、马蹄肾结石5例、脊柱畸形合并肾结石3例、移植肾结石4例。基于患者术前计算机断层扫描尿路造影(CTU)数据进行数字三维重建,并使用AI-MR在真实空间中投射手术相关的三维影像,获得术区的“透视化”信息,从而进行术前设计与规划,内容主要包括目标肾盏、通道数目及辅助措施。并对目标肾盏及通道数的符合度、一期净石率、总手术时间、主皮肾通道建立时间、血红蛋白下降量、手术并发症、术后住院时间等情况进行分析。结果 15例患者均使用AI-MR进行术前规划,顺利完成一期超声引导下PCNL。基于术前规划,我们采用了单一标准通道经皮肾镜碎石术(S-PCNL)以及S-PCNL联合针状肾镜(Needle-perc)或顺/逆行输尿管软镜(FURS)的手术方式,其中4例患者行单通道S-PCNL,3例行多通道S-PCNL,8例行S-PCNL联合Needle-perc或FURS。目标肾盏及通道数术前规划和术中实施的符合率为86.7%,一期净石率80.0%,平均主皮肾通道建立时间(2.3±0.3)min、平均总手术时间(61.5±12.2)min、血红蛋白下降值(9.6±1.2)g/L,平均术后住院时间(4.6±0.5)d。无输血、脏器损伤和尿源性脓毒症等Clavien-Dindo≥Ⅱ级并发症发生。结论 AI-MR可量化分析特殊类型复杂性上尿路结石患者的术前影像数据,实现术区三维透视化效果,利于制定手术方案,优化穿刺路径,有效规避周围脏器损伤风险,达到减少并发症、缩短治疗周期以及提高一期净石率的效果。

基于HoloLens2的混合现实技术在医学影像专业教学中的应用探究

混合现实(MR)技术是一门基于计算机图形学、人工智能、传感技术和人机交互技术等多种学科的综合性技术,该技术将虚拟图像与现实世界相叠加,扩充现实世界,加深用户对于现实世界的认知,便于用户更加形象具体的理解现实世界,MR的应用对医学影像专业教学产生深远影响。本文剖析MR的概念并简述其发展历程,针对医学影像专业教学中存在的问题进行分析阐述,结合微软产品HoloLens2的特点,探究MR在医学影像专业教学中存在问题的解决方案,介绍其在实际教学中取得的成效并展望未来发展趋势。

混合现实技术在重症医学理论和实践教学中的应用与展望

重症医学是一门对知识、技能以及团队合作和沟通能力要求极高,专门从事危重病症诊疗的学科。然而,重症患者病情复杂且变化快速,常规面授等教学方法存在一定的局限性。虚拟现实(VR)和增强现实(AR)作为新兴的教学方式,能提供一定的模拟教学环境,但无法实现与真实世界的深度交互,教学效果受限。混合现实(MR)是结合了VR和AR特性的一种新技术,能对虚拟世界与真实世界无缝对接,提供一种沉浸式、互动性强的学习体验。目前,MR在医学领域已有初步探索,但在重症医学领域的应用仍处于起步阶段。因此,本文旨在探讨MR的特性和形成,以及在重症医学教学中的应用和潜在价值。

基于混合现实技术的交互式教学应用研究——以中华毽课程为例

将混合现实(Mixed reality,MR)技术应用于中华毽体育教学实现了教师动作的数字化展示、多角度示范、虚拟互动训练等功能,初步解决了视频透视技术、光学动作捕捉技术、数字人技术等在数字教学系统中的应用问题。MR用户界面和视觉效果被显著地优化,学习者佩戴MR设备,可在虚实融合空间内近距离观察和模仿标准动作,体验踢毽乐趣。MR系统存在的环境光匹配、姿态和触觉问题将进一步解决。MR技术成功应用于中华毽教学将显著提高教学效果,也适合于其他类传统体育项目的普及和推广。