基于HoloLens2的混合现实技术在医学影像专业教学中的应用探究

混合现实(MR)技术是一门基于计算机图形学、人工智能、传感技术和人机交互技术等多种学科的综合性技术,该技术将虚拟图像与现实世界相叠加,扩充现实世界,加深用户对于现实世界的认知,便于用户更加形象具体的理解现实世界,MR的应用对医学影像专业教学产生深远影响。本文剖析MR的概念并简述其发展历程,针对医学影像专业教学中存在的问题进行分析阐述,结合微软产品HoloLens2的特点,探究MR在医学影像专业教学中存在问题的解决方案,介绍其在实际教学中取得的成效并展望未来发展趋势。

夜间作战辅助作业中HoloLens2跟踪注册性能提升研究

针对夜间作战辅助作业的迫切需求和HoloLens2在夜间低光照环境中跟踪注册功能失效的现实,并且现有的增强低光照环境下跟踪注册方法没有特别针对HoloLens2开发也并不是真正的夜间低光照环境,提出了使用荧光纹理恢复HoloLens2夜间跟踪注册功能的方法,用于辅助夜战中的辅助作业。首先通过分析HoloLens2的跟踪注册原理,确定了能对HoloLens2跟踪注册产生影响的关键特征为角点;其次测试了HoloLens2在夜间低光照下的跟踪注册性能,确定了HoloLens2能够稳定跟踪注册的最低环境光照度为0.4 Lux;最后设计了不同的纹理,对比了纹理对称性、纹理锐度、轮廓的有无、标记的宽度、特征数量的密度等5种因素对于恢复HoloLens2夜间跟踪注册功能的影响效果,通过分析实验结果,总结出纹理的5条设计原则或建议,用于指导后续的低照度环境项目开发,分别为:不区分对称性;清晰的边缘;拥有包络轮廓;标记像素宽度为10能获得较好的效果;标记宽度相同的前提下,应有尽量多的特征角点。

基于HoloLens2的天然气场站数字孪生系统

针对能源行业发展过程中面临的健康安全和环境风险问题,以及场站数据展示形式的有限性,设计并实现基于HoloLens2的天然气场站数字孪生系统。HoloLens2头戴式设备采用先进混合现实技术,因其灵活性及支持虚拟模型交互等功能被用于用户界面的设计。系统运用模型库技术,对现场设备进行高精度建模与分类。通过数据管理模块存储传输生产区和控制系统的实时数据,并对机密数据增加访问权限以保证安全性。采用分布式流媒体渲染技术实现并行计算传输视频流,解决HoloLens2性能受限的问题。

基于HoloLens2的DEM空间分析实验教学混合现实环境研究

为提高DEM空间分析的教学效果,跨越地形实体和DEM空间数据之间的认知差异,提升对空间分析和可视化方法的理解深度,利用混合现实技术自然的交互方式以及对于3D模型良好的可视化功能,将DEM空间分析的实验教学内容融入混合现实交互环境,设计了混合现实实验环境,其中包括DEM模型、虚拟面板、手势交互、剖面分析、通视分析、光照分析等空间分析功能。在HoloLens2真机上利用其环境感知、全息显示和交互接口进行实验验证,实现了实验教学内容的视听同步和实时沉浸。

基于HoloLens2的目标检测技术研究

利用深度学习的目标检测技术与混合现实结合的方法,旨在帮助穿戴Microsoft HoloLens2设备的用户对真实世界的物体对象进行实时高效的检测,得到物体对象的位置,还能够识别目标,得到目标的分类信息及其所属类别的置信度。同时,利用HoloLens2的增强现实信息能够更加直观地看到检测信息,摆脱传统的人机交互方式,达到虚实交互的目的。实验结果表明,该系统能够较快地计算目标检测信息,具有较高的识别准确率。

工业机器人教学实训平台的AR可视化应用设计

工业机器人教学实训平台运行机理较为复杂抽象,学生无法在有限的实训时间内完全理解平台整体运行机理,难以安全高效地完成实训任务。针对上述问题,提出以多层次架构设计实训平台AR可视化应用,在Unity3D中实现原型系统开发。通过KEPServerEX获取多源设备数据,以标志物注册配合空间锚点技术实现平台模型的跟踪注册。在Holo Lens2设备上将平台结构信息、运行状态以及操作指引等内容实现AR可视化,学生可通过手势、视点等多元手段获悉平台状态与实训指引。实践表明,工业机器人教学实训平台AR可视化应用能帮助学生把控平台运行状态,安全高效地完成实训任务。

基于MR技术的计算机组装系统设计与实现

使用HoloLens2头盔和混合现实插件Mixed Reality Feature Tool开发出一款计算机组装混合现实交互应用。通过HoloLens2凝视、手部跟踪、UX构建基块、语音和听写系统、眼部跟踪等进行输入交互,并配合Unity3D中的Animation系统与UGUI系统,最终实现混合现实虚拟交互。Unity3D工程导出UWP,并生成VS工程,然后部署到HoloLens2中进行测试。测试结果表明,该系统实现了计算机组装的相关交互功能。研究为计算机组装的虚拟操作提供了一种混合现实解决方案。

增强现实注册方法在胶质瘤手术中的应用评估

在胶质瘤切除手术中,医生不可避免地需要频繁移动或转动头部来观察手术区域。为评估基于增强现实技术的导航系统在胶质瘤手术中的定位精度,提出基于多个图像目标的三维注册方法。测试者佩戴HoloLens2,将其3D虚拟模型叠加在真实的头部模型上,从不同观测角度分别测量头皮和胶质瘤上基准标记点的虚实空间坐标。将所提方法与传统的基于交互式无标识的注册方法进行比较,分析两种方法在不同观测角度下对定位精度的影响。结果表明,基于多个图像目标注册方法的头皮平均定位误差、胶质瘤平均定位误差分别为(2.20±0.59)mm、(2.10±0.72)mm;基于交互式无标识注册方法的头皮平均定位误差、胶质瘤平均定位误差分别为(4.52±1.77)mm、(4.43±1.69) mm,前者定位精度更高。基于多个图像目标的三维注册方法可为增强现实系统应用于神经肿瘤学提供参考。

基于HoloLens的江豚科普系统设计与研究

长江江豚科普教育是长江江豚保护的重要内容,本研究聚焦长江江豚的科普教育,采用HoloLens混合现实技术,设计并构建了一套长江江豚科普系统。系统由三大核心模块构成:江豚知识科普、江豚结构科普、江豚主题游戏。系统综合运用了三维建模、Unity 3D交互技术和混合现实技术,打造了一个既具有高度互动性又充满沉浸感的江豚科普教育平台。以HoloLens 2作为主要展示工具,本系统成功实现了一种混合现实的交互体验。对20名大学生的使用情况的分析结果表明:基于混合现实技术的科普方法能显著提升学习效果,且具有较高的用户体验评价。

基于混合现实的自行火炮维修指导系统

针对自行火炮现场维修过程中存在的维修知识获取不直观、维修操作不当易造成二次损伤、专家亲临指导不及时等难题,设计了一种基于混合现实技术的自行火炮维修指导系统。分析建立了系统实现的整体框架、运行机制,研究了虚实坐标同一化表达、三维注册融合、环境感知运动追踪和虚实遮挡处理等关键技术,实现了虚实维修空间的几何一致性。最后通过设计搭建的自行火炮混合现实辅助维修指导系统,结合传动装置齿轮箱故障维修实例验证了系统空间锚定、辅助维修、远程指导等关键功能技术可行性,实现了现场维修的实时指导,提升了维修效率。

遥感卫星成像的HoloLen2混合现实教学设计与实践

针对遥感卫星成像教学内容的特点,以及现有教学手段的不足,基于微软HoloLens2头戴式MR设备,将遥感卫星轨道和成像原理等课程知识点融入到混合现实环境中。设计了遥感卫星成像教学内容,混合现实环境开发,以及MR课堂教学实践。在混合现实技术的支持下,遥感课程教学强化了遥感卫星成像的重难点知识,HoloLens2混合现实技术在实际的教学过程中得到学生的认可,有效地提高了遥感卫星成像的教学效果。

基于混合现实的安全应急实训平台开发与应用

安全应急实训课程基于虚拟现实的实训系统存在场景复现不真、虚实融合不深,缺少相关真实场景火灾发展的规律演变等问题。基于此,对相关场景进行数字建模,结合化工车间火灾场景模拟计算推演,提出了基于Bim-Pyrosim-Unity 3D的混合现实开发技术,创建了混合现实应急实训平台,在HoloLens2上进行部署实验,取得了较好效果。

快速性心律失常消融手术的增强现实导航系统

为了提高传统快速性心律失常消融手术成功率、缩短手术时间以及加强临床培训,设计一种新型的数据传输方案和三维跟踪方案,利用HoloLens2、MRTK API、ZeroMQ以及磁定位和Vuforia的混合跟踪技术,开发快速性心律失常消融手术的增强现实导航系统。模型显示效果测试、数据传输性能测试以及三维跟踪注册精度测试实验证明了该手术导航系统的可用性,通过模型显示帧率、数据传输延迟率和丢包率以及三维跟踪注册误差值等指标进行评估。实验结果表明,当模型的三角面数量小于15k时,模型的显示帧率主要分布在50~60FPS,占总比例的78%,且实时传输数据可以保证数据不丢失且整体延迟低于1ms。在保证手术效果和安全的情况下,尽可能减小各因素影响(识别图位置、识别图大小、观察角度、观察距离和导管移动速度),确定最佳实践方案,最小误差为1.17mm。

疫情背景下MR旅游项目发展的思考

疫情期间,人们虽然停住了自己的脚步,但心却依然渴望着远方。文章基于社会实际需求所带来的行业发展机遇,对介导现实MR技术在旅游行业中的应用进行论证,从MR技术的发展、MR技术在旅游产业中的应用、MR技术对传统旅游模式的影响等方面对依靠MR技术发展的旅游项目做出分析,以期对未来我国旅游行业的转型提出一些思考。

AR引导放疗摆位关键技术的应用评估

为实现患者无体表物理标记、还原患者定位时的姿态,本研究开发了适用于HoloLens2的AR引导放疗摆位系统,研究了AR系统中的三维配准原理;并对识别图尺寸大小对三维注册误差的影响做了对比测试。利用前指针和激光测距仪测量以识别图为原点的加速器等中心的坐标,使用肺部模体进行测试,以测试时间和主观问卷量表作为评价指标。8 cm×8 cm识别图的三维注册误差最小,为(4.45±0.23)mm;传统摆位花费的时间为(2.10±0.12)min,而AR引导放疗摆位花费的时间为(2.34±0.43)min(P<0.05)。AR引导放疗摆位在易学性、系统复杂度、全息投影清晰度三个方面的评分优于传统放疗摆位。

增强现实技术在安检设备展示上的应用研究

增强现实技术为产品展示提供了一条全新的途径,带给观看者更好的视觉效果。本文以安检设备的展示为目标,完成了实现增强现实软件和硬件两个方面的需求分析和选择。通过使用PTC公司Creo和Vuforia Studio软件及微软公司的HoloLens2眼镜实现了安检设备增强现实展示的研究与应用。

Study on Virtual Assembly for Satellite Based on Augmented Reality

Assembly activities are a very important part of the production processof large and complex equipment. In order to solve the huge resource problemof large and complex equipment assembly process, this paper proposes a virtualassembly for satellite.Microsoft’s latest holographic glasses HoloLens2 is used asa display facility, and Unity3D is applied to develop a satellite part assembly scenebased on augmented reality (AR) technology. Voice input and gaze in the MixedReality Toolkit (MRTK), provided by Microsoft, are adopted in the developmentscenario to enable users to interact with virtual models in a more natural way.Finally, the development scenario has been tested in a small space. The resultsshow its validity and good performance.