HeliCoach:基于无人机模拟3D音频空间的多通道自适应定向行走训练系统的设计研究

为有效地帮助视障者提高听觉定向能力,设计并实现了一种自适应的定向行走训练系统HeliCoach.HeliCoach是基于掌握学习理论的自适应学习训练系统,主要由3个部分组成:基于无人机物理模拟的3D音频空间、基于UWB(超宽带)定向的能力评估系统和具有触觉反馈的智能腰带作为辅助指导系统(教学脚手架)、当训练者的定向能力评估超过当前的难度级别时,HeliCoach会动态增加任务难度级别.此外,在智能腰带中设计了多级触觉教学脚手架系统,教学脚手架系统的每一级都具有不同的振动模式,可提供不同等级的帮助信息.通过用户实验,评估蒙眼明眼人(模拟刚刚失明,未经过训练的盲人)对HeliCoach的接受度和训练效率,其结果表明,HeliCoach是高效且有趣的,与随机教学脚手架相比,其自适应教学脚手架可以显著地提高训练效率.因此,可以认为,HeliCoach可广泛地应用于多种与3D音频空间相关的定向行走训练任务,更有效地对刚失明不久的盲人进行定向行走训练.

探索虚实融合的教育元宇宙

作为未来教育的重要形态,构建教育元宇宙的关键路径是在线教育和沉浸式教育的融合,而在线教育与线下教育,虚拟空间与实体课堂的融合是完善教育元宇宙的重要过程。本文基于中远距离大幅面AR、VR和体感、手势等自然人机交互技术,设计并构建了四个虚实融合的教学系统,在不给教师和学生穿戴或绑定额外设备的前提下,在教学中提供沉浸互动体验,让数字世界与物理世界有机融合。每个系统在设计时都引入了不同类型的沉浸显示设备,构建适应其显示特点的交互技术,并探索应用到教学场景的最佳实践。