MTBuilder:一个多触点交互桌面界面工具

针对基于WIMP范式的图形用户界面工具不能解决多触点交互桌面的多指手势识别、界面组件朝向等问题,提出基于自然用户界面通用隐喻OCGM(objects,containers,gestures and manipulations)的多触点交互桌面界面工具箱——MTBuilder.首先用层次化多触点数据表示模型存储多触点数据,然后对多指手势识别器进行动态管理以加速识别处理,最后基于OCGM设计并实现界面组件库.通过多人信息浏览、城市规划等原型系统的开发和实验评估可以看出,MTBuilder能够为交互桌面界面构造与快速原型系统开发提供强有力的支持.

基于虚拟现实的多媒体交互设计浅析

随着社会需求的发展,多媒体作品的交互设计成为关注的热点,而强调沉浸、体验的虚拟现实互动则成为热点中的热点。虚拟博物馆、虚拟操作台、体感游戏等多种虚拟互动多媒体系统给社会展现了虚拟现实技术广泛的应用范围和广阔的发展前景。同时也为多媒体交互设计的发展给出了更多的方向性想象空间。

基于数字化音乐课堂教学系统设计与实现

数字化音乐课堂教学系统的设计应以音乐课堂教学特点为依据,完成了针对音乐课堂教学系统的设计与实现.根据目前音乐课堂教学的现状,以常用的音乐教学软件为基础,结合实际音乐课堂教学的自身特点,完成了对数字化音乐课堂教学系统的总体结构设计.系统由虚拟钢琴、乐谱编辑与演示3个核心模块组成,完成了各模块的设计与实现过程.

超声波空中触觉图形呈现的时空调制方法

目的超声波空中触觉反馈技术为虚拟现实、混合现实提供非接触、无约束的触觉体验,是混合现实领域触觉呈现的主要途径。使用传统调制方法对多点图形进行聚焦呈现时,在每个调制周期内只进行单点聚焦,发射阵列的使用率较低,聚焦过程中产生噪声较大。针对现有调制方法的不足之处,提出了一种新型时空调制方法来提高阵列利用率并降低聚焦时产生的噪声。方法首先,根据所需呈现图形获取多个焦点的位置数据,计算每个焦点聚焦时发射器所需延时时间并进行储存;其次,将调制信号的周期按聚焦点个数进行平均分配,并生成超声发射器驱动信号;最后,将驱动信号发送至延时模块,并在调制信号周期的不同时间片内,将各聚焦点的延时数据送入,实现多点聚焦触觉同步的效果。结果通过实验对新型调制方法进行测试,在进行占空比为10%和20%的两点聚焦时,相比于传统调制方法,调制噪声分别降低了8.4%和13%,聚焦功耗提高了80%和86%;在进行占空比为10%和20%的四点聚焦时,相比于传统调制方法,调制噪声降低了6.3%和10.1%,聚焦功耗分别提高了60%和100%。在主观图形识别实验中,三角形、矩形、圆形的识别率分别提升了25%、19%、35%。实验结果表明新型调制方法降低了聚焦噪声,提高了阵列利用率以及对呈现图形的识别率。结论本文所提出的新型时空调制方法有效减小了聚焦噪声,提供了更好的触觉图形反馈效果。