基于多点手势识别的人机交互技术框架

提出了一种基于机器视觉的多点手势识别方法及其人机交互技术框架。指尖跟踪和手势识别服务程序通过一个普通的摄像机捕获用户手的运动,对多个指尖目标进行实时检测和跟踪,在指尖跟踪结果基础上利用BP神经网络实现多点手势识别,并根据指尖跟踪和手势识别结果构造相应的消息(包括低级指点消息和高级手势消息)发送给客户端应用程序,客户端响应消息并进行相应的处理。该框架可以帮助开发人员的在应用程序中增加类似iPhone多点触摸控制的多点手势识别控制功能,实现更加自然的人机交互,提高用户操作体验。

面向投影—摄像交互环境下的多点手势识别系统

针对投影—摄像人机交互系统中手势指令描述困难、手势辨识度难以提高、多点手势交互实现困难的问题,将多点手势分解为2个或者2个以上的元手势的组合,它们之间满足一定的空间位置关系和时序逻辑;将经典的曲线形状描述方法Freeman链码应用于手势描述系统,采用该方法可以使手势描述满足形状不变性、唯一性和鲁棒性的特点;并结合改进的Hausdorff距离建立手势识别系统,在距离变换空间内,对交互人手势与事先建立的模板库进行匹配识别。实验结果表明,采用以上方法搭建的交互系统对手势具有较高的识别率,有很强的实用价值。

多点触控手势在复杂系统数字界面中的应用优势

为将多点触控手势引入复杂系统数字界面,运用认知设计和认知评价对手势应用优势进行了论证.分析了手势交互改善大容量数字界面信息显示和用户自然交互行为的认知机理,在设计综合态势管理系统手势交互原型和手势定义的基础上,使用眼动追踪技术和用户体验评价方法,进行了鼠标和手势操作效率的对比测试.实验结果表明:手势操作的注视点数量、注视时间和操作时间3个眼动数据的平均值明显小于鼠标操作,且标准差较小;手势操作失误率为6%,略高于鼠标操作;用户选择手势操作倾向率高达86%.复杂系统数字界面中的手势操作虽然具有非精确性,但与鼠标操作相比,它在降低用户认知负荷、提升态势感知、提高操作效率和用户主观满意度上均具有明显优势.