基于手势/语义识别的手持智能遥控装置

如今人机交互的方式发生着重大的变革,从传统的按键式交互,到今天从所周知的触屏交互。触屏交互给使用者提供了全新便捷的操作体验,但还是不可避免的要被限制在屏幕前。不仅如此,触摸交互还要针对应用环境作定制,缺少通用性。目前研究工作大部分都是基于现代手机强大的嵌入式功能的手语识别,或者是计算机视觉的技术,存在着遮挡和可视范围的问题,同时大部分的识别系统都存在"冷启动"的问题,需要大量的训练数据才能训练出较好的模型。另外这些工作都没有和现有的智能终端进行联调测试,这也意味着还会有更多的接口实现的问题。而大多数市场的产品都要依赖特定的设备,因此使用的时间和空间都受到限制,而且这些产品的价格都较高,同时很难扩展手势的类型。针对以上的问题,我们研究设计并实现了一种基于手势/语义识别的手持智能遥控装置。该装置通过计算速度和加速度的变化,对手势动作进行识别,另外通过对语音内容进行采集和过滤处理,利用目前科大讯飞开放的开源接口,对语义进行分析和识别。通过实验结果分析,我们的发明装置对手势动作以及语义识别能够达到95%的高准确率。该研究从数据收集,数据分割,数据筛选处理,分类算法研究,以及应用实现上逐一进行了突破,发明了全新的分割方法以及利用动态时间规整与隐马尔科夫模型相结合的分类算法,完整的实现了基于加速度传感器和陀螺仪传感器这一全新的人机交互模型,很好的克服了当前主流动作识别系统中存在的"冷启动"、遮挡、可视范围限制等问题,并在应用中体现出了较强的容错能力和可操作性,同时在能效方面做了优化。

we propose a handheld intelligent remote control device based on gesture/semantic recognition. The device recognizes gestures by calculating the changes in speed and acceleration. In addition, it collects and filters voice content, then analyze and identify the semantics. The experimental results show that our inventive device achieves 95% accuracy in gesture recognition and semantic recognition. This research has made a breakthrough from data collection, data segmentation, data screening, classification algorithm research, and application implementation. A new segmentation method and a classification algorithm combining dynamic time warping and Hidden Markov Model are proposed, and a complete realization of the acceleration sensor and gyroscope is implemented. The new human-computer interaction model has shown strong fault tolerance and maneuverability in the application, and at the same time, the energy efficiency has been optimized.