多用户协同手势下触摸点用户归属问题研究

随着多点触摸交互技术的发展,大尺寸交互区下的操作是触摸屏未来发展的一个趋势,多用户协同手势的识别是支持其发展的一个关键技术;针对多用户协同手势识别中触摸点用户归属问题,提出区域划分、直接对象、主点作用域三种归类模式,避免了多用户触摸点之间的交叉影响,将触摸点区分到不同的用户手势中,为后续根据手势信息进行下一步的手势识别提供了可靠的依据;最后给出三个实例验证方法的有效性,并采用用户问答方式对其交互性和效率进行了统计和分析。

基于双通道异构传感器融合的手势识别方法

为了捕捉用于动态手势识别的完整手势运动序列,需要同步获取手掌空间位置变化和手掌姿态变化两部分信息,而现有的单一传感器都由于自身的限制而难以实现。因此,提出一种基于双通道异构传感器深度摄像头和陀螺仪融合的动态手势协同识别模型,该模型同时从手掌空间位置的变化和姿态的变化两方面获取完整的手势运动数据,通过数据预处理、基于互信息的特征层融合和分类识别,提高手势识别效率和准确率。通过对数字手势0-9和小写英文字母手势a-z的识别实验结果表明,提出的动态手势协同识别模型能够在有效降低特征向量维数和计算复杂度的同时,提高手势识别的准确率。

基于协同控制的手臂移动与抓取神经网络研究

针对手势抓取的多自由度和抓取模式的灵活复杂特性,提出了一种面向任务的手臂移动与手势抓取神经网络模型。基于人手抓取动作数据,运用一种描述手部姿势的协同值提取策略,仅用三个协同系数定义手势抓取演变过程,进而构建面向任务和物体几何特征的协同系数神经网络认知模块,实现拟人机械手的抓取模式规划。模型还将抓取运动细分为手臂移动、手指预成型和手掌朝向三大通道,利用VITE(vector integration to endpoint)点对点运动轨迹计算模型动态更新运动命令,并应用小脑逆向内模处理手臂运动过程中的经典动态逆问题,完成手势空间位置到关节角度的转换。实验对神经网络的有效性与抓取系统的协调性进行了验证,结果表明,以上方法构建的手势抓取模型具有良好的适用性与抓取特性。