基于组合RNN网络的EMG信号手势识别

肌肉计算机接口(MCI)系统是虚拟现实、人机交互研究的热点之一,其核心问题是EMG肌电信号分类,因而MCI系统可以与深度学习方法有效结合。表面EMG信号分为高密度瞬时信号与稀疏多通道信号,前者类似于图像,可以采用CNN网络处理;本文应用RNN网络对后者进行研究,并利用MYO臂环实现了相应MCI系统。稀疏多通道EMG信号是不定长时间序列信号,前后时间相关性高,采用RNN网络进行分类。通过对原始信号进行时域、时频域、频域特征拓展,获得原始信号的多流特征序列,并提出两类组合RNN网络架构处理相应多流信号。用户依赖时算法准确率达90.78%,非用户依赖的人群测试中手势识别准确率达78.01%,实时动作识别准确率达82.09%,算法能在61.7毫秒内识别手势动作。本文所提出的组合RNN网络方法可以有效区分基于EMG信号的不同动作,且所设计的MCI系统用户泛化性与工作实时性表现好。

面向肌电信号的虚拟现实提线木偶动画研究

泉州提线木偶属于首批中国非物质文化遗产,是中华传统文化的实现形式之一.然而,由于木偶体积庞大,携带与操作不便,直接限制了其受众群体.为了实现提线木偶的有效传承与保护,设计了基于手势识别的虚拟现实提线木偶动画方案,构建了基于 MYO 臂环肌电信号的人体生理信号控制动画原型系统,应用两个用户实验验证了算法的高精确性与易操控性.首先,通过低通滤波与平滑实现多通道肌电信号数据的信号处理.其次,提取八通道时域特征与时频域特征,并通过线性判别器将其降维为六维特征向量,实现特征间关联性消除与算法鲁棒性增强.最后,构造多分类支撑向量机实现特征向量,确定手势识别结果.实验验证算法离线动作平均识别准确率为 95.59%,实时动作平均识别准确率达到 90.75%,在 1.1s 左右完成手势识别.面向提线木偶任务,构造了两个用户体验任务,普通用户人群中,木偶动作识别率较高,用户使用意愿、易学性等方面,系统性能亦显著高于真实木偶操控;专业用户在承认系统可用性的同时,具有较高的接受度.用户任务表明该设计满足了手势识别实时性和准确性的要求,具有良好的交互性和趣味性.相关研究可以广泛地应用于计算机动画等类似的系统,对于体验和保护提线木偶具有现实意义.