基于IMU与sEMG混合信号的实时手势分类算法研究

为了提高表面肌电信号(surface electromyography,sEMG)的手势分类准确率,通过惯性测量单元(inertial measurement unit,IMU)与采集姿态信号与sEMG的混合信号,提出了GRUBiLSTM双层网络的实时手势分类算法。第1层门控循环单元(gated recurrent unit,GRU)利用能量组合算子特征对混合信号进行突变点检测,定位运动态数据起始点;第2层双向长短时记忆循环神经网络(Bi-directional long short term memory,BiLSTM)使用能量核相图特征对运动态混合信号进行2个方向10种手势的分类。通过离线模型优化,分类算法识别时间低于40 ms,突变点检测精度88.7%以上,手势分类准确率为85%,信息传输率(informationtranslaterate, ITR)达到89.9 bits/min,与基于机器学习的分类算法相比,在准确率与计算效率上具有优势。

基于Hu不变矩及傅里叶描述子的手势分类算法

手势识别是实现人机智能交互的重要组成部分,手势分类则是实现手势识别的重要前提。本文提出采用Hu不变矩和傅里叶描述子作为手势特征,并用随机森林算法训练上述特征,然后利用这两种特征对指定手势进行分类。实验结果表明,对每种手势取一定数量的样本进行训练后,手势分类平均准确率为91.69%,说明该方法可有效地实现对指定手势分类。

基于二值化卷积神经网络的手势分类方法研究

针对手势分类问题,提出了一种基于二值化卷积神经网络的手势分类方法。根据神经网络在低精度化后仍能保持较高分类准确性和鲁棒性的特点,结合传统高精度卷积网络手势分类方法与二值化方法提出一种网络结构。并通过实验研究了隐层参数对手势分类效果的影响,并与常用的方法进行了分类性能和运行效率对比。实验结果表明,所提出的方法在N=512时的表现最佳,与其他方法相比,计算效率明显提升,且错误率接近最好的结果。

基于组件树结点属性的静态手势分类

提出一种基于图像组件树结点属性特征的静态手势图像分类方法。对手势图像建立组件树,并对原始组件树做简化处理以保留重要的组件,提取组件树结点的属性特征,建立数据集,使用全连接神经网络训练分类器,最后对该分类方法进行实验验证。

基于灰度理论模型的截肢受试者手势分类方法研究

针对截肢者手势动作特征提取复杂、动作识别率较低的问题,该文提出一种基于灰度模型的特征提取方法。首先对预处理后的肌电信号与加速度信号经滑动窗信号截取。然后提取表面肌电信号均值、灰度模型的驱动项系数和加速度信号的绝对值均值构成特征向量,最后对滑动窗截取信号特征进行连续的识别。该文采用NinaPro(Non invasive adaptive Prosthetics)公开数据集对提出的方法进行验证,实验表明该文算法能够有效提取肌电和加速度信号的特征,对9名截肢受试者的17类手势动作的平均识别率达到91.14%,提高了17类手势的识别准确率,为仿生假肢人机交互控制算法提供了一种新的思路。

基于EasyDL的常用词语手势视频50分类方法的研究

提出了一种基于深度学习的常用词语手势视频50分类方法,利用EasyDL平台进行模型训练和部署。首先对深度学习和手势识别技术的发展轨迹及当前形势进行了全面概述。然后详细阐述了使用的EasyDL平台、数据集构建与预处理、模型训练与优化等技术。最后通过EasyDL平台进行校准,基于样本对模型进行客观的评价。实验结果表明,该方法具有较高的实用价值和应用前景,为手势识别相关领域提供有价值的参考与借鉴。

差分特征融合改进的动态手势识别分类网络模型

通过卷积神经网络和长短期记忆网络进行多模型结合,实现动态手势识别分类建模,并使用数据增强算法增加数据的多样性,通过差分特征融合改进网络。7种动态手势动作识别分类的实验结果显示,使用数据增强算法增加数据的多样性后,结合模型的识别率最佳可提升2.86%;通过差分算法改进网络,序列间差分特征融合模型识别率达到83.81%,维度差分特征融合模型识别率达到87.62%。表明多模型结合可解决单一模型的局限性,处理更加复杂的动态手势分类问题,两种不同形式的差分特征融合改进都可提升动态手势动作的识别率,从而验证了所设计的差分特征融合改进的动态手势识别分类网络模型的有效性和可行性。

基于视觉的动态手势识别研究综述

手势自古以来在人类交流方面扮演着非常重要的角色,而基于视觉的动态手势识别技术是利用计算机视觉、物联网感知等新兴技术和3D视觉传感器等新型设备让机器能够理解人类的手势,从而让人类能和机器更好地交流,因此对于人机交互等领域的研究很有意义。介绍了动态手势识别中所用到的传感器技术,并比较了相关传感器的技术参数。通过追踪近年来国内外关于视觉的动态手势识别技术,陈述了动态手势识别的处理流程:手势检测与分割、手势追踪、手势分类。通过对比各流程所涉及的方法,可以发现深度学习具有较强的容错性、高度并行性、抗干扰性等一系列优点,在手势识别领域取得了远高于传统学习算法的成就。最后分析了动态手势识别目前遇到的挑战和未来可能的发展方向。

视觉动态手势识别综述

基于视觉的动态手势识别是人机交互领域应用较为广泛的技术,其发展对于实现人机自然交互有着重要研究意义。文章介绍并分析了目前常用的手势交互系统。通过对近年来国内外相关文献的领域研究进行梳理,概述了视觉动态手势识别的一般流程,其流程包括检测与分割、追踪、特征提取、分类,并对各流程所涉及的方法及优缺点进行了对比分析;探讨了视觉动态手势识别研究所面临的挑战性问题和未来可能的研究方向,为推动该领域的进一步研究提供参考。

基于小样本手部关键点的MLP网络提升3D光场交互准确度方法

针对当前3D光场手势交互存在识别率低、识别速度慢、深度学习网络需要较多数据样本的问题,本文提出了一种基于小样本手部关键点的多层感知器(Multi-Layer Perceptron,MLP)网络提升3D光场交互准确度方法,识别速度达到毫秒级。在手部关键点采集过程中,从不同位置采集得到的同一种手势关键点三维数据存在显著差异。为了消除差异,本文提出在同一右手笛卡尔坐标系下,通过位移和罗德里格旋转公式对简化后的手势模型进行位姿变换,将同一种手势归一化。一个MLP神经网络被用来从归一化后的手部关键点跳变关系中提取手部特征。实验结果表明,本文提出的方法对3D光场交互中的简单手势识别率为95%以上,对复杂手势的识别率为90%以上。与此同时,该方法在小样本数据集训练下表现出优秀的性能,能够满足精确和快速手势识别的要求。最后,本文展示了一种将所提出的方法成功应用于3D光场交互的场景。