象似性手势和指示性手势对自闭症儿童动作相关词汇学习的影响

本研究考察了自闭症儿童在象似性手势、指示性手势和无手势条件下的动作相关词汇的学习情况。选取三组语言水平匹配的高功能自闭症儿童,分别在象似性手势、指示性手势和无手势条件下进行动作相关词汇的学习。在第一次学习结束(T1)和最后一次学习结束2~3天后(T2)分别进行词汇理解和词汇命名测试。结果发现:(1)与其他手势类型相比,象似性手势对自闭症儿童的词汇理解有明显的促进作用;(2)无论哪个组别,学习次数的增加均有助于词汇学习成绩的提高;(3)对词汇命名,所有组别在短期学习条件下的表现都较差,但随着学习次数的增加,象似性手势对词汇命名的促进作用逐渐凸显。研究表明,象似性手势对自闭症儿童动作相关词汇的学习有一定的促进作用;命名任务下象似性手势的促进作用受到学习次数的调节,当学习次数足够多时,象似性手势的优势才得以体现;指示性手势对自闭症儿童动作相关词汇的学习并未表现出促进作用。

基于视觉的动态手势识别研究综述

手势自古以来在人类交流方面扮演着非常重要的角色,而基于视觉的动态手势识别技术是利用计算机视觉、物联网感知等新兴技术和3D视觉传感器等新型设备让机器能够理解人类的手势,从而让人类能和机器更好地交流,因此对于人机交互等领域的研究很有意义。介绍了动态手势识别中所用到的传感器技术,并比较了相关传感器的技术参数。通过追踪近年来国内外关于视觉的动态手势识别技术,陈述了动态手势识别的处理流程:手势检测与分割、手势追踪、手势分类。通过对比各流程所涉及的方法,可以发现深度学习具有较强的容错性、高度并行性、抗干扰性等一系列优点,在手势识别领域取得了远高于传统学习算法的成就。最后分析了动态手势识别目前遇到的挑战和未来可能的发展方向。

基于深度学习的交警动态手势检测与识别方法研究

文中基于深度学习方法设计了交警动态手势检测与识别算法,以Top-down的姿态估计方法获取交警人物关键点建立人体骨架图,采用时空图卷积的方式进行动作识别.设计交警目标检测算法、交警姿态估计算法和交警动态手势识别算法,对输入模型的骨架图设计了尺寸归一化,令算法对不同尺寸的骨架图具有相同的识别性能,提高了算法的鲁棒性.所设计的方法在限制容许错误率在10%、15%、25%以及50%的条件下能够达到最高96.32%的识别率.

基于傅里叶描述子的手势识别方法

手势识别是计算机视觉人机交互应用领域关键技术,手势轮廓携带有手势重要特征,准确捕获手势轮廓对提高手势识别具有重要意义。针对手掌轮廓特征提取困难和手势识别率低问题,提出了基于傅里叶描述子的手势识别方法,按照候选窗口最大轮廓傅里叶描述子匹配度和置信度分割出手掌区域;跟踪手掌轮廓计算其傅里叶描述子得到手势轮廓特征值;将16个手势轮廓特征值作为BP人工神经网络的输入,利用BP人工神经网络识别手势。实验表明,该方法能有效捕获手势轮廓和识别19种手势,具有识别率高、性能优良和鲁棒性好等优点。

基于卷积神经网络的手势开关研究

针对现有智能家电的控制方式不够简便的问题,提出一种用卷积神经网络识别手势并控制开关的方式。首先将手势图像作为输入,结合卷积神经网络的经典模型,利用灰度规范化、腐蚀和膨胀等图像处理方法对原始手势图像进行预处理,得到灰度等级区分明显、边缘清晰的二值化图像,进而选定质心坐标进行手势定位;然后根据下边沿定位分割法对手势进行精确分割;最后引用跳变沿检测算法进行手势识别。将识别的结果传入Arduino处理器,作为家电开关的信号,实现一种全新的智能开关方式。这种方法一定程度上能更高效、更准确地识别手势,同时促进家电智能化的实现,让更多老人享受到科技发展带来的便捷。

结合手势主方向和类-Hausdorff距离的手势识别

针对目前手势识别方法受手势旋转、平移、缩放的影响,导致手势识别率偏低的问题,提出一种基于手势主方向和类-Hausdorff距离模板匹配的手势识别方法.首先把分割后的手势图像进行标准化处理,并求出标准化图像中的手势主方向;然后根据手势主方向建立二维手势直角坐标系提取空间手势特征;再利用空间手势坐标点分布特征方法对手势进行初步识别;最后利用类-Hausdorff距离模板匹配的思想识别最终的手势.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确地实现手势识别,总体识别率达到95%;对发生旋转的手势识别率能超过90%.

结合手势二进制编码和类-Hausdorff距离的手势识别

针对目前动态手势识别方法受手势旋转、平移、缩放的影响,并解决手势识别的实时性问题,提出一种基于手势二进制编码和类-Hausdorff距离模板匹配的手势识别方法.首先,把分割好的手势图像进行标准化处理,求出标准化图像中的手势主方向,建立二维手势直角坐标系,提取空间手势特征;其次,根据前五帧手势图像中手势像素点个数的变化量识别出动态手势类型;然后,用手势二进制描述子从动态手势类型中再筛选出可能的候选手势集合;最后,用类-Hausdorff距离模板匹配方法从候选手势集合中识别出最终手势.主要创新点在于:提出的动态手势类型识别和手势二进制描述子匹配的方法,大大缩短了动态手势识别的时间;提出的结合手势主方向的类-Hausdorff距离方法,不仅对旋转、平移和缩放手势具有不变性,而且对区分度较小的手势也具有较高的识别准确率.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确的实现动态手势识别,总体识别率达到95%以上,对发生缩放的手势识别率能达到92%以上,对发生旋转的手势识别率能达到87%以上.本文算法已经在一个基于手势的人机交互界面中得到应用.

基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。

基于GA-BLS方法的手势识别研究

为进一步提升人机交互领域中手势识别的精度和速度,探究肌肉疲劳对手势识别的影响规律,提出了改进的GA-BLS方法,利用遗传算法(genetic algorithms,GA)优化宽度学习(broad learning system,BLS)模型参数,并使用弹性网络回归改进传统的BLS模型。利用所提模型对8种手势下的A型超声信号和肌电信号进行手势识别分析,并与SVM、KNN、RF、LDA等方法进行对比,以验证所研究方法的有效性;将长时间段下的A型超声信号和肌电信号切分成4个数据段,发现随着肌肉疲劳程度的增加,手势识别的准确率均呈现出明显下降的趋势,而且A型超声信号相较于肌电信号具有更好的抗疲劳特性。

视觉动态手势识别综述

基于视觉的动态手势识别是人机交互领域应用较为广泛的技术,其发展对于实现人机自然交互有着重要研究意义。文章介绍并分析了目前常用的手势交互系统。通过对近年来国内外相关文献的领域研究进行梳理,概述了视觉动态手势识别的一般流程,其流程包括检测与分割、追踪、特征提取、分类,并对各流程所涉及的方法及优缺点进行了对比分析;探讨了视觉动态手势识别研究所面临的挑战性问题和未来可能的研究方向,为推动该领域的进一步研究提供参考。

表面肌电信号手势识别算法综述

随着人工智能技术的发展,深度学习在手势识别方面的识别效果得到显著提升。表面肌电信号是人体肌肉活动时产生的一种电生理信号,由于其非侵入性便于采集,现已作为康复辅具与假肢控制的一种信号来源。在应用表面肌电信号时,需要经过放大滤波等预处理;然后进行特征提取以获取表面肌电信号在时域、频域及时频域的有效信息;最后将这些信息输入机器学习模型中,即可分析人体的相关肌肉运动,进而控制相关器械动作。为此,主要对特征提取及机器学习分类模型部分进行综述,阐述当前基于表面肌电信号手势识别的研究进展与未来发展方向。

基于柔性应变传感器的数据手套手势识别研究

针对传统手势识别系统识别率不高、响应不稳定等问题,设计了一个包括柔性传感器、信号采集系统、手势识别算法的柔性应变传感器数据手套手势识别系统。该系统可准确捕捉每根手指关节运动信息,具有高自由度、低成本、高识别率等特点。在软硅胶材料中掺杂特定配比的碳黑(CB)和碳纳米管(CNTs),通过转印技术设计出线性度好、灵敏度高的电阻式传感器。实验结果表明,传感器具有较好的静态、动态响应特性,并完成传感器标定;利用多个柔性传感器制备数据手套并搭建信号采集系统,进一步提出融合BP神经网络和模板匹配技术的手势识别方法,以提升相近手势字母识别率,算法识别率为98.5%;针对不同人群开展手势识别实验,结果表明,该手势识别系统准确率达到92.8%,响应时间约40ms,该数据手套具有较好的应用潜力。

一种基于循环时空深度神经网络的手势识别方法

针对表面肌电信号解码模型因缺乏时空信息等重要性表征,面临解码精度低、鲁棒性差等问题,提出了一种基于循环时空深度神经网络的手势识别模型,来提高挖掘表面肌电信号的表征能力。首先,设计多通道卷积神经网络,并融入双向循环神经网络来提取强判别力的时空特征信息。其次,采用通道注意力机制来捕捉时空特征中通道重要性信息,设计基于时空特征的注意力模块以进一步增强时空特征信息。同时,基于特征金字塔网络思想来设计多尺度特征融合模块,从多尺度、多角度获取多级特征信息,提高模型对肌电信号的解码能力。最后,将所提出的手势识别模型在大型手势识别数据库Ninapro上进行测试,结果表明所提方法能有效提高对表面肌电信号的表征挖掘能力,为人体手势动作识别的深度学习建模工作提供借鉴意义。

多模态数据融合的加工作业动态手势识别方法

为了解决单模态数据所提供的特征信息缺乏而导致的识别准确率难以提高、模型鲁棒性较低等问题,提出了面向人机交互的加工作业多模态数据融合动态手势识别策略。首先,采用C3D网络模型并在视频的空间维度和时间维度对深度图像和彩色图像两种模态数据进行特征提取;其次,将两种模态数据识别结果在决策层按最大值规则进行融合,同时,将原模型使用的Relu激活函数替换为Mish激活函数优化梯度特性;最后,通过3组对比实验得到6种动态手势的平均识别准确率为96.8%。结果表明:所提方法实现了加工作业中动态手势识别的高准确率和高鲁棒性的目标,对人机交互技术在实际生产场景中的应用起到推动作用。

多源域迁移学习的肌电-惯性特征融合及手势识别

在跨用户手势识别研究中,针对单源域迁移学习存在的负迁移和模型泛化性能差的问题,本研究创新性地提出了一种基于肌电-惯性特征融合的多源域迁移学习策略,关键创新点在于整合多个源域的数据,并在此基础上采用域特有特征对齐与域分类器对齐的技术手段。这一方法旨在强化模型在不同用户间的手势识别性能,进而显著提升跨用户手势识别系统的准确性。首先,引入长短时记忆(long short-term memory, LSTM)网络模型,提取肌电-惯性信息的平均绝对值、方差、峰值等时序特征;其次进行域特有特征对齐与域分类器对齐,利用多个源域数据完成对目标域的特征提取;最后融合分类损失、域特有特征差异损失和域分类器差异损失3个损失函数,协同优化整体损失。实验结果表明,所提方法与单源域、源域组合等多种传统方法相比,识别平均率有所提高,在NinaPro DB5数据集上,目标用户的手势识别平均准确率达到80%以上。

手势识别与交互综述

手势识别与交互技术是人机交互技术与人工智能技术前沿研究的基石任务。该任务以计算机和设备协同工作识别、处理手势信息并给出与手势相对应的机器操作为主要目标,融合应用了动作捕捉、图像处理、图像分类、多端协同交互工作等多项技术,是支撑指挥控制系统、机器人交互、医疗操作等当下前沿智能交互工作与人机交互工作的有力保障。目前,手势识别与交互的相关研究已经日渐成熟,应用领域广泛、应用场景丰富。本文主要对手势识别与交互的相关技术和硬件发展做出综述。首先,全面梳理手势识别与交互技术的研究进展,同时对手势识别的关键步骤进行归类描述;其次,分类阐述用于三维手势交互的当前主流手势识别深度传感器的相关工作;随后,对三维手势识别的真实感识别技术进行剖析和讨论;最后,分析手势识别与交互技术中存在的不足与亟待改进的问题,提出融合深度学习、模式识别等前沿技术与有可行性的研究思路和方法,对该领域未来的研究方向、技术发展和应用领域做出预测和展望。

基于视觉技术的工业机器人手势识别技术研究

基于手势的人机交互模式具有易于掌握、交互灵活等优势,应用前景广阔。文章研究了基于智能视觉的手势识别技术,并将识别结果转换为工业机器人的控制代码,实现对机器人动作控制。对深度学习SSD模型进行了优化,对手势图像进行特征匹配,提取图形边缘特征作为模板用于手势形状识别。构建了由相机、PLC、机器人、计算机、HMI组成的工业通信网络,采用Modbus/TCP通信协议实现了智能视觉系统、PLC和工业机器人的数据互传,编制PLC控制程序用于实现依据视觉手势识别结果控制机器人运动。实验结果表明,视觉学习模型有效,手势识别正确率高。环境光照强度影响视觉识别正确率,可通过提高补光灯亮度和增加相机曝光时间提升环境光照强度,进而提升手势识别正确率。构建的控制系统可以准确依据手势识别结果控制工业机器人完成对应的运动动作。

基于纯自注意力机制的毫米波雷达手势识别

在构建智慧控制,万物互联的背景下,通过手势远程控制设备,进行人机交互逐渐成为研究热点。对此,提出了一种以毫米波雷达为传感器,采用基于纯自注意力机制模型实现手势识别的方法。首先,采集正面视角的13类手势的时序回波数据。接着,对数据进行三维快速傅里叶变换(three-dimension fast Fourier transform,3D-FFT)、动目标显示(moving target indication,MTI)、恒虚警率(constant false alarm rate,CFAR)检测操作并进行固定种类特征提取,将这些特征传入基于纯自注意力机制网络的雷达特征变换(radar feature transformer,RFT)网络。最后,基于实测数据完成了数据特征提取、网络训练、手势识别等步骤。实验结果表明,所提方法在测试集上准确率达到95.38%,网络训练时间短,模型复杂度低,泛化性好,为现有研究提供了新的研究思路。

基于多维投影时空事件帧的动态视觉传感手势识别

基于视觉的手势识别是虚拟现实、游戏仿真等领域常用的人机交互手段。在实际应用中,手势动作快速变化将导致传统RGB相机或深度相机成像模糊,给手势识别带来巨大挑战。针对上述问题,利用动态视觉传感器捕捉高速手势运动信息,提出一种基于多维投影时空事件帧(spatiotemporal event frame,STEF)的动态视觉数据手势识别方法。将时空信息嵌入到数据投影面融合形成多维投影时空事件帧,克服现有动态视觉信息事件帧表达方法时域信息丢失的局限性,提升动态视觉传感数据的特征表达能力。在此基础上,采用先进的脉冲神经网络对时空事件帧进行分类实现手势识别。在公开数据集上的识别精度达到96.67%,性能优于同类方法,表明该方法可显著提升动态视觉传感数据手势识别准确率。

采用变分模态分解与领域自适应的表面肌电信号手势识别

针对传统机器学习在表面肌电信号手势识别领域的适应性和准确性不足,以及新用户因个体生理和行为差异在已有模型上表现不佳的问题,提出一种利用卷积神经网络模型并有效克服肌电数据分布差异的算法,用于提升手势识别的性能。首先对肌电信号进行变分模态分解,构建易于识别的表面肌电图像,并提出了一种卷积神经网络模型进行手势识别,提升用户相关的肌电信号手势识别准确率;同时利用迁移学习中的领域自适应和模型微调技术,提升用户无关的肌电信号手势识别准确率,并将所提算法在NinaPro DB1肌电数据集中进行了3分类、4分类、5分类和12分类共4组评估验证。结果表明:在4组评估验证中,用户相关的肌电信号手势识别平均准确率分别达到了99.28%、99.30%、98.39%和93.40%,用户无关的肌电信号手势识别平均准确率分别达到了94.05%、92.60%、88.38%和70.03%,表明本文提出的算法在表面肌电信号手势识别中具有良好的效果,为实现人机交互中的普适性的肌电设备开发提供了一种可行的方案。