基于DenseNet和卷积注意力模块的高精度手势识别

非接触的手势识别是一种新型人机交互方式,在增强现实(AR)/虚拟现实(VR)、智能家居、智能医疗等方面有着广阔的应用前景,近年来成为一个研究热点。由于需要利用毫米波雷达进行更精确的微动手势识别,该文提出一种新型的基于MIMO毫米波雷达的微动手势识别方法。采用4片AWR1243雷达板级联而成的毫米波级联(MMWCAS)雷达采集手势回波,对手势回波进行时频分析,基于距离-多普勒(RD)图和3D点云检测出人手目标。通过数据预处理,提取手势目标的距离-时间谱图(RTM)、多普勒-时间谱图(DTM)、方位角-时间谱图(ATM)和俯仰角-时间谱图(ETM),更加全面地表征手势的运动特征,并形成混合特征谱图(FTM),对12种微动手势进行识别。设计了基于DenseNet和卷积注意力模块的手势识别网络,将混合特征谱图作为网络的输入,创新性地融合了卷积注意力模块(CBAM),实验表明,识别准确率达到99.03%,且该网络将注意力放在手势动作的前半段,实现了高精度的手势识别。

基于GA-BLS方法的手势识别研究

为进一步提升人机交互领域中手势识别的精度和速度,探究肌肉疲劳对手势识别的影响规律,提出了改进的GA-BLS方法,利用遗传算法(genetic algorithms,GA)优化宽度学习(broad learning system,BLS)模型参数,并使用弹性网络回归改进传统的BLS模型。利用所提模型对8种手势下的A型超声信号和肌电信号进行手势识别分析,并与SVM、KNN、RF、LDA等方法进行对比,以验证所研究方法的有效性;将长时间段下的A型超声信号和肌电信号切分成4个数据段,发现随着肌肉疲劳程度的增加,手势识别的准确率均呈现出明显下降的趋势,而且A型超声信号相较于肌电信号具有更好的抗疲劳特性。

表面肌电信号手势识别算法综述

随着人工智能技术的发展,深度学习在手势识别方面的识别效果得到显著提升。表面肌电信号是人体肌肉活动时产生的一种电生理信号,由于其非侵入性便于采集,现已作为康复辅具与假肢控制的一种信号来源。在应用表面肌电信号时,需要经过放大滤波等预处理;然后进行特征提取以获取表面肌电信号在时域、频域及时频域的有效信息;最后将这些信息输入机器学习模型中,即可分析人体的相关肌肉运动,进而控制相关器械动作。为此,主要对特征提取及机器学习分类模型部分进行综述,阐述当前基于表面肌电信号手势识别的研究进展与未来发展方向。

基于柔性应变传感器的数据手套手势识别研究

针对传统手势识别系统识别率不高、响应不稳定等问题,设计了一个包括柔性传感器、信号采集系统、手势识别算法的柔性应变传感器数据手套手势识别系统。该系统可准确捕捉每根手指关节运动信息,具有高自由度、低成本、高识别率等特点。在软硅胶材料中掺杂特定配比的碳黑(CB)和碳纳米管(CNTs),通过转印技术设计出线性度好、灵敏度高的电阻式传感器。实验结果表明,传感器具有较好的静态、动态响应特性,并完成传感器标定;利用多个柔性传感器制备数据手套并搭建信号采集系统,进一步提出融合BP神经网络和模板匹配技术的手势识别方法,以提升相近手势字母识别率,算法识别率为98.5%;针对不同人群开展手势识别实验,结果表明,该手势识别系统准确率达到92.8%,响应时间约40ms,该数据手套具有较好的应用潜力。

一种基于循环时空深度神经网络的手势识别方法

针对表面肌电信号解码模型因缺乏时空信息等重要性表征,面临解码精度低、鲁棒性差等问题,提出了一种基于循环时空深度神经网络的手势识别模型,来提高挖掘表面肌电信号的表征能力。首先,设计多通道卷积神经网络,并融入双向循环神经网络来提取强判别力的时空特征信息。其次,采用通道注意力机制来捕捉时空特征中通道重要性信息,设计基于时空特征的注意力模块以进一步增强时空特征信息。同时,基于特征金字塔网络思想来设计多尺度特征融合模块,从多尺度、多角度获取多级特征信息,提高模型对肌电信号的解码能力。最后,将所提出的手势识别模型在大型手势识别数据库Ninapro上进行测试,结果表明所提方法能有效提高对表面肌电信号的表征挖掘能力,为人体手势动作识别的深度学习建模工作提供借鉴意义。

多模态数据融合的加工作业动态手势识别方法

为了解决单模态数据所提供的特征信息缺乏而导致的识别准确率难以提高、模型鲁棒性较低等问题,提出了面向人机交互的加工作业多模态数据融合动态手势识别策略。首先,采用C3D网络模型并在视频的空间维度和时间维度对深度图像和彩色图像两种模态数据进行特征提取;其次,将两种模态数据识别结果在决策层按最大值规则进行融合,同时,将原模型使用的Relu激活函数替换为Mish激活函数优化梯度特性;最后,通过3组对比实验得到6种动态手势的平均识别准确率为96.8%。结果表明:所提方法实现了加工作业中动态手势识别的高准确率和高鲁棒性的目标,对人机交互技术在实际生产场景中的应用起到推动作用。

多源域迁移学习的肌电-惯性特征融合及手势识别

在跨用户手势识别研究中,针对单源域迁移学习存在的负迁移和模型泛化性能差的问题,本研究创新性地提出了一种基于肌电-惯性特征融合的多源域迁移学习策略,关键创新点在于整合多个源域的数据,并在此基础上采用域特有特征对齐与域分类器对齐的技术手段。这一方法旨在强化模型在不同用户间的手势识别性能,进而显著提升跨用户手势识别系统的准确性。首先,引入长短时记忆(long short-term memory, LSTM)网络模型,提取肌电-惯性信息的平均绝对值、方差、峰值等时序特征;其次进行域特有特征对齐与域分类器对齐,利用多个源域数据完成对目标域的特征提取;最后融合分类损失、域特有特征差异损失和域分类器差异损失3个损失函数,协同优化整体损失。实验结果表明,所提方法与单源域、源域组合等多种传统方法相比,识别平均率有所提高,在NinaPro DB5数据集上,目标用户的手势识别平均准确率达到80%以上。

基于纯自注意力机制的毫米波雷达手势识别

在构建智慧控制,万物互联的背景下,通过手势远程控制设备,进行人机交互逐渐成为研究热点。对此,提出了一种以毫米波雷达为传感器,采用基于纯自注意力机制模型实现手势识别的方法。首先,采集正面视角的13类手势的时序回波数据。接着,对数据进行三维快速傅里叶变换(three-dimension fast Fourier transform,3D-FFT)、动目标显示(moving target indication,MTI)、恒虚警率(constant false alarm rate,CFAR)检测操作并进行固定种类特征提取,将这些特征传入基于纯自注意力机制网络的雷达特征变换(radar feature transformer,RFT)网络。最后,基于实测数据完成了数据特征提取、网络训练、手势识别等步骤。实验结果表明,所提方法在测试集上准确率达到95.38%,网络训练时间短,模型复杂度低,泛化性好,为现有研究提供了新的研究思路。

采用变分模态分解与领域自适应的表面肌电信号手势识别

针对传统机器学习在表面肌电信号手势识别领域的适应性和准确性不足,以及新用户因个体生理和行为差异在已有模型上表现不佳的问题,提出一种利用卷积神经网络模型并有效克服肌电数据分布差异的算法,用于提升手势识别的性能。首先对肌电信号进行变分模态分解,构建易于识别的表面肌电图像,并提出了一种卷积神经网络模型进行手势识别,提升用户相关的肌电信号手势识别准确率;同时利用迁移学习中的领域自适应和模型微调技术,提升用户无关的肌电信号手势识别准确率,并将所提算法在NinaPro DB1肌电数据集中进行了3分类、4分类、5分类和12分类共4组评估验证。结果表明:在4组评估验证中,用户相关的肌电信号手势识别平均准确率分别达到了99.28%、99.30%、98.39%和93.40%,用户无关的肌电信号手势识别平均准确率分别达到了94.05%、92.60%、88.38%和70.03%,表明本文提出的算法在表面肌电信号手势识别中具有良好的效果,为实现人机交互中的普适性的肌电设备开发提供了一种可行的方案。

基于多维投影时空事件帧的动态视觉传感手势识别

基于视觉的手势识别是虚拟现实、游戏仿真等领域常用的人机交互手段。在实际应用中,手势动作快速变化将导致传统RGB相机或深度相机成像模糊,给手势识别带来巨大挑战。针对上述问题,利用动态视觉传感器捕捉高速手势运动信息,提出一种基于多维投影时空事件帧(spatiotemporal event frame,STEF)的动态视觉数据手势识别方法。将时空信息嵌入到数据投影面融合形成多维投影时空事件帧,克服现有动态视觉信息事件帧表达方法时域信息丢失的局限性,提升动态视觉传感数据的特征表达能力。在此基础上,采用先进的脉冲神经网络对时空事件帧进行分类实现手势识别。在公开数据集上的识别精度达到96.67%,性能优于同类方法,表明该方法可显著提升动态视觉传感数据手势识别准确率。

基于数理统计特征的人机交互图像手势识别

在人机交互领域中手势识别的应用前景十分广阔,在诸多领域中均为人类带来了无限便利。基于数理统计特征设计一种人机交互图像手势识别方法,实现了基于数理统计特征的手势信息获取与基于识别结果的人机交互。对人机交互图像实施图像灰度化处理、二值化处理、平滑处理、边缘检测和轮廓提取处理等一系列预处理。通过OpenCV提取二值化人机交互图七个具有尺度不变性、旋转不变性、平移不变性的Hu矩,前四个矩描述手势的图像椭圆、主轴方向角、面积、旋转半径这四个物理量,后三个矩描述的是图像对称性、重心、中心距。基于Darknet-19改进YOLO-V2网络的骨干网络,使模型能够预测的anchor box数量达到16×16×N个。基于改进YOLO-V2网络设计手势识别模型,模型的输入为人机交互图、提取的手势轮廓与Hu矩,实现交互图像手势识别。测试结果表明,设计方法在室内和室外的手势识别准确率均较高,通过该方法的手势识别结果能够实现人机交互。

基于手势识别的矿车智能控制技术研究

针对露天矿区用于物料运输的矿车控制需求,设计一种基于手势识别的矿车智能控制系统。首先,通过配有加速度传感器的数据手套采集手势数据,经蓝牙模块实现信息的无线传输,再利用微控制器ATmega328P实现控制信息的分析和处理,采用PID控制算法得出矿车的电机转动参数,从而实现对矿车车轮的控制。同时,设计以树莓派4B为主控,搭载有LCD显示器、扬声器、麦克风和摄像头等模块的系统,用以实现音视频的实时互传等功能。实验结果表明,该系统能根据手势的变化对矿车的行驶进行准确地控制,具有十分可观的应用前景。

车载毫米波手势识别系统安全性与可靠性分析

车载毫米波手势识别系统具有巨大的潜力,能够为驾驶员和乘客提供更自然、便捷的操作方式,然而,其广泛应用的关键因素之一是确保系统的安全性和可靠性。文章致力于深入探讨车载毫米波手势识别系统的安全性与可靠性问题,以促进其实际应用。首先,对车载毫米波手势识别系统进行了综合介绍。其次,强调了安全性和可靠性在这一领域的重要性,并分析了可能存在的安全漏洞和潜在的风险因素。文章还提供了一系列安全性措施,这些措施有助于降低潜在威胁的影响。同时,介绍了可靠性分析方法,以提高系统的可靠性。文章的研究和建议将有助于促进车载毫米波手势识别系统的发展,为未来的汽车人机交互提供更加安全可靠的选择。

基于傅里叶描述子的手势识别方法

手势识别是计算机视觉人机交互应用领域关键技术,手势轮廓携带有手势重要特征,准确捕获手势轮廓对提高手势识别具有重要意义。针对手掌轮廓特征提取困难和手势识别率低问题,提出了基于傅里叶描述子的手势识别方法,按照候选窗口最大轮廓傅里叶描述子匹配度和置信度分割出手掌区域;跟踪手掌轮廓计算其傅里叶描述子得到手势轮廓特征值;将16个手势轮廓特征值作为BP人工神经网络的输入,利用BP人工神经网络识别手势。实验表明,该方法能有效捕获手势轮廓和识别19种手势,具有识别率高、性能优良和鲁棒性好等优点。

基于计算机视觉技术的手势识别人机交互方法

常规的手势识别人机交互方法主要使用FocalLoss损失函数生成交互识别锚框,易受识别目标尺度变化影响,导致交互指令执行异常,因此,需要基于计算机视觉技术,设计一种全新的手势识别人机交互方法。即利用计算机视觉技术采集手势识别人机交互图像,进行人机交互手势识别分割,提取手势识别人机交互特征,从而实现合理交互。实验结果表明,设计的基于计算机视觉的手势识别人机交互方法的交互效果较好,各个交互指令均能有效执行,有一定的应用价值。

融合改进YOLOv5及Mediapipe的手势识别研究

针对现有手势识别算法计算量大、鲁棒性差等问题,提出一种基于IYOLOv5-Med(improved YOLOv5 Mediapipe)算法的手势识别方法。该算法将改进的YOLOv5算法和Mediapipe方法结合,包括手势检测和手势分析两部分,算法有效降低了训练的时间成本,增加了识别的鲁棒性。手势检测部分,改进了传统YOLOv5算法,利用FastNet重构C3模块,将CBS模块替换为GhostNet中GhostConv模块,在Backbone网络末端加入SE注意力机制模块,改进后的算法,模型体积更小,更适用于资源有限的边缘设备。手势分析部分,提出了一种基于Mediapipe的方法,对手势检测部分定位到的手势区域进行手部关键点检测,并提取相关特征,然后通过朴素贝叶斯分类器进行识别。实验结果证实了提出的IYOLOv5-Med算法的有效性,与传统YOLOv5算法相比,参数量下降34.5%,计算量减少34.9%,模型权重降低33.2%,最终平均识别率达到0.997,且实现方法相对简单,有较好的应用前景。

融合注意力机制的多视图卷积手势识别研究

基于表面肌电信号(sEMG)的手势识别在人机交互中发挥着重要作用,然而,由于sEMG具有非线性和随机性,因此提升基于稀疏多通道sEMG的手势识别准确率难度较高。提出一种融合注意力机制的多视图卷积手势识别模型。首先使用200 ms滑动窗口提取经典的sEMG特征集构建多视图输入,其次利用高效通道注意力对多视图特征在通道维度进行加权,以强化有效特征同时弱化无效特征,最后通过多视图卷积从带有注意力权重的肌电特征中提取高层特征,利用高层特征融合模块对其进行融合以降低数据维度并提高模型鲁棒性。在NinaPro DB1、NinaPro DB5、NinaPro DB73个肌电公共数据集上进行训练和评估,结果表明,该模型在200 ms滑动采样窗口上的平均识别准确率分别为87.98%、94.97%和89.67%,整段手势动作的平均投票准确率分别为97.38%、98.41%和97.09%,平均信息传输率为1308.71 bit/min。与传统机器学习方法和近年来前沿的深度学习手势识别方法相比,所提模型在单模态肌电和多模态手势识别上均具有更高的识别准确率,验证了其有效性和通用性。

采用迁移学习的表面肌电信号手势识别方法

为解决采用表面肌电信号(surface electromyography,sEMG)进行手势识别时电极贴片位移、受试者动作变化等复杂情况下分类识别准确率下降这一问题,提出一种基于表面肌电信号与迁移学习的手势分类模型。首先对4通道表面肌电信号进行活动段提取与降噪处理,然后提取活动段信号的4种时域特征与2种频域特征。采用流形嵌入分布对齐(manifold embedded distribution alignment,MEDA)方法将源领域和目标领域的特征矩阵嵌入到格拉斯曼流形中进行流形特征学习,减小两域之间的数据差异,消除特征退化;同时根据自适应因子执行动态分布对齐,动态调整数据不同分布差异下边缘分布和条件分布的相对重要性。对多名受试者开展实验以验证所提方法的合理性,实验结果表明:所提方法与决策树(decision tree,DT)、支持向量机(support vector machine,SVM)、k临近(k-nearest neighbor,KNN)3种传统机器学习方法相比,识别准确率分别提高了13%、21%、9%。与未执行流形学习与动态分布对齐的联合分布适配(joint distribution adaptation,JDA)迁移学习方法相比,识别准确率提高了52%,达到93%,证明所提方法对于复杂情况下的手势分类具有优良的效果。

基于视觉的神经网络三维动态手势识别方法综述

动态手势识别作为一种重要的人机交互手段而受到广泛关注,其中基于视觉的识别方式因其使用便利性和低成本的优势成为新一代人机交互的首选技术。以人工神经网络为中心,综述了基于视觉的手势识别方法研究进展,分析了不同类型人工神经网络在手势识别中的发展现状,调研并归纳总结了待识别数据和训练数据集的类型及特点;此外,通过开展性能对比实验,客观评估了不同类型的人工神经网络,并对结果进行了分析。最后,对调研内容进行了总结,对该领域面临的挑战和存在的问题进行了阐述,对动态手势识别技术的发展趋势进行了展望。

基于Leap Motion手势识别的三维交互系统

随着虚拟交互技术的发展,人们迈入了“体验式经济时代”,消费者越来越关注个性体验,因此,基于Leap Motion手势识别设备,设计了一种三维虚拟室内交互系统。该系统以Unity3D作为开发工具,Leap Motion作为硬件平台,结合C#语言进行脚本的编译,利用3ds Max平台对室内进行场景搭建,通过Unity3D工具将组件整合,设计了七种手势,使用Leap Motion硬件设备对场景中物体进行各种不同的操作。经试验表明,该系统实现了用户与场景中物体的交互能力,可以应用在室内装修和设计等方面,增强人们的体验感与趣味性。