基于视觉的动态手势识别技术综述

动态手势识别是计算机视觉领域较为热门的任务之一,受到了研究者的广泛关注;动态手势识别技术在自动驾驶、虚拟现实和人机交互等诸多领域展现出很高的应用潜力;手势是在虚拟空间中与其他人交换信息、指导机器人在恶劣环境中执行特定任务或与计算机交互的一种直观而理想的方式;调研归纳了一些常用的动态手势数据集,对动态手势数据集的模态、数据量、应用场景进行了总结与分析;从使用方法的网络类别出发,综述了基于视觉的动态手势识别技术研究进展,重点介绍归纳了基于深度学习的方法,对基于卷积神经网络、循环神经网络以及图神经网络的方法进行了整理总结与性能比较;最后对基于视觉的动态手势识别的研究方向进行了展望。

多模态数据融合的加工作业动态手势识别方法

为了解决单模态数据所提供的特征信息缺乏而导致的识别准确率难以提高、模型鲁棒性较低等问题,提出了面向人机交互的加工作业多模态数据融合动态手势识别策略。首先,采用C3D网络模型并在视频的空间维度和时间维度对深度图像和彩色图像两种模态数据进行特征提取;其次,将两种模态数据识别结果在决策层按最大值规则进行融合,同时,将原模型使用的Relu激活函数替换为Mish激活函数优化梯度特性;最后,通过3组对比实验得到6种动态手势的平均识别准确率为96.8%。结果表明:所提方法实现了加工作业中动态手势识别的高准确率和高鲁棒性的目标,对人机交互技术在实际生产场景中的应用起到推动作用。

基于肤色模型的动态手势分割与识别方法研究

为解决现有动态手势识别方法在复杂环境下因相近肤色、光照变化等因素造成势识别率不高、鲁棒性欠佳等问题,提出一种基于椭圆肤色模型的动态手势分割与识别方法。首先利用YCrCb颜色空间中的Cr分量结合OTSU阈值分割算法分割出手部区域。其次,针对手势复杂程度以及手指粗细不同的情况下直接运用形态学处理可能或导致细节丢失,影响识别的准确性问题,对传统Canny算法进行改进,并结合形态学处理对手部边缘填充;然后通过结合Kalman与改进的CamShift算法来对手势进行跟踪,完成动态手势分割;最后通过BP神经网络对分割后的动态手势进行识别,通过优化算法在GPU上的实现,利用GPU的并行处理能力加速图像处理、特征提取及神经网络前向传播等计算密集型任务。这部分优化措施显著提升了动态手势识别方法的实时性能,使其能够更好地适应于各类对实时性要求高的应用场景。实验结果表明:此方法在应对复杂背景及光照环境变化时具有较强的鲁棒性及抗干扰能力,平均识别率可达94.67%。

基于视觉的神经网络三维动态手势识别方法综述

动态手势识别作为一种重要的人机交互手段而受到广泛关注,其中基于视觉的识别方式因其使用便利性和低成本的优势成为新一代人机交互的首选技术。以人工神经网络为中心,综述了基于视觉的手势识别方法研究进展,分析了不同类型人工神经网络在手势识别中的发展现状,调研并归纳总结了待识别数据和训练数据集的类型及特点;此外,通过开展性能对比实验,客观评估了不同类型的人工神经网络,并对结果进行了分析。最后,对调研内容进行了总结,对该领域面临的挑战和存在的问题进行了阐述,对动态手势识别技术的发展趋势进行了展望。

基于DSConvBiGRU网络和热电堆阵列的动态手势识别方法

提出了适用于嵌入式系统并融合深度可分离卷积神经网络与双向门控循环单元的DSConvBiGRU网络模型,将其用于动态手势序列的分类,设计并实现了一种使用低分辨率热电堆阵列传感器的动态手势识别解决方案,构建了动态手势数据集并在公开网站发布,完成了预训练网络模型在Raspberry Pi边缘端的部署。系统对传感器输出的连续20个温度矩阵进行区间映射、背景减除、Lanczos插值和Otsu二值化预处理得到单个动态手势序列,再由预训练的DSConvBiGRU网络进行分类。实验结果表明:网络模型在测试集上识别准确率为99.291%,在边缘端预处理耗时5.513 ms,推理耗时8.231 ms,该系统满足低功耗、高精度和实时性的设计需求。

面向舰载无人机转运的在线动态手势识别算法

针对舰载无人机实时手势引导和自动转运,基于卷积神经网络的动态手势识别方法存在手势起始位置界限模糊和一个手势多次响应等亟待解决的问题。为此,提出一种基于单模型结构的在线动态手势识别算法。利用轻量级(2+1)D卷积神经网络提取手势特征,将输出的类别分数向量添加到固定长度的缓冲队列中,求取类别分数平均向量,并通过阈值判决检测手势起始位置,过滤掉识别网络偶尔的错检;当检测到手势开始时,将类别分数平均向量添加到决策队列,并通过一个标志位来控制手势识别结果的输出,以达到单次响应输出目的。实验结果表明,上述算法能够检测手势起始位置,解决一个手势多次响应的问题,在自建的舰载无人机转运手势数据集上取得了86.91%的Levenshtein精度,实时检测速度为每秒60帧。

有机凝胶肌电电极制备及其在动态手势识别的应用

为了解决传统肌电电极与皮肤贴合度不佳,易造成运动伪影的问题,本文提出一种高离子导电、良好自黏附的有机凝胶作为电极检测肌电信号,并将其应用于动态手势动作的识别。首先,采用物理交联与化学交联结合的互贯穿网络结构,在生物相容性的聚丙烯酰胺/海藻酸钠体系中加入单宁酸、氯化钠和甘油,获得聚丙烯酰胺/海藻酸钠/单宁酸有机凝胶;其次,测试制备的有机凝胶力学、导电及黏附等性能,并将其作为皮肤表面电极进行肌电信号的检测;最后,使用卷积神经网络算法将其应用于动态手势动作的识别。研究结果表明:制备的有机凝胶具有低弹性模量以及可逆自黏附能力,可实现与皮肤的保形黏附;有机凝胶具有7.7 kPa的弹性模量、310%的伸长率、2.81 mS/cm的离子导电率,并具有良好的自黏附性能以及可降解性,能够获得17.14 dB信噪比的高质量肌电信号,能够有效识别不同界面操作的动态动作及手语手势,平均识别率分别达95.04%和98.67%。该有机凝胶电极具有高信噪比,可有效识别动态手势,在人机交互、机器人遥操作领域具有广阔的应用前景。

基于加权DTW的多特征分级融合动态手势识别

AR设备以第一视角获取的动态手势往往存在手掌角度偏转问题,各关节点位移轨迹相较正视角度发生变化,现有的手掌关节点位移特征无法有效识别,并且受限于AR设备性能,部分神经网络模型无法取得良好表现。针对该应用场景,提出一种使用多特征分级融合的手势识别方法。该方法构造位移、长度、角度三个特征对手势进行描述,并进行向量编码与归一化以消除抖动干扰。根据关节点与标准手势的相似度距离,仿照sigmoid函数分配关节点权重,以加权的动态时间规整(DTW)距离进行KNN匹配,并根据最佳的KNN置信度与特征优先级筛选出最可信的特征识别结果。实验结果表明:该方法能有效识别9种存在角度偏转的动态手势;相较于传统的位移特征方法,该方法的平均准确率提高了4%,能有效应对手掌偏转情况下的动态手势识别问题。

基于SURF特征跟踪的动态手势识别算法

提出了一种基于加速鲁棒特征(SURF)跟踪的动态手势识别算法.其特征在于算法无需预先检测分割人手区域,仅通过跟踪统计相邻帧间匹配SURF特征点的移动主方向来刻画手势运动轨迹.提出采用经时间规整的轨迹方向数据流来建立动态手势模型,利用基于相关分析的数据流聚类方法实现动态手势的识别,大大提高动态手势识别速度.实验使用26个英文字母作为动态手势训练和识别,手势训练集和测试集的识别率分别为87.1%和84.6%,并成功用于实验室自主研制的侦察移动机器人Hunter的运动控制中,证实了该方法的有效性.

基于神经网络的动态手势识别方法研究

人工神经网络及计算机视觉分析技术的发展使得动态手势识别技术越来越成熟,被广泛应用于体育运动训练、机器人设计等多个领域。传统的手势识别模型需要人工提取特征,无法实现复杂特征的人工操作,导致手势识别效果不佳。深度学习在目标识别、分类任务等领域的应用越来越广泛,神经网络技术具备强大的图像特征提取能力,可获得更好的手势识别效果。本研究提出一种基于卷积神经网络的动态手势识别模型。

基于骨架掩膜图像的动态手势识别算法

动态手势识别是人机交互领域的重要问题,同时也是虚拟现实、远程医疗、手语识别等领域的关键技术。针对动态手势识别中不同人存在手形差异以及同类动作速度不一致的问题,本文提出一种基于骨架掩膜图像的动态手势识别算法。首先对源视频的每一帧手势图像进行骨架提取以及阈值化处理得到手部骨架掩膜图像。接着利用卷积神经网络对掩膜后的骨架图像提取静态空间特征,并输入门控循环单元进行时间上的动态空间特征提取。最后,在全连接层中实现手势分类。该方法有效解决了传统动态手势识别中的空间关系复杂性和时间可变性问题。实验结果证明,本文提出的方法在RWTH数据集上取得了95.52%的准确率,具有良好的识别性能和应用前景。

基于改进YOLOv5s的静态/动态手势识别算法探究

为了提高YOLOv5s算法在静态/动态手势识别场景下的应用效果,研究过程针对该算法存在的问题,提出三项改进措施,分别为优化特征金字塔的结构、引入卷积注意力模块和Ghost模块。以上措施旨在提高运算效率和精确率,降低手势识别场景下的漏检和错检。采集一万张静态/动态手势影像,对算法进行训练和检验,将mAP:0.5、召回率、精确性和帧率作为评价指标,对比算法性能。结果显示,改进YOLOv5s算法在各项指标上均有所提升,达到了预期效果。

基于HMM-FNN模型的复杂动态手势识别

复杂动态手势识别是利用视频手势进行人机交互的关键问题.提出一种HMM-FNN模型结构.它整合了隐马尔可夫模型对时序数据的建模能力与模糊神经网络的模糊规则构建与推理能力,并将其应用到复杂动态手势的识别中.复杂动态手势具备两大特点:运动特征的可分解性与定义描述的模糊性.针对这两种特性,复杂手势被分解为手形变化、2D平面运动与Z轴方向运动3个子部分,分别利用HMM进行建模,HMM模型对观察子序列的似然概率被作为FNN的模糊隶属度,通过模糊规则推理,最终得到手势的分类类别.HMM-FNN方法将高维手势特征分解为低维子特征序列,降低了模型的复杂度.此外,它还可以充分利用人的经验辅助模型结构的创建与优化.实验表明,该方法是一种有效的复杂动态手势识别方法,并且优于传统的HMM模型方法.

连续动态手势的时空表观建模及识别

论述了复杂背景下连续动态手势的分割、建模及识别 ;融合手势运动信息和皮肤颜色信息 ,进行复杂背景下的手势分割 ;通过结合手势的时序信息、运动表观以及形状表观 ,提出动态手势的时空表观模型 ,并提出基于颜色、运动以及形状等多模式信息的分层次融合策略抽取时空表观模型的参数 .最后 ,提出动态时空规整算法用于手势识别 .实验表明 ,利用上述提出的手势分割、建模、特征参数抽取及识别方法识别 12种手势 ,平均识别率高达 97% .

动态手势理解与交互综述

近年来,手势作为一种输入通道,已在人机交互、虚拟现实等领域得到了广泛的应用,引起了研究者的关注.特别是随着先进人机交互技术的出现以及计算机技术(特别是深度学习、GPU并行计算等)的飞速发展,手势理解和交互方法取得了突破性的成果,引发了研究的热潮.综述了动态手势理解与交互的研究进展与典型应用:首先阐述手势交互的核心概念,分析了动态手势识别与检测进展;而后阐述了动态手势交互在人机交互中的代表性应用,并总结了手势交互现状,分析了下一步的发展趋势.

基于视觉的动态手势识别及其在仿人机器人交互中的应用

手势识别是人和机器人交互中的重要组成部分 ,本文针对双目视觉系统 SFBinoeye实现了基于光流PCA(主分量分析 )和 DTW(动态时间规整 )的命令手势识别 ,用以控制仿人机器人 SFHR的手臂运动 .利用块相关算法计算光流 ,并通过主分量分析得到降维的连续投影系数 ,与手掌区域的质心位置组合为混合特征向量 .针对DTW定义了新的加权距离测度 ,并用它对手势进行匹配识别 .针对 9个手势训练和识别 ,识别率达到 92 .4 % 。

一种改进的DTW动态手势识别方法

为了提高实时性和准确性,提出一种改进的动态时间规整算法(Dynamic Time Warping-DTW),用于度量手势运动轨迹的相似性,实现了快速的精确动态手势识别.首先,通过Kinect2传感器实时地获取人体骨架的关节点坐标和手部的形状数据,然后构造矢量特征描述手的运动轨迹,运用动态时间规整方法进行模板匹配,并对特殊手势进行精确的二次分类,实现了基于轨迹匹配的快速动态手势识别.实验证明:该方法识别准确度高,实时性好,对光照强度和复杂背景干扰有很强的鲁棒性.

基于光流及耦合隐马尔可夫模型的动态手势识别

基于块的相关算法来计算光流 ,并利用光流跟踪双手的运动 .双手的运动轨迹取相邻两点的速度向量 ,经 8方向链码量化后作为观察向量 .和直接利用位置信息相比较 ,提高了识别的鲁棒性 .采用耦合隐马尔可夫模型来识别双手动态手势 ,提出并实现了最大后验概率的训练 .对 6个双手动态手势的试验表明 ,耦合隐马尔可夫模型 ( CHMM)比常规隐马尔可夫模型 ( HMM)

结合三帧差分和肤色椭圆模型的动态手势分割

针对手势识别系统中的手势分割部分提出了一种改进的结合三帧差分法和肤色椭圆边界模型的动态手势分割方法。运用三帧差分法提取动态手势的运动特征,初步确定手势所在区域,然后运用肤色椭圆边界模型对该区域进行肤色判别从而确定目标。通过提取双特征,可有效解决复杂背景下大面积肤色背景被误检的问题。通过合理设置运动检测过程中的阈值,可有效去除运动幅度较小的人脸和裸露手臂部分。同时针对三帧差分法不能检测静态手势进行了改进,使提出算法对视频流中手势的短暂停留具有极强的鲁棒性。实验结果表明,提出算法能准确高效的检测出动态手势,适用于动态手势识别等实时系统中。

基于加速度传感器的连续动态手势识别

针对个体手势动作信号的差异性和不稳定性,提出了一种基于加速度传感器的连续动态手势识别方法。通过MEMS加速度传感器采集手势动作信号,并结合手势信号的动作特征,对单个手势的有效数据进行自动定位截取,经预处理和特征提取后,构建隐马尔可夫模型(HMM)以实现对特定手势的实时识别。通过设计实现了一种可穿戴手势信号采集硬件原型系统,对10类手势的1000个手势数据进行识别对比实验,统计结果表明:该方法可以对连续手势进行实时有效的识别。