基于深度学习的视觉手势估计综述

基于深度学习的视觉手势估计一直是计算机视觉领域的重点研究课题之一,随着深度学习和神经网络相关研究取得了巨大进步,针对手势估计中的高自由度、肤色、环境干扰、遮挡等问题已经远远优于传统方法。基于深度学习的三维手势估计主要是通过构建神经网络,对图像特征进行抽象化分析和理解,从而预测出手指关键点的三维坐标以及角度等信息,进而构建出手掌模型。准确的三维手势估计可以快速推动AR/VR行业的发展,因为沉浸与交互是AR/VR的关键要素,通过视觉手势交互可以为用户提供更方便、快捷、逼真的AR/VR互动体验。本文首先对当前手势估计方案进行阐述,了解到手势估计各方案的优缺点,然后介绍了基于深度学习的手势估计方法、相关数据集和评价指标,最后根据各研究结果,对当前三维手势估计所面临的挑战以及未来发展进行阐述。

基于级联卷积神经网络的彩色图像三维手势估计

估计手的三维姿态是人机交互中重要的组成部分.针对从单个彩色图像估计准确的三维手势困难这一问题,提出了一种基于级联卷积神经网络的估计方法,该级联网络分三阶段,手部掩膜估计、二维手势估计和三维手势估计,三阶段级联网络进行端到端的训练,可以实现相互促进,最终优化三维手势估计的准确性.在两个公共数据集上进行了实验,实验结果表明该级联网络产生了卓越的三维手势估计精度,验证了该级联网络的有效性.

基于深度图像预旋转的手势估计改进方法

基于深度图像的手势估计比人体姿势估计更加困难,部分原因在于算法不能很好地识别同一个手势经旋转后的不同外观样式.提出了一种基于卷积神经网络(Convolutional Neural Network, CNN)推测预旋转角度的手势姿态估计改进方法:先利用自动算法标注的最佳旋转角度来训练CNN;在手势识别之前,用训练好的CNN模型回归计算出应预旋转的角度,然后再对手部深度图像进行旋转;最后采用随机决策森林(Random Decision Forest, RDF)方法对手部像素进行分类,聚类产生出手部关节位置.实验证明该方法可以减少预测的手部关节位置与准确位置之间的误差,手势姿态估计的正确率平均上升了约4.69%.

基于LHPN算法的手势姿态估计方法研究

随着广大用户越来越追求人工智能产品的体验,手势姿态估计存在广阔的应用前景,但也是当今计算机视觉的难题。针对目前自顶向下的姿态估计模式容易受视觉传感器与目标检测精度的影响,本文提出基于轻量级手势姿态网络(LightweightHandPoseNet,LHPN)算法的手势姿态估计方法,该算法采用ConvolutionalPose Machines(CPM)算法的多层次顺序结构,在每个阶段后隐式地将上下文信息融合,并设计了轻量级主干网络,以提升手势姿态估计的综合性能。基于STB数据集对比分析不同内部结构的LHPN算法性能,并与典型算法进行对比。实验结果表明,LHPN算法能够对手势姿态进行准确估计,与CPM算法相比,在AUC方面提升了0.5%,在每帧图像运算时长方面减少了0.1358 s。

深度图像中的3D手势姿态估计方法综述

3D手势姿态估计是计算机视觉领域一个重要的研究方向,在虚拟现实、增强现实、人机交互、手语理解等领域中具有重要的研究意义和广泛的应用前景.深度学习技术已经广泛应用于3D手势姿态估计任务并取得了重要研究成果,其中深度图像具有的深度信息可以很好地表示手势纹理特征,深度图像已成为手势姿态估计任务重要数据源.本文首先全面阐述了手势姿态估计发展历程、常用数据集、数据集标记方式和评价指标;接着根据深度图像的不同展现形式,将基于深度图像的数据驱动手势姿态估计方法分为基于简单2D深度图像、基于3D体素数据和基于3D点云数据,并对每类方法的代表性算法进行了概括与总结;最后对手势姿态估计未来发展进行了展望.

基于伪三维卷积神经网络的手势姿态估计

大多数现有的基于深度学习的手势姿态估计方法都使用标准三维卷积神经网络提取三维特征,估计手部关节坐标。该方法提取的特征缺乏手部的多尺度信息,限制了手势姿态估计的精度。另外,由于三维卷积神经网络巨大的计算成本和内存需求,这些方法常难以满足实时性要求。为了克服这些缺点,提出以空间滤波器和深度滤波器级联的方式模拟三维卷积,减少网络参数量。同时,在各个尺度上提取手势姿态特征并加以整合,充分利用手势的三维信息。实验表明,该方法能有效提高手势姿态估计精度,减小模型尺寸,且在具有单块GPU的计算机上能以超过119 fps的速度运行。

基于三级神经网络的鲁棒3D手姿估计

人类在认识事物时往往是从粗到细再到精,受认识过程的启发,根据手的拓扑结构设计了一种新的手势估计网络。该方法首先从手的角度提取全局特征,然后从手指角度提取局部特征,最后从关节点的角度提取点的细化特征,并融合三个不同阶段特征回归出每一关节点的3D空间坐标值,从而改善了回归精度。由于深度图只保存了目标点到相机的深度信息,以深度图作为神经网络的输入不利于卷积核获取其他两个方向的坐标信息;为了能在2D卷积核中直接利用空间坐标的全部信息,利用相机成像原理对深度图进行转换,将深度图转换为3通道的图像,这样提高了神经网络的回归精度。最后在公开数据集NYU和MSARA上进行训练和测试,测试结果表明,提出的网络结构及输入数据的转变都取得了良好的效果。

融合多尺度特征的复杂手势姿态估计网络

目的基于单幅RGB图像的手势姿态估计受手势复杂性、手指特征局部自相似性及遮挡问题的影响,导致手势姿态估计准确率低。为此,提出一种面向单目视觉手势姿态估计的多尺度特征融合网络。方法1)采用ResNet50(50-layer residual network)模块从RGB图像提取不同分辨率特征图,通过通道变换模块显式地学习特征通道间的依赖关系,增强重要的特征通道信息,弱化次要的特征通道信息。2)在全局回归模块中,通过设计节点间的连接方式融合不同分辨率特征图,以便充分利用图像的细节与整体信息。采用局部优化模块继续提取更深层的特征信息,获得手部关节点的高斯热图,以此修正遮挡等原因造成部分关节点回归不准确的问题。3)计算经通道变换模块处理后的最小特征图,通过全局池化和多层感知机处理该特征图以获得手势类别和右手相对于左手的深度。4)综合以上结果获得最终的手势姿态。结果采用InterHand2.6M和RHD(rendered handpose dataset)数据集训练多尺度特征融合网络,评估指标中根节点的平均误差和关节点的平均误差,均低于同类方法,且在一些复杂和遮挡的场景下鲁棒性更高。在InterHand2.6M数据集上,与InterNet方法相比,本文方法的交互手关节点的平均误差降低5.8%,单手关节点的平均误差降低8.3%,根节点的平均误差降低5.1%。从RHD数据集的测试结果看,与同类方法相比,本文方法在手部关节点的平均误差上获得最小值。结论本文提出的多尺度特征融合网络能够更准确地预测手部关节点位置,适用于复杂手势或遮挡条件下的手势姿态估计(本文方法代码网址:https://github.com/cornersInHeart/hand-pose-esitmation.git)。

基于多任务学习CNN辅助Transformer的手部mesh重建

针对当前手势姿态估计算法未充分利用2D信息辅助3D手部mesh重建的问题,首次在手部Mask、2D热力图的基础上提出引入RGB图像的HOG特征图,通过多任务学习CNN的框架对2D信息进行特征提取,并针对手的拓扑结构进行信息融合增强。为了解决Transformer encoder中的隐层embeddings维度一致性以及参数过大问题,设计了一种新的MLP(multi-layer perception)模块嵌入Transformer encoder之间,达到embeddings的数量渐进增加以及其维度渐进减少的目的,从而完成手部mesh精细化的预测。实验结果表明该CNN与Transformer混合的新框架在FreiHAND和RHD数据集均取得了较好效果。