Leap Motion关键点模型手姿态估计方法

在虚拟操作的人机交互中,为解决视觉方式人手姿态估计的问题,提出一种基于Leap Motion采集设备的关键点模型手姿态参数估计方法.该方法通过建立关键点模型,利用Leap Motion采集的少量手势信息计算模型中人手关键点的空间位置,并将其作为手姿态的估计参数.实验结果表明,文中方法能够实时地估算出手各个关键点的位置以驱动虚拟手运动,为基于手势的虚拟操作人机交互应用奠定了基础.

两种手姿态在不同攻角下划水的数值模拟

该文旨在用计算流体力学(CFD)的方法研究游泳推进问题,建立了手掌和前臂的联接模型,并生成3D非结构网格,计算了两种不同手姿态:并拢和张开在不同来流速度和攻角下的推进阻力和推进升力,并结合计算结果进行了流场分析,研究了两种手姿态对推进效率的影响。结果表明,在各个攻角状态下,手并拢划水均能获得更高的推进效率。

基于ARM的嵌入式手姿态跟踪设备控制系统研究

人机交互过程中获得人的动作是一个关键,为了实现手部姿态的实时跟踪控制,分析了手形及手部的运动形式和特点,研究设计了一种基于嵌入式系统的手部姿态跟踪控制系统。该系统采用ARM9架构和Linux实时操作系统作为开发平台,设计开发了系统的应用程序,通过动态手势识别算法,实现了连续手姿态的识别。所研究实现的手部姿态跟踪控制系统能够较好地实现手姿态的跟踪,具有较高的实时性。

基于关节点遮挡推测的多相机手姿态估计方法

基于视觉的手势交互技术被应用在航天员虚拟训练系统中,其中基于视觉的手姿态估计方法是关键。由于手部关节多、自由度高,因此航天员在操作过程中易出现手势自遮挡,此时难以准确重建航天员手势操作,进而难以构建合适的虚拟训练系统。当关节点严重自遮挡时,甚至出现不能被识别或姿态估计结果畸形的情况。为此提出了基于关节点遮挡预测的多相机融合手姿态估计方法,在不同视角利用单幅手部图像进行关节点遮挡预测和手姿态估计,再依据关节点遮挡预测结果,在决策端将各视角的手姿态估计结果进行融合;并采集双视角手势操作视频样例,设计融合实验进行验证。实验结果表明:通过融合可以有效解决单一视角自遮挡严重、手姿态难以估计的问题,避免了传统多相机方法的相机校准和数据特征匹配过程,在保证算法实时性的基础上提高了手姿态估计的精度。

基于深度学习的手姿态识别与估计优化算法

文章通过项目总结、调研分析、反思创新,提供了一种基于深度学习的手姿态估计优化算法,以通过优化的神经网络算法提高手姿态在不同场景下识别的准确率。在文中指出了基于深度学习的手姿态估计优化神经网络的搭建、训练方法,提出了方法的技术特征,为不同场景下的手势姿态的精准识别提供了新的理论方向。

多尺度高分辨率保持和视角不变的手姿态估计

目前基于彩色图像的手姿态2D关键点热图估计大多数采用卷积姿势机或沙漏网络进行,但这两种网络不能同时满足高分辨率表示保持学习和多尺度特征融合。针对该问题引用了一种多尺度高分辨率保持的网络,该网络采用高低分辨率表示并行设计的结构,并通过融合所有分辨率表示增强各分辨率表示的特征,而且拥有多个阶段提取高质量特征用于2D热图估计。为得到3D手姿态,还使用了全局旋转视角不变的方法将2D热图映射到3D姿态。在三个公开数据集(RHD、STB、Dexter+Object)上分别对2D手姿态估计和3D手姿态估计进行了实验,结果验证了该方法在手姿态估计中的有效性。

基于多视图投影的半监督手姿态估计算法

为解决手姿态估计中标签数据的获取困难问题,该文提出了一种基于多视图投影的半监督学习方法,减少对标记数据的需求。首先,从单张深度图中分割出手部区域,将其投影至3个正交平面;而后,采用编解码模型学习两个投影视图在低维度隐空间中的关联表征;最终,结合标记数据,学习低维度隐空间表征到手姿态三维坐标的回归映射。实验表明,该方法减少了对标记数据的依赖,在NYU手姿态估计数据库上获得了较好的结果。

改进型手姿态关键点估计方法在Leap Motion中的应用

在虚拟现实和人机交互交叉领域中,人手姿态的精确估计显得尤为重要。通过对基于Leap Motion的手姿态关键点模型的研究,提出一种改进型的手姿态关键点估计方法。该方法基于三维骨架模型所提出的解三角形或解四边形的方法,通过采集大量手姿态作为样本,并进行特征提取,得到各指间关键点的位置及角度关系作为参数,将关键点连成一个网状曲面,从而形成一种新的通过指间关系进行关键点估计方法。实验表明,改进后的方法在关键点的位置估计准确率达到98%,明显提高了手姿态关键点估计得精确性和鲁棒性,并且通过各指间关键点的变化作为手姿态识别的预判,为动态手势识别方法的改进奠定了基础。

基于HR-MANO的手姿态动作识别算法研究

利用改进的端到端学习目标检测算法对普通摄像头拍摄的RGB视频图像中的手部目标进行检测。在检测时将特征映射函数重新定义,使其满足特征图谱具有高分辨率并且将图像转为特征图谱的卷积层足够深的条件,使用交叉熵损失作为分类损失函数。利用HR-MANO对手部姿态动作进行3D估计和识别,将手部的标准mesh由一个平均mesh替代,在MANO算法模型之前增加了HRNet和ResNet网络。实验在FreiHAND数据集上进行,结果表明算法模型优于其他方法,能够对手姿态动作进行有效识别。

基于双分支多尺度注意力的手三维姿态估计

手部三维姿态估计旨在基于输入的二维手势图像预测手的三维关节点位置,其在虚拟现实、自然人机交互、自动驾驶等领域有广泛的应用前景.基于单张彩色图像的手姿态估计具有现实应用的普适性但也面临更大挑战.针对手部多关节复杂难建模问题,本文提出了基于双分支的手三维姿态估计框架.所提双分支网络结构的一个分支用于描述同一手指不同关节之间的物理连接关系,另一分支用于描述不同手指相同关节之间的对称运动关系,两种结构互补建模了手关节之间的复杂关联关系.对于每一分支,提出了基于多尺度注意力GUnet和改进语义图卷积的单分支手姿态估计方法,利用手关节的多尺度上下文信息和尺度间注意力提升姿态估计的准确性.本文在公开的STB和FreiHand数据集上进行了系列实验,实验结果表明本文所提方法优于现有的基于单张RGB图像的手姿态估计方法,平均关节误差相对基线方法分别降低了0.6 mm和0.8mm.

颈椎姿态调衡手法配合中药内服外敷治疗不同临床分型的颈性眩晕的临床研究

目的探讨颈性眩晕有效的治疗方法,分析和评价中医药对不同临床分型的颈性眩晕的治疗优势。方法将200例颈性眩晕患者按照就诊时门诊号或住院号的最后一位数字的奇偶数分组,奇数为实验组,偶数为对照组,实验组患者根据临床分型标准分为上颈性眩晕组及下颈性眩晕组,上颈性眩晕组患者给予颈椎姿态调衡手法配合中药内服治疗,下颈性眩晕组给予颈椎姿态调衡手法配合中药外敷治疗,对照组采用抗眩晕药物治疗,对其治疗效果进行统计学分析。结果实验组颈性眩晕患者治疗有效率及治愈率均高于对照组,两组临床症状比较差异有统计学意义(P<0.05)。结论对颈性眩晕进行临床分型后治疗能明显提高该病的治疗效果,从临床方面证实颈性眩晕临床分型的正确性。

基于手形和姿态的军用动态手势识别方法研究

针对士兵在训练军用作战手势时无统一判别标准的问题,提出了一种通过识别手部细微动作和手臂姿态动作,按既定的时序输出识别为军用手势的方法。使用MYO臂环获取表面肌电和加速度信号,采用巴特沃斯滤波对信号进行预处理,使用移动平均阈值法确定动作区间,分别提取肌电信号特征和加速度信号特征,输入到支持向量机(SVM)和BP神经网络分类器,实现了军用动态手势的分类,并将识别结果可视化实时显示。结果表明:该方法可实时识别14种复杂军用手势,使用SVM分类效果更好,整体识别率可达91%,可用于帮助士兵训练军用作战手势。

基于Kinect的无标记手部姿态估计系统

随着计算机技术的发展,人机交互的方式越来越多样化,声音、手势、肢体动作等都可以用来向计算机传递信息.本文实现的手部姿态估计系统,使用Kinect作为输入设备,在无标记的情况下对人体手部的姿态进行估计、跟踪,恢复出人体手部的姿态信息.采用参数化的手部三维模型,提出了有效的评价函数衡量三维模型投影结果与真实观测值之间的差异,使用改进的粒子群寻优算法求解该评价函数的最优解,进而得到手部姿态信息.针对手部运动帧间的连续性,使用前一帧的优化信息初始化当前帧粒子群,提高了粒子群优化算法的收敛速度.此外,还利用了粒子群算法的内在并行特性,使用GPU并行加速,并针对手部图像处理这一具体任务加以优化,达到了20Hz的处理速度.

肌压控制电动手的开发

采用不影响手姿态的肌肉动作 ,驱动压力传感器 ,控制电动手抓取、放下物品 ,从而研制出不与身体接触的控制电极电动手 ,特点是使用方便 ,性能稳定 ,容易普及。

基于级联卷积神经网络的彩色图像三维手势估计

估计手的三维姿态是人机交互中重要的组成部分.针对从单个彩色图像估计准确的三维手势困难这一问题,提出了一种基于级联卷积神经网络的估计方法,该级联网络分三阶段,手部掩膜估计、二维手势估计和三维手势估计,三阶段级联网络进行端到端的训练,可以实现相互促进,最终优化三维手势估计的准确性.在两个公共数据集上进行了实验,实验结果表明该级联网络产生了卓越的三维手势估计精度,验证了该级联网络的有效性.

基于手势和真三维显示的交互作用初步构想

立体显示为三维交互和视觉显示提供了机会和挑战。本文通过叙述三维显示物体之间相互的操作技术来介绍这一领域。通过在半球形的封闭空间中的手指运动追踪为直接手势和实质物体的交互作用提供模拟。包括一个360°全视角的三维显示特性,同样包括实际精确的感觉,真三维场景中的实际景深信息。

基于体素的人手结构自动估测

目的人手结构估测是建立个性化3维人手模型以及进行人手姿态估测的重要步骤之一。由于人手骨架为表皮所覆盖,普通摄像机无法直接获得其结构,因此常常需要人员参与估测过程,无法真正实现自动化,这必然会增加估测的时间和估测的复杂度。方法本文从人手纹理与人手关节位置相关性出发,利用一套图像分割和图像增强技术提取出大致的人手连接结构;再利用多视点3维建模、3维拟合技术和粒子群优化算法,优化之前得到的人手连接结构。结果经实验证明该方法能成功地提取出人手结构,估测的每个阶段均无需人员参与。结论与之前方法相比,该方法真正实现了估测过程自动化,减少了估测时间和估测误差。