基于BP神经网络的手套式手势识别技术研究

该文以数据手套为基础，分析了手形的几何关系，建立了虚拟手的模型，提出了基于ＢＰ神经网络的手势识别方法，并给出了实验结果。

虚拟现实中基于轻量级神经网络的手势识别

手势是虚拟现实环境中的重要输入方式,手势识别的精准度和效率为虚拟现实环境的有效交互提供了基础。为了提高虚拟现实环境中手势识别的正确率和速度,提出了一种基于轻量级优化卷积神经网络的手势识别模型。首先,对手势图像样本进行特征提取及初始化,并构建卷积神经网络手势识别模型。然后,借助MobileNet V2进行轻量化处理,通过深度与逐点卷积,有效降低手势识别模型参数量和计算量。最后,根据最小化手势识别误差反向求解神经网络的各个参数。试验结果表明,所提轻量级神经网络的手势识别准确率相对于原始卷积神经网络有微小下降,但其识别效率却大幅提升,特别是在大规模手势样本的识别场景下。轻量级卷积神经网络表现出了较高的识别综合性能,在虚拟现实环境下的手势识别适应度较高。

基于节点对BP网络的数据手套手势识别

面向虚拟校园外景漫游的应用特点,采用根据手势集特征专门构造的将节点组对的BP人工神经网络,确定手势集、训练集和测试集,选定数据手套,对手势进行训练和识别,得出较令人满意的结果。最后将结果应用于校园外景虚拟漫游,达到了使用者要求。

采用输入层组对BP网络的数据手套手势识别

根据在虚拟校园外景漫游的要求,依次确定手势集、选定数据手套、构造人工神经网络、完成训练集和测试集,对手势进行学习和识别。并进一步根据应用特点和手势特征改进网络,得出较令人满意的结果。最后将结果应用于校园外景虚拟漫游,也达到了要求。

3D交互输入新技术——手势识别

本文从分析人机交互研究的目的出发 ,介绍了用户产生手势到系统“感知”手势的过程 ,包括手势的建模及识别的原理和方法 .本文在对手结构和手关节运动分析的基础上 ,提出了基于数据手套和基于视觉(摄象机 )的手势输入方式 ,通过手势图象的分析 ,采用模糊神经网络方法对手势图象进行识别 ,取得了较好的效果 ,实现了一种在虚拟环境中具有广阔运用前景的

基于神经网络的手势识别技术研究

以数据手套为基础,分析了手形的几何关系,建立了虚拟手的模型,由数据手套的数据接口获取各指节的曲伸角度,建立手势标准样本库,并提出了基于BP神经网络的手势识别方法,用手势标准样本加以训练,使其具备识别手势的功能,并利用VC++编程实现BP神经网络,用Matlab验证实验结果的正确性.

一种交互输入新技术——三维手势识别

结合文献资料及笔者的科研成果 ,综合介绍了基于数据手套和基于视觉 (摄象机 )输入手势的新的三维交互输入技术。这种技术利用计算机进行图象分析 ,并采用神经网络和几何方法对输入三维图象进行识别 ,从而实现三维的交互输出。这是一种具有广阔运用前景的新技术。

虚拟现实交互游戏中的手势识别

随着虚拟现实技术的发展和手势识别技术的不断提升,人们对自然交互的方式不断提出迫切需求。对于交互体验的游戏而言,尤为突出。此前的研究主要利用普通摄像头采集图像,获取手势的运动形态及像素信息,无法获得具有深度信息手势的三维特征。随着LeapMotion等深度传感器的出现,更多的深度信息可以被获取,为识别复杂的手势提供了可靠的数据保障。文章使用一种基于深度经网络的游戏交互手势识别系统,与以往的方法相比,具有更好的性能。

虚拟现实训练系统中基于手势的人机交互

给出了虚拟手建模和数据手套校正的方法和步骤。通过数据手套与位置跟踪设备的结合使用,得到现实世界中手的姿势以及位置,并以此驱动虚拟世界中的虚拟手进行交互操作。运用神经网络和逻辑组合的方法分别对定义的静态手势和动态命令进行识别,形成相应的操作命令。为验证所提方法的有效性和实用性,将基于手势的人机交互技术应用于某型自行火炮的虚拟驾驶训练中,受训者可以像在真实世界中一样操纵虚拟训练环境中的虚拟物体和部件,取得了满意的训练效果。

虚拟维修仿真中手势识别的研究与应用

虚拟维修训练仿真要求良好的逼真性和沉浸感,对训练操作者的动作意图能高效地转化。将手势识别技术应用于虚拟维修仿真作为的获取可以有效满足这种要求。通过装备维修动作的建模研究分析定义了能够体现动作意图的必需手势;之后采用模糊神经网络技术实现对手势的识别并建立基于手势识别的虚拟手交互控制机制。还重点对神经网络的构建以及学习算法进行了介绍,并在现有适用度计算方法的基础上结合网络实际提出了适用度的平均求解法。最后将基于手势识别的虚拟手交互控制方法应用于具体维修训练仿真中并证明了方法的可行性和高效性。

基于视觉意象的飞机座舱内塑料材质设计方法研究

为增加飞行员驾驶时的视觉舒适性,根据感性工程学的设计流程提出了基于视觉意象的飞机座舱内塑料材质设计方法。首先,选取拟采用的材质,利用虚拟现实技术结合正交实验法渲染生成材质样本;其次,收集描述视觉意象的意象词汇,设计调查问卷,以勾选频率为指标对意象词汇进行初步筛选;再次,利用多元尺度法及阶层聚类确定出代表性的意象词汇;然后利用语义差分法量化代表性视觉意象词汇与材质视觉意象的符合程度;最后构建材质的渲染参数与材料质感视觉意象的关联模型,并进行泛化能力检验,最终基于该模型进行材质设计。以不透明塑料材质为例对座舱左右操纵台进行设计,说明了方法的可行性与适用性。为座舱内部装饰设计提供参考。

基于神经网络及虚拟现实技术的智能手势识别研究

手势识别过程需要克服动作识别以及信息判断,本研究结合神经网络以及虚拟现实基础构建出智能手势识别系统。系统通过高清视频捕捉设备进行手势视频收集,通过BP神经网络进行图像处理,使收集到的视频图像转化为系统可识别的量化信息,构建出智能手势识别系统后对系统进行测试,测试表明该系统具有一定实用性,并可为后续相关研究提供参考。

基于CNN-LSTM混合模型的动态手势识别方法

动态手势识别是手势交互的关键技术,针对动态手势数据的时序性和空间不确定性造成识别困难问题,提出一种基于卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的动态手势序列识别方法。实验采用数据手套采集动态手势数据,对定义的8种动态手势进行测试,平均识别率达到了92.5%。实验表明,与单纯使用LSTM模型或CNN模型对比,所提模型识别率较高,在虚拟现实界面交互任务中用户体验更好。

基于Leap Motion的虚拟课堂手势交互方法

随着虚拟现实技术的飞速发展,Leap Motion等体感传感器出现并被广泛地应用在人机交互中.针对Leap Motion体感控制器在识别范围边缘识别率低且识别速度慢的问题提出了一种基于深度神经网络的Leap Motion手势交互方法.该方法在定义的交互手势基础上,设计了三维交互系统并应用到虚拟场景中.系统首先通过Leap Motion进行数据捕捉,对获取到的红外图像采用深度神经网络进行特征提取并实现对手势的分类识别,然后结合Leap Motion获取的手部坐标前后帧的变化来判断动态手势,最终结合动态手势完成虚拟场景中的交互功能.经过实验验证,本文手势识别方法无论是在识别速度还是识别精度上都优于Leap Motion自带的手势识别方法,同时在Leap Motion识别范围边界处仍能保持较高的识别率.