基于虚拟仿真方法的手部姿态数据集构建技术

手部姿态是人机交互的重要载体,姿态信息的获取和识别很大程度上依赖于手部姿态数据集。现有的数据集分成2类:真实数据集和合成数据集。真实数据受限于设备与环境等因素,手部姿态类别不足且标注掺入大量人工误差。而目前存在的合成数据虽然可以解决真实数据的数据量问题,但生成的手部姿态有限且存在一些不合理的运动学姿态,获取的数据往往也只有RGB图像。通过研究手部的解剖学结构,基于虚拟仿真方法,创建了手部的虚拟三维运动学模型和一个手部姿态仿真生成器。利用该生成器构建的手部姿态数据集既可以有效解决真实数据数据量不足、标注准确度低、人工标注工作量大等问题,也可以解决当前合成数据手部姿态类别不足且数据模态单一的问题。

基于数据手套的人机交互环境设计

在对手结构和手关节运动深入分析的基础上 ,建立了基于约束的、以关节为节点的“父、子物体”链接的虚拟手模型 ,绘制了虚拟手 .通过对数据手套及接口的分析与设计 ,根据手运动类型的约束条件及图形变换原理 ,实现了基于数据手套的手势合成、碰撞检测和碰撞处理的三维交互操作环境 .在该虚拟环境中 ,虚拟手可以进行飞行、抓取。

虚拟手模型及其抓取技术

在深入分析手的解剖结构和运动特点的基础上 ,采用层次结构建模方法 ,建立了虚拟手模型 .然后针对已有的虚拟手抓取规则过于简化的特点 ,提出了一种新的虚拟手抓取规则 .该规则能够使虚拟手正确地抓取虚拟环境中的物体 .最后运用虚拟手模型和抓取规则实现了虚拟手对虚拟物体的抓取。

虚拟环境下物体的手抓取

本文分析了手模型及其虚拟环境下物体的操作方法,提出了点接触平面法矢的手握持抓取方法。在此基础上运用虚拟手模型和抓取规则实现了在虚拟环境下对物体的抓取、移动和释放,实例说明能够使虚拟手正确地抓取虚拟环境中的物体。

基于数据手套的虚拟手精确建模的研究与实现

研究针对虚拟手与真实手的运动匹配问题,结合人手部的解剖学特征和机构学原理,提出将手部简化为合理的杆架机构,并采用实际物理参数测量等手段,为保证手部几何模型及运动映射的精确性与个性化,给出运动学建模、数据手套标定及采集数据处理的具体方法。结果搭建试验的平台对方法及实现进行验证,试验中虚拟手与真实手运动匹配良好,表明提出的实现方法有效且实用。

人手的运动学仿真及基于知识的控制方法

在对手部结构进行分析的基础上 ,给出了受约束的人手运动学模型 ,并重点研究了基于虚拟现实的人手运动仿真 ,建立了虚拟手遥控操作仿真实验系统 ,通过它进行单指、成组和整手控制 ,并实现了基于知识的抓取操作。

基于神经网络的手势识别

本文在对手结构和关节运动作了深入分析的基础上，建立了对其施加约束的手模型．根据所定义的约束及运动类型，建立了适合于手势合成的手数据结构．并采用神经网络理论进行手势识别，取得了较好的效果．

基于手指运动方向的动态碰撞检测算法及实现

通过对虚拟手抓握物体时手指运动过程的分析,提出基于手指运动方向的动态碰撞检测算法,在详细描述该算法的基础上,给出算法流程图、算法实现框图和应用实例。针对单个手指与球体的接触过程,将此动态碰撞检测算法和传统的静态碰撞检测算法进行性能测试比较,结果证实该动态碰撞检测算法在总体性能上优于传统静态碰撞检测算法,主要体现在提高了抓握操作仿真过程中碰撞检测阶段的运行速度、解决了抓握操作中以多面体模型之间的碰撞检测仿真实体模型之间的碰撞检测问题。该动态碰撞检测算法并可以推广应用于其他动态碰撞检测仿真。

基于模糊神经网络的手势识别

本文通过对人手结构和手关节运动的分析 ,建立了手模型及其相应的数据结构 .由数据手套的数据接口获取各指节的曲伸角度 ,建立手势标准样本库 ,并提出了采用模糊神经网络进行手势识别 ,用手势标准样本加以训练 ,使其具备识别手势的功能 .试验结果表明 。

基于Node.JS的远程实时虚拟康复训练系统研究

目的:建立远程实时虚拟康复训练监控系统,利用虚拟现实的视觉等反馈机制,帮助医生及时了解患者现状并指导下一步康复,便于患者在离院康复过程中接收医生专业化评价。方法:通过Node.JS和Socket.io构建远程实时数据传输系统,服务器端采用弯曲传感器测量手指弯曲程度,利用串口通过蓝牙模块传输数据,从而构建无线数据手套。同时利用Node.JS构建服务器,使用node-serial port接收串口数据,并使用Socket.io建立远程实时连接。客户端采用支持Web Socket的Mozilla Firefox浏览器,采用网页形式登录服务器,接收远程实时数据。通过j UART模块将数据以串口形式发送,虚拟手模型单元接收串口形式数据,数据提取后用于控制虚拟手。结果:通过Node.JS建立了稳定的远程实时数据传输,可以将弯曲传感器数据准确传输,以控制不同地域下的三维虚拟手模型。结论:构建一套基于Node.JS的远程实时虚拟康复训练监控系统,用于离院后患者脱离医生指导下的手部运动康复。结论:远程实时虚拟康复训练系统可构建一套基于无线式数据手套的虚拟手控制系统,能够有效用于患者的手部运动康复。

基于虚拟现实技术的油田仿真培训系统的设计

油田作业培训的安全问题一直备受关注,为了保证油田作业培训的安全性,将虚拟现实技术应用于油田仿真培训工作,建立油田仿真培训系统。该系统基于虚拟现实技术,设计了油田仿真培训系统的总体结构,提出了演示、操作演练和考评三种培训模式,阐述了交互式菜单和对三维实体的交互式操作两种人机交互方式,引入了虚拟人和虚拟手的模型及控制技术。该系统虚拟场景逼真,培训功能齐全,用户可以进行多视点、多场景的浏览,让用户有身临其境的感觉,目前已经应用到实际培训中,效果良好。

虚拟装配中基于生理约束的虚拟手建模与抓持规划

为控制虚拟手准确合理地完成虚拟零件的抓握动作,以方便快捷地实现虚拟装配仿真,在深入分析人手的解剖结构和关节运动生理约束的基础上,提出利用层次结构并借助三维虚拟现实软件EON,建立虚拟手几何模型和实现抓持控制的方法。该方法将手指简化为三关节连杆结构,采用逆向运动学方法,针对待拾取零件的位置计算出在目标位姿下各运动关节的角度值,进而利用关节插值方法,以迭代的方式实现对手部关节链上各个关节的运动控制,仿真结果验证了上述方法的可行性与实时性。

虚拟现实中手的建模

基于手势的交互技术正在成为虚拟现实技术中的研究热点，为使人能通过手以自然直观的方式与虚拟环境进行交互，研究了基于手势的交互技术．人手的结构非常复杂，有２７个自由度．文中在分析了手的解剖结构和运动特点的基础上，将手指简化为连杆－关节操作器，建立了手的运动学模型和几何模型．

手部运动计算机仿真的实现

根据手部自身的物理特性和生理特性,采用分层技术,严格按照手部解剖学,先建立其骨骼模型,在此基础上形成肌肉模型,最后在肌肉模型上附加一层皮肤。这样,骨骼运动引起肌肉的变形,随着皮肤也跟着发生相应的变化,使虚拟手模型无论从形状上还是运动上都能达到更高程度的逼真效果。

具有实时交互功能的虚拟手的设计与实现

现有传统的建模软件可以进行三维建模,但是这种模型缺乏实时交互性能,即模型动作是预先设定好的,用户不能够实时的和模型进行交互。针对这一问题,提出了一种改进的虚拟三维模型重建的方法,采用插帧和顶点变换等算法,有效地实现了用户和虚拟三维模型间的实时交互,并以人手骨骼结构为例进行建模,实现了各关节和真实人手具有相似的自由度。实验结果表明,虚拟人手系统增强了虚拟人手的真实感和交互性,实现了虚拟人手的实时控制。

虚拟手的姿态控制与变形仿真

iHandRehab应用机器人技术与虚拟现实技术对手部损伤患者进行康复训练。主动模式下的训练任务需要在虚拟环境中模拟人手抓持和释放物体的真实过程,难点集中在虚拟手与刚性物体接触时的姿态控制和局部变形计算。根据人手的组织结构和运动特征将食指和拇指简化为3指节串联机构,通过改变各关节的旋转角度来实现虚拟手的自由运动。虚拟抓持过程中以手指的运动学模型为基础,结合前后指节需要满足的约束关系确定虚拟手的最终姿态。指节和物体分别采用点壳和距离场模型进行碰撞检测,根据点壳上碰撞点的嵌入信息计算虚拟手在接触区域的局部变形量。实验结果表明:模型能够实时准确地模拟人手抓持刚性物体时的真实状态。

手太阴肺经在虚拟人体上的可视化研究

目的:显示手太阴肺经在虚拟人上的体表循行路线。方法:通过定义腧穴为控制点,并适当插值,合成骨架曲线,实现面绘制,重建经脉管状模型。结果:重建后的经脉模型视觉效果好,并可以显示手太阴肺经循行路线上不同层次的解剖结构。结论:初步实现了手太阴肺经在虚拟人体上的可视化显示,为构筑经络研究平台提供了数据载体。

基于数据手套的虚拟人手运动建模系统的研究

研究了基于WiseGlove7S数据手套的虚拟人手运动建模系统的研究,阐述了数据手套的光纤传感器分布,提出了传感器值归一化和手势自定义的方法;对数据手套和虚拟手的软件开发包进行了详细的描述;最后基于OpenGL和Unity 3D平台分别实现了虚拟人手手势建模和虚拟人手运动运动建模。通过这些研究,可为虚拟现实中虚拟人手运动的应用提供一定的借鉴。

基于数据手套和跟踪器的虚拟手臂建模

文中利用数据手套和跟踪器获取手臂各关节运动数据,根据关节运动限制对所获取数据进行处理,建立了符合人体运动规律的虚拟手臂数学模型,实现了虚拟环境中与试验者的手臂同步运动、效果逼真的虚拟手臂模型。

一个虚拟手原型的实现

以５ＤＴ 公司生产的数据手套作为手势输入设备，开发了一个虚拟手原型．它以手的运动学模型为基础，采用层次结构法构造手的几何模型，极大地方便了虚拟手的图形显示和实时更新的实现．根据人手的运动约束关系得到各关节弯曲角度的相对比例关系，就能从数据手套得到的７ 个传感数据获得整个手的运动情况，并用静态碰撞检测法处理虚拟手与其他物体的碰撞检测，在运行期间不断地对用户手势进行手势映射计算找到最匹配的手势，执行与该手势对应的动作．本原型简单易行，便于增加手势，最后给出了实现结果．