基于手势识别的矿车智能控制技术研究

针对露天矿区用于物料运输的矿车控制需求,设计一种基于手势识别的矿车智能控制系统。首先,通过配有加速度传感器的数据手套采集手势数据,经蓝牙模块实现信息的无线传输,再利用微控制器ATmega328P实现控制信息的分析和处理,采用PID控制算法得出矿车的电机转动参数,从而实现对矿车车轮的控制。同时,设计以树莓派4B为主控,搭载有LCD显示器、扬声器、麦克风和摄像头等模块的系统,用以实现音视频的实时互传等功能。实验结果表明,该系统能根据手势的变化对矿车的行驶进行准确地控制,具有十分可观的应用前景。

CAS-Glove型数据手套运动建模与软件系统开发

数据手套是虚拟现实系统当中一种通用而且非常重要的交互设备。本文首先介绍了一种新型数据手套CAS-Glove,然后根据手指的生理约束条件,以及CAS-Glove中传感器的布置和特点,建立了一种改进的手指运动模型。最后对与其相配套的软件系统的组成、主要功能、实用的标定方法和数据处理过程做了详细介绍。

基于数据手套的手势识别及无人机控制系统

与载人飞机相比,商用无人机具有体积小、造价低、使用方便、对作战环境要求低、战场生存能力强等优点,备受多方面的青睐。面对复杂的飞行环境,遥控器、地面站等传统控制系统已无法满足应用要求。考虑到用户使用习惯和无人机控制的可及性,本文提出了一种基于数据手套的无人机端侧控制系统和一种实时的动态手势分割算法。首先通过设置角速度阈值,分割长短不一的动态手势;然后采用线性插值法和组合数据均值法,将长短不一的动态手势重新采样至定长;最后还提出了一种多流一维卷积与Transformer相结合的手势识别算法,在测试集与户外实验上分别取得了98.76%和97.78%的高识别率,这比传统LSTM算法的识别率分别提高了3.39%和5.56%,表明该算法不仅具有良好的识别性和泛化能力,且具有良好的实时性和快速响应能力,户外实验中单次手势完成后0.8s内,无人机便可以执行相应指令,展现出了良好的应用潜力。

元宇宙多模态触觉感知与交互的数据手套技术研究

为了提升元宇宙虚拟手交互的逼真性,研发了一种多模态触觉感知与交互的数据手套系统,该系统具有硬件集成度高、响应速度快、数据采集精确和轻便易穿戴的特点。人手穿戴此数据手套后,系统能够采集人手操作时的温度、指尖按压力和手指弯曲程度等数据,并把这些数据实时赋予给虚拟环境中的虚拟手,让虚拟手具有类似人手的动作行为和感知。提出了一种多通道循环采集数据方法,该方法可以高效且准确地捕捉温度、指尖按压力和手指弯曲程度等异构多模态数据,减轻了数据手套的硬件电路复杂性。实验结果表明,此数据手套在获取实时手指动作信息方面精度较高,提升了虚拟手动作的灵活性、直观性和自然性。

基于动作捕捉追踪器及数据手套的VR拓展设备设计

元宇宙应用对虚拟设备提出了更高的交互需求,为此设计了一种基于动作捕捉追踪器及数据手套的VR拓展设备。该动作捕捉追踪器通过采集惯性传感器(IMU)获取人体胸部、腰部、腿部身体姿态数据,由数据手套采集定位器的电压获取5个手指的弯曲程。该系统采用ESP32作为主控器,搭载FreeRTOS嵌入式实时操作系统,各终端通过Wi-Fi及蓝牙协议与PC通信。数据接入SlimeVR Server及Open Gloves等开源VR系统,生成3D模型并在虚拟环境下还原人体动作。下位机同时获取手指限位数据,输出PWM信号控制舵机,实现了VR力反馈体感手套,各下位机终端均具有完善的调试接口及电源设计,各设备利用Solidworks软件建模并进行3D打印。通过开源项目的支持,本设计可在已有家用VR头戴及其配套定位手柄的情况下,提供腰部、腿部、脚部及手指等部位的追踪,在VR软件中实现全身追踪效果,从而提升了虚拟设备交互能力。

基于云平台交互的手部康复训练评估手套

为了协助医生实现远程指导病人进行手部康复训练,提出了一种基于云平台交互的手部康复训练评估手套的设计。该系统利用示教手套采集医生的手部姿势数据,将其通过云平台转发至气动式的康复训练手套,控制康复训练手套执行对应动作以辅助患者同步运动。实验结果表明,该系统具备在线康复训练指导的能力,为提高医护人员工作效率和减轻患者负担提供了一个有效途径。

Eliminating Forgers Based on Intra Trial Variability in Online Signature Verification Using Handglove and Photometric Signals

The novel reinforcement to the data glove based dynamic signature verification system, using the Photometric measurement values collected simultaneously from photo plethysmography (PPG) during the signing process is the emerging technology. Skilled forgers try to attempt the genuine signatures in many numbers of trials. The wide gap in the Euclidian distances between forgers and the genuine template features prohibits them from successful forging. This has been proved by our repeated experiments on various subjects using the above combinational features. In addition the intra trial features captured during the forge attempts also differs widely in the case of forgers and are not consistent that of a genuine signature. This is caused by the pulse characteristics and degree of bilateral hand dimensional similarity, and the degrees of pulse delay. Since this economical and simple optical-based technology is offering an improved biometric security, it is essential to look for other reinforcements such the variability factor considerations which we proved of worth considering.

基于Arduino和STM32的主动式手部训练系统

手部功能障碍患者在家自行练习康复动作时,由于缺乏科学的指导,训练步骤混乱,动作的精度与强度难以得到保证,从而影响了康复效果。本文设计了一套基于Arduino和STM32的主动式手部训练系统,系统分为数据手套、动作指导手掌和上位机三大部分,数据手套通过传感器获取手指和手腕的转动角数据并进行处理,然后将数据无线传输给动作指导手掌,动作指导手掌中的控制器STM32将接收数据与标准动作数据库进行比对,分析动作标准度,然后通过语音指导患者做出调整。STM32根据运动数据驱动六个数字舵机带动仿生手掌运动,从而模仿人手动作,系统使用LD3320识别患者命令,进行人机交互。系统通过上位机将标准动作数据库下载至STM32外扩闪存中,用于患者手部动作数据比对。实验结果表明,该系统能够有效指导患者完成整套康复训练动作,数据读取准确,指导精准可靠,交互性强,可以帮助我国约600万脑卒中手部运动功能障碍患者进行康复训练,具有很强的应用价值。

基于外骨骼的数据手套设计及控制研究

针对可穿戴式外骨骼机器人上的装备控制,设计了一种基于外骨骼的数据手套,该外骨骼数据手套的功能为通过手势变换输入信号控制外骨骼上的装备运作。外骨骼数据手套的控制方法为通过不同手指组合绷直带动外骨骼骨架触碰到不同的开关,使单片机采集到不同的信号来调用所需功能。这种控制方式相比于对比手势模型类型的数据手套,控制较简单、成本更低廉。同时,利用解剖学对输入指令的手指进行筛选来选出灵活度较高的手指,通过机器人学D-H法对手指机械骨架进行运动学正解分析,并使用ADAMS软件做运动学仿真帮助尺寸设计。最后基于SoildWorks软件对外骨骼数据手套进行了建模以及实物实验,验证了所提出的控制方式的正确性与合理性。

基于虚拟现实技术的心理健康状况测评系统

传统测评系统难以构建出虚拟的测试环境,导致心理健康状况测评效果较差,因此设计基于虚拟现实技术的心理健康状况测评系统。该系统利用传感器、数据手套、头盔显示器等硬件设备采集测评人员心理健康数据;利用图像模块、交互控制等模块结合VC++和OpenGL构建虚拟现实心理健康评测环境,以提高测评有效性。使用层次分析法构建测评模型,完成心理健康状况测评。实验结果表明:该系统生态效度接近100%,且测评人员的空间存在感、参与感百分比均超过95%,虚拟现实模拟效果较好。

一种面向遥操作的新型数据手套研制

本文主要介绍了自制的 BHG- 型数据手套的设计、原理和实验 ,给出了该数据手套的性能、优缺点和实验数据 ,并借助图形仿真模型验证了利用数据手套在虚拟环境下进行人机交互的可行性 ,最后通过数据手套对灵巧手控制实验说明了其在遥操作领域应用的有效性 .

虚拟装配中基于数据手套的虚拟操作研究

在虚拟装配中,采用数据手套对虚拟物体进行虚拟操作,是进行虚拟装配的重要手段。首先给出了数据手套的虚拟操作流程,探讨了虚拟操作中存在的三个关键技术问题碰撞检测问题、手的穿透限制问题、手的抓取和拖放问题。然后对这三种关键技术逐项进行了剖析,并在此基础上给出了具体的解决算法面向对象的基于包围盒的碰撞检测算法、基于面片的穿透限制算法和抓取与拖放算法。最后构建了虚拟装配试验系统对这几种解决方案进行了验证。这几种算法能够保证虚拟装配系统的实时性和真实性,较好地解决了虚拟操作中存在的问题。

基于VR的航空发动机虚拟教学实验系统设计

通过航空发动机虚拟教学实验系统的建设,将VR(VirtualReality)技术中的三维立体仿真建模、三维场景管理、基于数据手套与碰撞检测的人机交互式虚拟装配、基于立体眼睛与头盔的立体显示等技术进行了一次综合的实验探索,是将VR综合技术与实验课堂教学相结合的一个尝试。重点论述了系统开发中模型建造的几何建模和实例化、视点控制、虚拟手建模及数据手套交互、立体显示技术等。该系统通过对某航空发动机提供虚拟装配及拆卸、模化教学实验、模型流场的动态显示及发动机试车等实验系统,将学生的视、听积极性充分调动起来,使学生可获得身临其境的感受和体会。

基于PSO改进的BP神经网络数据手套手势识别

针对5DT数据手套手势识别这一问题,提出BP神经网络和PSO算法相结合的识别方法。首先利用特征提取和归一化方法建立通用手势模板,并基于此模板采用BP神经网络进行训练学习,同时通过PSO算法修正BP神经网络的权值和阈值,将训练完毕的神经网络用于实际操作过程中的手势识别。该方法既保留了BP算法结构简单、易于实现的优点,同时避免了不同操作者复杂的标定过程。仿真和实验结果表明,所提出的控制方法有效的缩短了学习时间,并且提高了识别过程的实时性和精确性。

一种基于数据手套的静态手势识别方法

在虚拟环境的交互任务实施过程中,手势识别的正确率和效率将直接影响到操作者的沉浸感和成功率.针对已有的手势识别方法难以在既保证较高识别正确率的同时又满足实时性要求的问题,提出一种能够有效用于静态手势识别的手型特征提取方法以及相应的手型特征点集匹配策略.首先,利用可穿戴式设备——数据手套采集多种原始的手部运动数据,对这些数据进行预处理后构建出手势库;然后,提取并表示每一种手势的手型特征;最后,运用特征点集模板匹配方法进行手势识别.实验结果证明,该方法在手势类别数目较大(25类手势)时识别正确率能够达到98.9%,并且计算量小、效率高,能够保证用户和虚拟环境交互的实时性.

虚拟装配环境中的人机交互技术研究

为了解决虚拟装配系统中的人机交互问题,结合虚拟装配环境,给出了数据手套和三维跟踪器的驱动类,阐述了数据手套和三维跟踪器的原始数据获取方法和处理策略.提出了综合使用数据手套和三维跟踪器数据进行手势识别与命令映射的方法;采用非模态的动态透明菜单和对话框作为数据手套和跟踪器的补充方式进行人机交互;讨论了通过虚拟手操作零部件模型的虚拟装配过程.通过开发基于三通道投影的虚拟装配环境,对数据手套、三维跟踪器以及头盔显示器等应用进行了实例验证,验证结果表明上述方法有效可行.

基于无线数据手套的手势识别方法研究

针对大场景的展览展示应用中便捷交互性问题,主要研究并实现了一种基于无线数据手套的手势识别方法。该方法可应用于大场景的展览展示、主题馆、大众娱乐等领域。该无线数据手套采用CC2530作为主控芯片,设置了4个手指按键,采用Xsens MTi传感器实时获取手套数据,利用RS232串口完成无线通信。通过串口与无线数据手套通信,实时获取手套运动数据,并进行数据转换,提取手套运动的朝向、加速度、旋转角度等特征,完成手势比对,最终实现手势识别。实验验证表明,该方法是可行有效的。该方法已经实际应用在了大场景的城市规划数字沙盘展示项目中,系统运行稳定,效果良好。

基于数据手套和神经网络的数字手势识别方法

针对使用数据手套进行数字手势识别时存在个体差异的问题,使用弯曲电阻片设计了数据手套并提出了基于神经网络的数字手势识别方法.首先,在分析测量电路原理的基础上结合弯曲电阻片的特性优选了电路参数,使手指弯曲角度测量的灵敏度最大化.其次,针对用户在手指长度、手势习惯上存在个体差异的情况,提出了一种基于弯曲信号自学习和广义回归神经网络(GRNN)的数字手势识别方法.数据手套信号测试及数字手势试验结果表明,采用优选的电路参数时测量电路的输出振幅最大;在全体评估试验和个体交叉评估试验中,经过自学习预处理后的数字手势识别平均准确率分别为99.2%和96.1%,与未进行自学习处理的识别结果相比分别提高了2.8%和10.7%.在全体评估试验和个体交叉评估试验中,GRNN的识别结果均优于决策树的识别结果.

虚拟现实环境下虚拟手控制技术研究

虚拟手控制是虚拟现实关键技术之一。根据手的解剖结构和运动约束关系,建立了虚拟手的关节模型和实体模型。通过数据手套获取手指姿态数据进而确定虚拟手指弯曲的角度,通过驱动关节实体在其局部坐标系中的旋转运动来实现虚拟手指的位姿控制。通过位置跟踪器获取操作者手掌的位姿数据,采用数据分解和矩阵变换的方法将其映射为虚拟手掌在虚拟现实环境中的位姿,实现了对虚拟手的准确控制。

基于18-传感器数据手套手部交互模型的建立

虚拟现实技术应用到遥操作机器人系统中可以克服通信时延对系统的影响,其交互设备数据手套用作遥操作机器人系统的主端控制装置可以在人机交互中充分发挥手的自然性和灵巧性.介绍了美国Immersion公司生产的CyberGlove的特点及使用方法,接着分析了人体手部的生理结构,将手部运动自由度分解为手部姿态22个自由度和空间位置6个自由度.在建立虚拟手部模型的基础上,以具有18个传感器的数据手套作为手势输入设备,通过人体手部运动学模型建立了数据手套与虚拟手模型之间的联系,利用3DSMAX、OpenGL编程实现了人手与虚拟手模型的交互操作.