采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。

虚拟现实技术用于肱骨外科颈骨折手法复位功能锻炼

目的探讨基于Kinect体感游戏的虚拟现实技术在肱骨外科颈骨折手法复位功能锻炼中的效果。方法将肱骨外科颈骨折需手法复位的114例患者按随机数字表法分为观察组和对照组各57例,对照组进行常规功能锻炼,观察组利用Xbox360体感游戏机、Kinect体感摄像机,KinectSports第一季、第二季中的部分体感游戏进行功能锻炼。结果观察组术后3、6个月肩关节Mallet评分显著高于对照组(P<0.05,P<0.01),24周的锻炼依从性显著高于对照组(P<0.01)。结论在肱骨外科颈骨折手法复位功能康复中运用基于Kinect体感游戏的虚拟现实技术趣味性强,患者参与积极性高,更有利于其肩关节的功能康复。

交互式手工搬运作业仿真系统的设计与开发

针对虚拟仿真实验平台中设备接口不一致导致在线控制与实时交互难的问题,文中设计一种基于运动捕捉设备Kinect的交互式手工搬运作业虚拟仿真实验系统。该系统由3D体感摄像机Kinect、Windows for SDK开发套件和人机工效仿真软件JACK组成。首先按照规范搭建虚拟手工搬运的实验环境,利用Kinect捕捉人体运动骨骼数据,根据逆运动学知识进行骨骼数据重定;再通过JACK中定制化Kinect模块接口,实现Kinect⁃JACK的实时交互,从而在线控制虚拟人运动并成功运用于手工搬运作业中。结果表明,文中设计的虚拟仿真实验系统充分融合了人机工程学知识与虚拟仿真技术,利用半实物仿真原理拓展了虚拟仿真实验平台的应用范围,为学生提供了良好的交互式体验,提高了实验教学质量。