面向手语自动翻译的基于Kinect的手势识别

提出了一种基于3D体感摄像机Kinect设备实现面向手语自动翻译的手势识别方法,利用Kinect体感外设提供的深度图像实现手的检测,并通过OpenNI+NITE框架中函数获得手掌质心在三维空间中的位置,然后通过等值线追踪算法(又称围线追踪算法)和三点定位算法识别出手指实现了手势跟踪,最后通过矢量匹配方法识别手指名字,并设计了三层分类器来实现静态手势语的识别.相较于传统的基于数据手套和单目摄像机的方法,本方法识别的更准确.基于上述方法,实现了一个手势识别系统.实验结果显示,本文提出的方法更加简洁且行之有效.

应用Kinect构建英语课堂虚拟教学情境研究

语言习得在真实的情境中发生才更有效,英语课堂教学的出发点应该是情境。针对当前英语课堂的去情境化或弱情境化教学现状,提出利用Kinect体感交互技术构建课堂虚拟教学情境来增强语言沉浸。以情境认知学习理论为指导,对大学英语课堂虚拟教学情境要素进行分析与设计,实现了Kinect虚拟情境创设系统。大学英语课堂教学应用案例表明,该系统在创设情境、体验情境、演绎情境和反思评价等教学环节中具有积极辅助作用。

基于Kinect 3D节点的连续HMM手语识别

文章提出了一种基于Kinect 3D节点的连续隐马尔科夫模型(hidden Markov model,HMM)手语识别方法。首先对Kinect 3D节点三维坐标采用距离换算的方法获取其骨架特征表达,转换后的特征维度减少为原来节点特征的2/3,降低了计算过程中的存储开销;再针对人体体型大小所带来的差异,设置最小-最大归一法及最大值归一化方法;在此基础上,为强化骨架特征变化的特征表达,文章进而提出了用来捕获对骨架动态变化度量的相对归一化法;最后,在最终所获得的骨架特征表达上,构建基于高斯混合的隐马尔科夫模型(hidden Markov model with Gaussian mixture models,GMM-HMM)进行手势识别。实验证明采用相对归一法能够消除原3D节点中坐标漂移、体型各异、动态手势变化导致难以表达的弊端,实现了有效的骨架特征表达,并在识别精度上有了较好的提升。

基于Kinect的手语识别方法

为实现基于Kinect的手语识别,提出了一种利用有限状态机及动态时间规整(DTW)的动态手语识别方法。首先,利用Kinect技术得到人体深度图像和骨骼特征信息;然后利用手部分割算法得到手部深度图像,再选取识别正确率高的梯度方向直方图(HOG)特征算子来提取手部特征;最后加入有限状态机和DTW算法实现动态手语识别。实验结果表明:该方法能够实现对常用手语单词、句子的识别,识别准确率可达95%。

基于Kinect的听障人士语言能力康复辅助系统

近年来,唇读技术在科研和工业界得到广泛关注和研究。唇读能够应用于辅助语音识别、口型合成、聋人辅助教育等领域。Kinect是微软公司推出的体感设备,具有人脸追踪的功能,并能够完成唇读系统中的唇部检测和定位以及唇动特征提取的任务。提出一种基于Kinect的听障人士语言能力康复辅助系统的设计方案。

基于Kinect的中国手语识别

基于微软Kinect提取的深度图像信息,提出了一种新的中国手语识别方法。该方法首先利用Kinect获取人体主要骨骼的3D坐标和手的3D坐标;然后根据中国手语的手型、手的位置和手的方向3个主要构造成分,分别采用DBSCAN和K-means聚类算法获取手语特征中的手的位置基元和方向基元,提出一种结合CLTree和Attribute bagging聚类集成方法提取手型基元;最后将这3类基元进行组合采用模板匹配方法识别中国手语。通过对选取的72个中国手语进行识别实验,平均识别率为90.35%,实验结果说明了方法的可行性。

采用SIFT-BoW和深度图像信息的中国手语识别研究

将深度图像信息引入手语识别的研究,提出了一种基于DI_CamShift(Depth Image CamShift)和SIFT-BoW(Scale Invariant Feature Transform-Bag of Words)的中国手语识别方法。该方法将Kinect作为视频采集设备,在获取手语彩色视频的同时得到其深度信息;首先计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;然后使用基于深度积分图像的Ostu算法分割手势并提取其SIFT特征,进而构建SIFT-BoW作为手语特征并用SVM进行识别。实验结果表明,该方法单个手语字母最好识别率为99.87%,平均识别率96.21%。

基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词(SLVW)的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%。

采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。

基于关键帧的连续手语语句识别算法研究

目前,对于动态手语的识别大多只是针对手语词汇的,对连续的手语语句的识别研究以及相应成果较少,原因在于难以对其进行有效的分割。提出了一种基于加权关键帧的手语语句识别算法。关键帧可以看作是手语词汇的基本组成单元,根据关键帧即可得到相关词汇,并将其组成连续的手语语句,从而避免了对手语语句直接做分割的难点。借助于体感设备,首先提出了一种基于手语轨迹的自适应关键帧提取算法,然后根据关键帧包含的语义对其进行加权处理,最后设计了基于加权关键帧序列的识别算法,得到连续的手语语句。实验证明,设计的算法可以实现对连续手语语句的实时识别。

一种基于改进的SURF算法的静态手语字母识别方法

结合Kinect传感器提出一种改进的SURF(speeded up robust features)算法进行静态手语字母识别的方法。Kinect传感器采集深度图像进行手势分割可以克服光照变化、复杂背景带来的干扰;改进的SURF算法对实时图像与模板图像的积分图进行计算分析,提取两者的SURF关键点描述符,采用最近邻匹配算法对SURF算法自有的快速索引匹配的结果进行优化,克服了角度旋转变化对手语字母识别率的影响。实验证明,该方法在应对光照变化、复杂背景、角度旋转方面有很好的鲁棒性,平均识别率为97.7%。