采用深度图像信息和SLVW的手语识别

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和SLVW的算法。该方法将Kinect作为手语视频采集设备,在获取彩色视频的同时得到其深度信息;计算深度图像中手语手势的主轴方向角和质心位置,通过调整搜索窗口对手势进行准确跟踪;使用基于深度积分图像的Ostu算法分割手势,并提取其SIFT特征;构建了SLVW词包作为手语特征,并用SVM进行识别。通过实验验证该算法,其单个手语字母最好识别率为99.87%,平均识别率96.21%。

听障大学生词汇识别过程的特异性:语言经验和阅读能力的影响

听障者词汇识别过程是否表现出特异性一直是研究者关注的焦点问题,然而当前观点并不一致。本研究采用语义相关性判断任务,通过两个实验探讨语言经验和阅读能力对听障大学生词汇识别中字形、语音和手语表征激活的影响。实验1比较不同语言经验和阅读能力的听障大学生在形似干扰字、同音干扰字和无关干扰字条件下的表现,实验2比较他们在手语相关和无关条件下的表现。实验1结果显示,在正确率和反应时指标上,不同语言经验和阅读能力的听障大学生表现出相似的字形干扰效应(与无关干扰字相比,形似干扰字条件下正确率更低、反应时更长),均未出现语音干扰效应。实验2结果显示,在正确率指标上,当控制听障大学生阅读能力时,阅读能力高的手语组表现出显著的手语干扰效应(与无关条件相比,手语相关条件下正确率更低),阅读能力高的口语组未出现手语干扰效应。当控制听障大学生语言经验,阅读能力高的手语组和阅读能力低的手语组表现出相似的手语干扰效应。综合两个实验的结果可以发现,语言经验影响听障大学生的词汇表征,阅读能力不影响听障大学生的词汇表征。在此基础上,本研究尝试提出听障大学生中文词汇识别的认知加工模型。

基于深度图像信息的手语识别算法

为了实现手语视频中手语字母的准确识别,提出了一种基于DI_CamShift和手语视觉单词(SLVW)的手语识别算法。首先采用Kinect获取手语字母手势视频及其深度信息;然后通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;进而使用基于深度积分图像的Ostu算法分割手势并提取其尺度不变特征转换(SIFT)特征;最后构建SLVW词包并用支持向量机(SVM)进行识别。单个手语字母最好识别率为99.67%,平均识别率96.47%。

基于手语视觉单词特征的手语字母识别研究

为有效识别手语字母,提出一种手语视觉单词(SLVW)的识别方法。采用Kinect获取手语字母视频及其深度信息,在深度图像中,通过计算获得手语手势的主轴方向角和质心位置以调整搜索窗口,利用基于深度图像信息的DI_CamShift方法对手势进行跟踪,进而使用基于深度积分图像的Ostu方法分割手势,并提取其尺度不变特征变换数据。将局部特征描述子表示的图像小区域量化生成SLVW,统计一幅手语图像中的视觉单词频率,用词包模型表示手语字母,并用支持向量机进行识别。实验结果表明,该方法不受颜色、光照和阴影的干扰,具有较高的识别准确性和鲁棒性,对复杂背景手语视频中的30个手语字母的平均识别率达到96.21%。

改进的多特征融合手语字母识别方法

为了实现手语视频中手语字母的准确识别,提出一种基于DI_CamShift(depth image CamShift)和手语视觉单词(sign language visual word,SLVW)特征结合的算法.首先,采用Kinect获取手语字母手势视频及其深度信息;其次,通过计算获得深度图像中手语手势的主轴方向角和质心位置,计算搜索窗口对手势跟踪;再次,使用基于深度积分图像的大津法(OTSU)分割手势并提取其尺寸不变特征转换(scale invariant feature transform,SIFT)特征和Gabor特征,并通过典型相关分析(canonical correlation analysis,CCA)方法进行特征融合;最后,构建SLVW词包并用支持向量机(support vector machine,SVM)进行识别,单个手语字母最高识别率为99.89%,平均识别率为96.34%.