基于SOFM/HMM模型的非特定人手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音 .目前最新发展水平的手语识别系统在实际应用中应该解决非特定人手语识别问题 .该文在分析非特定人手语识别特点——数据多且差异大、模型训练难收敛、对不同人数据的特征提取需求更迫切——的基础上 ,提出了 SOFM/ HMM模型 ,将自组织特征映射 (SOFM)很强的特征提取功能和隐马可夫模型 (HMM)良好的处理时间序列属性结合在一个新颖的框架下 ,并把该模型应用到非特定人中国手语识别中 .实验结果表明 ,SOFM/ HMM模型手语识别率比传统的 HMM模型提高近 5 % .

非特定人手语识别统计模型的改进及应用

目前,非特定人手语识别与特定人系统相比还有较大的差距.手语数据差异性使得非特定人手语识别中提取手语数据有效的共同特征非常困难,因而,手语数据差异性在一定程度上影响了非特定人手语识别的识别效果.本文从手语数据存在差异性这一角度入手,利用流形概念的学习和推理能力并在流形允许变化的范围内进行有效建模.在建模的过程中,从范函求极值的角度出发,给出了一个让人容易理解且直观化的推导过程.进而应用流形概念中的切向量来改进手语识别的统计模型(TV/HMM)并应用于大词汇量非特定人手语识别,以解决手语数据的差异性对大词汇量非特定人手语识别所造成的影响.实验表明,改进后的TV/HMM识别系统在大词汇量非注册的易混词集上识别率高明显.

非特定人手语识别参数训练模型的改进及应用

在手语识别研究中,非特定人手语识别参数训练的样本缺乏影响了非特定人手语识别的识别率.区分性训练可以很好地弥补由于训练样本的缺乏对识别系统所造成的影响,能够提高非特定人手语识别的识别率.对区分性训练(DT)所改进的HMM参数训练模型(DT/HMM)做了全新的推导,获得了与HMM相一致齐全的DT/HMM的参数模型.在特定人识别系统上应用可区分性训练的h准则获取了h参数,将该齐全的DT/HMM参数训练模型和h参数应用于大词汇量的非特定人手语识别当中,加入主观经验后的非注册易混词集EXP与MLE和EBW的非注册易混词集相比,平均识别率分别提高了10.65%和9.55%.

基于SRN/HMM的非特定人连续手语识别系统

手语识别是通过计算机提供一种有效而准确的机制将手语翻译成文本或语音.目前最新发展水平的手语识别系统在实际应用中应解决非特定人连续手语问题.提出一种将连续手语识别分解成各孤立词识别的分治方法,用于非特定人连续手语识别.把精简循环网(simple recurrent network,简称SRN)作为连续手语的段边界检测器,把SRN分段结果作为隐马可夫模型(hidden Markov models,简称HMM)框架中的状态输入,在HMM框架里使用网格Viterbi算法搜索出一条最佳手语词路径.实验结果表明,该方法的识别效果比单纯使用HMM要好.