非特定人群动态手语视频中的关键帧检测算法

目前已有的动态手语识别算法,大部分需要数据手套、位置传感器等额外的辅助设备,仅用于实验室研究和一些特殊场合,不利于推广使用.提出一种基于关键帧的手语识别新思路,即把动态手语看作是若干静态手势,也可称之为关键帧序列,通过检测关键帧,并对关键帧序列进行识别,能达到快速识别手语的目的.因此提出一种专门针对动态手语的关键帧检测算法,利用图像的差分与模式识别中的分类技术,自适应提取手语视频中的关键帧,不需要辅助设备,使用方便.实验证明,本算法提取的关键帧具有良好的稳定性与准确性.在此基础之上,可以实现动态手语的实时识别.

基于二级匹配策略的实时动态手语识别

动态手语可以利用其轨迹与关键手型加以描述。大量的统计实验数据表明,大多数的常用手语通过轨迹曲线的匹配即可实现识别,因此,提出一种针对动态手语的分级匹配识别算法。首先利用体感设备获取手势轨迹,并根据轨迹的点密度分布设计了一种关键帧检测算法以提取手势的关键手型,结合轨迹的曲线特征,实现对动态手语的精确描述。然后利用优化的动态时间规整(DTW)算法完成对手语的一级匹配,即轨迹匹配。若此时可以得到识别结果,那么识别过程可以结束,否则进入二级匹配,即针对关键手型再做匹配识别,从而得到最终的识别结果。实验证明,所提算法不仅实时性好,识别的准确率也较高。