有限样本条件下欠规范手语识别容错特征扩充

生活中似是而非的手语表达语义含糊,欠规范的手势动作易混淆,同时从有限样本中难以获得充足特征用于训练手语识别模型,模型容易过拟合进而导致识别准确率较低.针对此问题,提出一种在有限样本条件下扩充欠规范手语识别容错特征的表示学习方法.该方法基于手语表达时人体骨架的运动信息,面向手语的时空关联性构建自编码器,从手语语料库中少量原始样本提取标准特征;然后利用生成对抗网络从标准特征产生大量欠规范样本,再通过自编码器扩充容错特征,构建新的容错特征集用于后续任务.实验结果表明:该方法在有限样本条件下,产生的欠规范手语样本语义清晰,新的容错特征集中不同类别的特征易于划分.在中文手语数据集上利用该方法构建容错特征集,训练手语识别模型达到97.5%的识别准确率,证明其具有广泛的应用前景.