基于CapsNet的中国手指语识别

传统的手指语识别采用卷积神经网络的方法,模型结构单一,在池化层会丢弃很多信息。Capsule(胶囊)是在神经网络中构建和抽象出的子网络,每个胶囊都专注于一些单独的任务,又能保留图像的空间特征。分析了中国手语中手指语的特征,构建并扩展了手指语图片训练集,试图用CapsNet(胶囊网络)模型完成手指语识别的任务,对比了不同参数下CapsNet的识别率,并与经典的GoogLeNet卷积网络作对比。实验结果表明,CapsNet在手语识别任务上能达到较好的识别效果。

聋哑学校语文辅助教学系统研究

为了达到辅助老师教聋哑学生语文的目的,开发一套文本翻译成手语的教学系统。采用改进的结巴分词对课文内容进行分词,课文句子转化成词语序列,使用系统编辑功能对词语序列进行编辑,使其满足文法手语要求;同时建立虚拟人,采用关键帧技术制作手语动画,使用Unity3D游戏引擎完成手语动画合成和动画之间的过渡,实现课文内容自动翻译成手语的辅助教学系统。该研究对聋哑学生语文教学有特殊的意义,具有一定的实用价值。