基于迁移学习的自然环境下香梨目标识别研究

为了准确识别自然成熟的香梨果实,使得采摘机能对水果目标进行精确的定位,提出了使用目标检测深度学习网络模型的方法.该模型基于Mask R-CNN,首先通过在Kaggle数据集以及网上爬取并筛选出的9600张水果图片对Resnet网络进行初步训练,然后在预训练过的Resnet网络基础上加入掩模分支和分类分支训练自然环境下成熟香梨的数据集,最终获得准确识别香梨目标的网络模型.实验结果表明,在同等目标未添加噪声的情况下,在使用水果图片数据集预训练的基础上,图片的平均分割精度为98.02%,这与使用COCO数据集进行预训练相比(精度为93.72%),平均分割精度增加了4.30%.此外,该模型对于被遮挡水果也有着不错的识别效果,在未添加噪声的情况下,被遮挡水果的平均分割精度为95.28%,这与未被遮挡水果的分割精度相比,误差仅增加了2.74%.所以,此模型对于香梨的识别和分割具有很好的鲁棒性.

基于R-FCN的中国手指语识别

中国手指语的识别使听力障碍人群与听力正常人群相互交流和人机交互更加便捷.传统的手指语识别对环境背景要求较高,为了解决复杂环境下中国手指语的识别问题,构建并扩展了手指语图片训练集,提出基于改进的区域的全卷积网络R-FCN解决复杂背景下的手指语识别任务.为适应多变的复杂场景,利用在线难例挖掘技术对手指语识别过程中产生的难例进行在线学习,结合手指语特征对网络进行优化.并与SVM分类和FasterR-CNN神经网络作对比.实验结果表明,基于改进的R-FCN在复杂环境的手语识别任务上能达到较好的识别效果.

聋哑学校语文辅助教学系统研究

为了达到辅助老师教聋哑学生语文的目的,开发一套文本翻译成手语的教学系统。采用改进的结巴分词对课文内容进行分词,课文句子转化成词语序列,使用系统编辑功能对词语序列进行编辑,使其满足文法手语要求;同时建立虚拟人,采用关键帧技术制作手语动画,使用Unity3D游戏引擎完成手语动画合成和动画之间的过渡,实现课文内容自动翻译成手语的辅助教学系统。该研究对聋哑学生语文教学有特殊的意义,具有一定的实用价值。