基于局部-全局一致性学习的弱监督人手分割

随着可穿戴设备的日益普及,人的上肢行为数据急剧增长,而自然场景下的人手分割研究较少。针对现有的算法对手工设计特征、像素级标签、设备、环境等的依赖,造成的精度有限或设备、人工标注成本较高的问题,提出一种弱监督人手分割算法,并将其应用到人手操作行为分割中。在像素级标签的源数据集上,利用全卷积神经网络(FCN)预训练。在只有类别标签的目标数据集上,实现基于超像素的局部-全局一致性学习的分割优化,进而实现FCN网络训练和分割优化的交替迭代。使用全连接条件随机场(CRF)进行后处理。提出基于边界框的弱监督分割,以及半监督分割方法。与其他方法的对比实验表明,该方法具有较高的召回率和区域交叠率。

基于深度图像的运动人手检测与指尖点跟踪算法

针对由传统摄像头获得的二维图像难以准确检测复杂环境下运动人手目标的问题,提出了一种利用Kinect摄像头对复杂背景下近景人手指尖空间点的检测和跟踪算法。首先利用基于视觉的多信息融合方法对人手区域进行粗检测,并利用深度信息对得到的模糊人手区域进行精确定位及分割,从而有效抑制了复杂背景对人手区域的干扰;根据分割得到的人手区域,利用人手边界的曲率关系实现了指尖空间点的快速检测;最后利用卡尔曼滤波跟踪检测到的运动指尖点。实验结果表明,与已有指尖点检测方法相比,该算法能够准确地跟踪多种姿态下手指指尖的空间位置,具有较低的误差率。

实时手指交互系统的嵌入式实现

为满足便携式设备中人机交互的需要,设计了嵌入式手指交互系统。研究了系统所采用的肤色分割、凸包计算、指尖检测等算法,并完成了硬件设计。首先,根据肤色的聚类特征,在对比分析常用彩色空间特性的基础上建立肤色模型,对人手进行分割;提出射线扫描法对经典Graham扫描算法进行改进,快速计算人手凸点。然后,分析了利用手指轮廓弯曲特征检测指尖的算法。最后,介绍了以DSP和FPGA为微处理器构成的硬件系统。实验结果表明,设计的系统对自然伸展的单个手指正确检测率为95.2%,对弯曲手指的正确检测率为92.6%,对在非目标手指干扰下的正确检测率为90.1%;而对指尖的定位最大偏移量为2.12 mm;指尖定位总耗时约为23 ms。所设计的嵌入式手指交互系统稳定可靠、满足实时要求。