基于自适应手指分割与判别的静态手势识别

由于动态手势可以看作是多帧静态手势的融合,研究静态手势成为解决手势识别问题的重点。针对静态手势,提出一种自适应手指分割与判别的手势识别算法。首先,运用YCb Cr颜色空间的肤色聚类特性对手势图像进行分割,并采用质心点漂移的理念确定手指方向并作旋转归一化处理;其次,针对手势轮廓点的梯度方向和跨度确定手指的候选区域,并结合形态学的方法重建出单一手指的二值化形态;最后,选取恰当的形状特征,运用SVM分类器对其形状特征进行分类。实验表明该方法具有较好的识别率。

轻量级空间移位MLP用于指静脉分割

基于CNN和Transformer架构图像分割网络模型参数繁多、计算复杂,需要消耗大量的内存资源,这使得它们无法满足快速、有效的指静脉图像分割需求,并且在算力有限的嵌入式平台部署非常困难。因此,提出一种基于MLP的轻量级手指静脉分割算法。首先,通过不同轴向移动特征图获取信息流来捕获局部依赖性,提高局部信息提取能力;其次,使用标记MLP块对特征图进行标记和投影卷积特征;然后,在下采样和上采样之前都添加一个轻量级注意力模块来提升分割性能,在输入到MLP的同时转移输入的通道,使网络模型更专注于学习本地依赖性。在SDU-FV、HKPU和UTFVP三个公开的手指静脉数据集中进行实验,结果表明:该方法仅使用了346.949K Params、1.835G Flops和11.023M的计算复杂度,分割性能指标Dice、AUC、Acc分别达到0.515 6、0.895 9、91.68%。在三种NVIDIA嵌入式平台上,该算法的Dice和AUC指标均取得了最优性能。

基于级联U-Net的手指静脉分割算法研究

针对传统的手指静脉分割算法无法达到良好的分割效果,公开手指静脉数据集较小,没有合适的参考标准用于神经网络训练,数据集未进行ROI处理导致包含背景过多等问题,提出一种基于级联U-Net的手指静脉分割算法。从UNet网络结构出发,针对所使用的指静脉数据集简化网络、减少参数,并以此作为所提方法的网络组成部分。针对山东大学公开数据集SDU-FV采用一种基于最小二乘的旋转校正算法提取ROI区域,该方法可以克服手指轴向旋转引起的成像区域不一致等问题,进而突出静脉丰富区域。在神经网络训练过程中,一方面在每张图像中随机选择其中心获得子块进行数据扩充;另一方面将检测静脉图像横截面局部最大曲率方法提取到的纹路作为标准。实验结果表明,基于级联U-Net的手指静脉分割算法取得了比其他方法更加优异的分割性能,在3个手指静脉公开数据集SDU-FV、MMCBNU_6000和THU-FVFDT2上分别获得了91.56%,92.91%和93.08%的AUC以及92.44%,93.93%和94.86%的准确率。

基于Hessian矩阵和LBF模型的指静脉图像分割

针对图像光照不均匀、对比度低、边缘模糊而导致指静脉图像分割质量差的问题,提出基于Hessian矩阵和LBF模型相结合的指静脉图像分割方法。使用基于Hessian矩阵的图像增强算法对静脉图像的血管边缘进行增强,同时对血管的响应函数进行改进。对增强后的图像使用LBF的方法提取指静脉的血管轮廓,通过对轮廓面积大小的判断来剔除静脉血管的间断区域,最后将静脉图像进行细化操作得到最终的指静脉骨架图。实验表明,相较于原始的Hessian矩阵增强算法,改进响应函数后的方法能够得到脉络特征明显、图像清晰的指静脉图像。从图像的分割角度看,文中的方法能较好地处理对比度低、边缘模糊的指静脉图像分割问题,可以得到对比度高、静脉骨架特征明显的指静脉图像。

基于局部灰度极小值的指静脉图像分割方法

为了解决在光照不均匀、对比度低和指节纹干扰等情况下存在的手指静脉纹线分割效果不好的问题,文中提出一种基于局部灰度极小值的指静脉检测方法。根据指静脉纹线的走向选取垂直于指静脉方向的模板,该检测模板由三个子模板组成。由于静脉处较其周围邻域的灰度值较低,当检测模板由上至下逐点检测时,中间子模板的灰度值之和小于其他两个子模板的灰度值之和,该处即为静脉纹线处。该方向的模板不但避免了阈值选择,能够排除对比度低、光照不均匀的影响,而且可以有效抑制指节纹等干扰纹线。实验结果表明,该方法可以有效地解决指节纹干扰、对比度低和光照不均等问题,提取的静脉纹线具有很好的连续性。

一种超轻量级指静脉纹络实时分割网络

现有的指静脉分割网络大多需要消耗极大内存和计算资源,难以直接部署到嵌入式平台上,大部分模型轻量化方法存在参数减小导致分割性能急剧下降、算力受限和实时性等问题。针对上述问题,本文提出了一种超轻量级指静脉纹络实时分割网络—SGUnet。首先,使用沙漏状的深度可分离卷积极大地减少基础模型参数,并采用轻量级高效注意力模块实现无降维的局部跨通道交互,提升网络分割性能。其次,为了解决部分特征图存在冗余的问题,使用Cheap operation来替代部分“懈怠”的卷积核,得到相似的特征图。最后,采用特征信息交互的方法,打开分组卷积的组间通道,解决了分组特征组之间信息不流通的问题。与传统Unet分割网络相比,最终的SGUnet模型参数量约为传统Unet分割网络的1%,Mult-Adds约为0.5%。在两个公开的手指静脉数据集SDU-FV、MMCBNU-6000上验证网络性能,结果表明SGUnet网络在分割性能上不仅优于大型分割网络Unet、DU-Net、R2U-Net,而且超越了经典轻量级改进模型squeeze-Unet、Mobile-Unet、shuffle-Unet、Ghost-Unet。SGUnet网络Accuracy、Dice、AUC分别达到94.11%、0.5384、0.9354,并且在NVIDIA嵌入式平台上指静脉纹络提取的测试速度高达0.27秒/张。

基于RGB-D图像的手势识别方法

针对静态手势,提出一种基于形状特征的手势识别方法。使用深度信息与肤色信息相结合的方法,分割出手势区域;对分割后的手势进行卷积和阈值化处理,得到手指部分的图像信息,根据手掌质心和手指质心准确判断手的方向,保证手的旋转不变性;在极坐标下,结合手指特征能够准确得到每个手指的具体角度和弯曲状态,判断出左右手。对比实验结果表明,该方法对手势的判别和左右手判别具有更高的性能、更强的鲁棒性。