在深度地图序列的手势识别中,针对不同的人在不同的时间或同一个人在不同的时间手势也不相同的问题,本文提出了特征加权融合和交叉主题测试法来进行基于深度地图序列的手势识别。首先,对于深度视频序列采用多级时间采样来生成含有相关...在深度地图序列的手势识别中,针对不同的人在不同的时间或同一个人在不同的时间手势也不相同的问题,本文提出了特征加权融合和交叉主题测试法来进行基于深度地图序列的手势识别。首先,对于深度视频序列采用多级时间采样来生成含有相关手势信息的长、中和短3种不同长度的序列;其次,通过计算连续帧的绝对差提取时空信息生成深度运动图;然后,利用梯度方向直方图(histogram of oriented gradien,HOG)和局部二值模式(local binary patterns,LBP)从生成的深度运动图中提取形状和纹理特征,进行局部特征聚集描述符(vector of local aggregation descriptor,VLAD)编码;最后,采用主成分分析(principal component analysis,PCA)降维后将这两种特征进行加权融合和交叉主题测试后送到极限学习机器中进行分类识别。在公开具有挑战性的MSR Gesture 3D动态手势深度数据集上进行实验评估性能,所提的特征加权融合算法和交叉主题测试算法的识别率相较LBP和HOG算法融合的基础上分别提高0.82%和5.17%。实验结果表明,改进的方法具有更好的识别率。展开更多
目的行人再识别是指在一个或者多个相机拍摄的图像或视频中实现行人匹配的技术,广泛用于图像检索、智能安保等领域。按照相机种类和拍摄视角的不同,行人再识别算法可主要分为基于侧视角彩色相机的行人再识别算法和基于俯视角深度相机的...目的行人再识别是指在一个或者多个相机拍摄的图像或视频中实现行人匹配的技术,广泛用于图像检索、智能安保等领域。按照相机种类和拍摄视角的不同,行人再识别算法可主要分为基于侧视角彩色相机的行人再识别算法和基于俯视角深度相机的行人再识别算法。在侧视角彩色相机场景中,行人身体的大部分表观信息可见;而在俯视角深度相机场景中,仅行人头部和肩部的结构信息可见。现有的多数算法主要针对侧视角彩色相机场景,只有少数算法可以直接应用于俯视角深度相机场景中,尤其是低分辨率场景,如公交车的车载飞行时间(time of flight,TOF)相机拍摄的视频。因此针对俯视角深度相机场景,本文提出了一种基于俯视深度头肩序列的行人再识别算法,以期提高低分辨率场景下的行人再识别精度。方法对俯视深度头肩序列进行头部区域检测和卡尔曼滤波器跟踪,获取行人的头部图像序列,构建头部深度能量图组(head depth energy map group,He DEMaG),并据此提取深度特征、面积特征、投影特征、傅里叶描述子和方向梯度直方图(histogram of oriented gradient,HOG)特征。计算行人之间头部深度能量图组的各特征之间的相似度,再利用经过模型学习所获得的权重系数对各特征相似度进行加权融合,从而得到相似度总分,将最大相似度对应的行人标签作为识别结果,实现行人再识别。结果本文算法在公开的室内单人场景TVPR(top view person re-identification)数据集、自建的室内多人场景TDPI-L(top-view depth based person identification for laboratory scenarios)数据集和公交车实际场景TDPI-B(top-view depth based person identification for bus scenarios)数据集上进行了测试,使用首位匹配率(rank-1)、前5位匹配率(rank-5)、宏F1值(macro-F1)、累计匹配曲线(cumulative match characteristic,CMC)和平均耗时等5个指标来衡量算法性能。其中,rank-1、rank-5和macro-F1分别达到61%、68%和67%以上,相比于典型算法至少提高了11%。结论本文构建了表达行人结构与行为特征的头部深度能量图组,实现了适合低分辨率行人的多特征表达;提出了基于权重学习的相似度融合,提高了识别精度,在室内单人、室内多人和公交车实际场景数据集中均取得了较好的效果。展开更多
文摘在深度地图序列的手势识别中,针对不同的人在不同的时间或同一个人在不同的时间手势也不相同的问题,本文提出了特征加权融合和交叉主题测试法来进行基于深度地图序列的手势识别。首先,对于深度视频序列采用多级时间采样来生成含有相关手势信息的长、中和短3种不同长度的序列;其次,通过计算连续帧的绝对差提取时空信息生成深度运动图;然后,利用梯度方向直方图(histogram of oriented gradien,HOG)和局部二值模式(local binary patterns,LBP)从生成的深度运动图中提取形状和纹理特征,进行局部特征聚集描述符(vector of local aggregation descriptor,VLAD)编码;最后,采用主成分分析(principal component analysis,PCA)降维后将这两种特征进行加权融合和交叉主题测试后送到极限学习机器中进行分类识别。在公开具有挑战性的MSR Gesture 3D动态手势深度数据集上进行实验评估性能,所提的特征加权融合算法和交叉主题测试算法的识别率相较LBP和HOG算法融合的基础上分别提高0.82%和5.17%。实验结果表明,改进的方法具有更好的识别率。
文摘目的行人再识别是指在一个或者多个相机拍摄的图像或视频中实现行人匹配的技术,广泛用于图像检索、智能安保等领域。按照相机种类和拍摄视角的不同,行人再识别算法可主要分为基于侧视角彩色相机的行人再识别算法和基于俯视角深度相机的行人再识别算法。在侧视角彩色相机场景中,行人身体的大部分表观信息可见;而在俯视角深度相机场景中,仅行人头部和肩部的结构信息可见。现有的多数算法主要针对侧视角彩色相机场景,只有少数算法可以直接应用于俯视角深度相机场景中,尤其是低分辨率场景,如公交车的车载飞行时间(time of flight,TOF)相机拍摄的视频。因此针对俯视角深度相机场景,本文提出了一种基于俯视深度头肩序列的行人再识别算法,以期提高低分辨率场景下的行人再识别精度。方法对俯视深度头肩序列进行头部区域检测和卡尔曼滤波器跟踪,获取行人的头部图像序列,构建头部深度能量图组(head depth energy map group,He DEMaG),并据此提取深度特征、面积特征、投影特征、傅里叶描述子和方向梯度直方图(histogram of oriented gradient,HOG)特征。计算行人之间头部深度能量图组的各特征之间的相似度,再利用经过模型学习所获得的权重系数对各特征相似度进行加权融合,从而得到相似度总分,将最大相似度对应的行人标签作为识别结果,实现行人再识别。结果本文算法在公开的室内单人场景TVPR(top view person re-identification)数据集、自建的室内多人场景TDPI-L(top-view depth based person identification for laboratory scenarios)数据集和公交车实际场景TDPI-B(top-view depth based person identification for bus scenarios)数据集上进行了测试,使用首位匹配率(rank-1)、前5位匹配率(rank-5)、宏F1值(macro-F1)、累计匹配曲线(cumulative match characteristic,CMC)和平均耗时等5个指标来衡量算法性能。其中,rank-1、rank-5和macro-F1分别达到61%、68%和67%以上,相比于典型算法至少提高了11%。结论本文构建了表达行人结构与行为特征的头部深度能量图组,实现了适合低分辨率行人的多特征表达;提出了基于权重学习的相似度融合,提高了识别精度,在室内单人、室内多人和公交车实际场景数据集中均取得了较好的效果。
