Research and Development of Virtual Instruments System Based on Depth Camera

This paper takes advantage of the depth camera of somatosensory kinect and sensors to implement gesture recognition and design a virtual instrument system. As long as the user waves his arm without the help of other equipments, our system can automatically recognize the hand gesture and make suitable sound. In order to achieve depth camera's detection of hands movement,this paper introduce the depth imaging technology Light Coding and bone tracking technology to obtain the actual position information and hand movement information of the human body. Feet movement detection uses sensor technology, different stampede strength outputs different digital number after AD conversion so that the intensity can be controlled. A series of experiments show that the system has good fluency and practicality and increased the fun of playing instruments.

基于Kinect v2低成本动作捕捉系统在步态分析中的开发及应用

近年诸多证据表明基于深度传感器的微软Kinect v2可以进行精准数字化步态分析,从而提高神经系统和运动系统疾病的临床实践水平。本文从基于Kinect v2步态分析研究的步态录制条件、步态参数提取方法、步态分析准确性等方面综述Kinect v2的可靠性及可行性。文献综述提示,虽然受制于硬件及现有算法,Kinect v2在运动学步态参数测量上尚存在较大误差,但依靠其所提取的时-空间步态参数与金标准相比均具有极好的一致性,可以作为简易、低成本的步态记录及数字化分析的工具。因各研究所使用配套软件及终端算法不尽相同,未来研究方向应该聚焦于优化算法并建立标准化系统,且需要更大样本量的受试者数据验证该系统作为临床步态分析工具的真正效能。

基于深度图像的在线手势识别方法与性能研究

对Kinect设备获取到的深度图像进行手部区域分割,分别比较扫描法和区域生长法的图像分割效果,并提取手部的轮廓信息实现手掌心和指尖的定位,以区域协方差作为手势的特征变量,结合指尖识别算法实现了在线手势识别。结果表明:扫描法比区域生长法所识别出的手掌点和轮廓点更多,与自适应PCA识别算法相比具有更好的识别效果,静态手势测试的指尖平均识别率达93%,在线运动手势识别的准确率均在80%以上。

基于深度视觉传感的巡检机器人行进轨迹跟踪控制

巡检机器人面对不同路况时反应速度的时间差使其行进轨迹跟踪控制容易产生误差。为了提高巡检机器人复杂操作环境中的行进轨迹跟踪控制效果,提出基于深度视觉的巡检机器人行进轨迹跟踪控制方法。根据巡检机器人移动位姿和轴向运动轨迹产生的角速度和线速度,建立巡检机器人运动学方程;利用Kinect深度视觉传感器创建贴合实际环境的三维地图;利用滑模控制器约束巡检机器人运动学方程,实现巡检机器人行进轨迹自动化跟踪控制。实验结果表明,所提方法在障碍物环境和非障碍物环境的跟踪控制效果均较好。

TOF相机实时高精度深度误差补偿方法

TOF(Time-Of-Flight)相机获取的深度值存在着边角畸变和精度偏移,目前主要是通过误差查找表或曲线拟合等技术进行误差补偿,计算量大且补偿速度慢。通过对TOF相机在不同距离的深度误差分布规律的分析,提出了一种实时、高精度的误差补偿方法。该方法利用TOF深度图像的旋转对称性以及误差分布的特性,简化了误差补偿模型、降低参数数量级,有效提升了补偿的精度和速度。将算法应用于基于TOF原理的Kinect v2深度传感器进行深度补偿,使得有效距离内平面度误差下降到0.63 mm内,平均误差下降到0.7040 mm内,单帧数据补偿时间在90 ms内。由于该算法仅基于光径差进行补偿,因此适用于所有TOF原理的相机。实验结果表明,该算法能够快速有效减少TOF相机的深度误差,适用于实时、高精度的大视场三维重建。

基于Kinect的深度数据融合方法

与传统三维激光扫描仪相比,Kinect作为一种新型深度相机,具有价格低廉、深度数据获取能力强、RGB影像与深度影像同步获取等优势,然而面对较大室内场景精细建模却存在数据量大、建模范围有限、对硬件环境依赖性强等问题。因此,在现有单一模型建模基础上,提出了基于Kinect深度影像的多模型数据融合方法,实现模型间的自动拼接。最后通过两组实验对提出的数据融合方法进行了验证,并取得了较好的模型拼接效果。

基于Kinect传感器的猕猴桃果实空间坐标获取方法

猕猴桃自动采摘机器人研究中,为了自动获取目标果实的空间坐标,提出了一种基于Kinect传感器的猕猴桃果实空间坐标获取方法。首先利用Kinect传感器的红外投影机和红外摄像机获取深度图像,利用彩色摄像机获取RGB图像,根据彩色图和深度图对应关系,转换成深度坐标;然后通过Map Depth Point To Skeleton Point函数得到以红外摄像机为原点的坐标系坐标。实验表明:该方法能够有效获取猕猴桃目标果实的空间坐标,其定位误差小于2mm。

使用Kinect传感器的油菜叶片面积测量方法

为快速准确地测定活体油菜的叶片面积,减小在数字图像处理中由于叶片的卷曲和变形带来的二维投影误差大的问题,使用Kinect传感器拍摄油菜叶片的彩色和深度图像,用三维方法测量叶片面积。利用绿色分量值显著的特性在彩色图中分割出叶片并将其映射到深度图。在深度图中,使用标定方块计算像素-物理尺寸转换参数,以计算叶片的三维点云。在三维点云中,检测叶片的轮廓并去除毛刺,再使用插值使点云网格化,最后使用海伦公式计算叶片轮廓包含的网格面积,得到叶片的总面积。实验结果表明,Kinect传感器的测量方法成本低、精度高、通用性强。测量值与真实值之间显著正相关,相关系数为0.998 5。使用回归方程y=0.955x+22.357可以校正测量值,使其更准确地反映叶片面积。

基于Kinect的课堂教学状态监测系统

课堂上对学生听课效果进行评估的重点是捕捉学生听课行为。本系统利用Kinect传感器获取学生听课过程中的彩色、深度、骨骼点图像来分析学生的上课肢体状态、注意力方向,以此反映学生听课状态。同时,系统利用Kinect麦克风阵列采集到的声源信息来统计课堂回答问题的频度和声源位置。通过对上述信息的综合分析,获取学生上课状态的客观指标,从而对课堂教学评估提供数据支撑。

基于Kinect深度信息的人体运动跟踪算法

大多数人体跟踪算法鲁棒性不高的主要原因是对人体的颜色特征进行跟踪,针对此问题设计了基于Kinect深度信息的人体运动跟踪算法。通过分析Kinect获取的深度图信息来对人体轮廓进行区分判定,提取前景目标区域以及计算目标区域的深度直方图。通过对深度直方图进行分析去除背景区域部分,根据获取的深度直方图求取跟踪图像的深度反向投影;最后结合Camshift算法确定当前选取目标区域的尺寸和中心位置来进行对人体的实时跟踪。实验结果表明,该算法提取的目标特征具有较强的鲁棒性,避免了光照变化和背景相似情况下的不稳定问题,能实现复杂场景下的人体目标跟踪。

基于Kinect深度信息的手势分割与识别

针对手势识别对环境背景要求高、分割的手势往往包含手腕及手指靠拢易造成误识别等问题,提出了一种基于深度信息的手势识别方法。采集手势深度图;接着利用手生成器获取手心信息分割手势,为了去除多余的手腕信息,增加了手掌近似正方形的约束条件;利用扫描线法获取拇指外其它四指数,并结合相邻手指宽度比例及拇指位置的特殊性实现手势的识别。实验结果表明,该方法的平均识别率达到98.4%,实时性好,且对不同光照和复杂背景具有很好的鲁棒性。

基于深度信息的人体动作识别研究综述

随着低成本深度传感器的发明,尤其是微软Kinect的出现,高分辨率的深度与视觉(RGB)感知数据被广泛使用,并为解决计算机视觉领域中的基本问题开拓了新的机遇。本文针对基于深度信息的人体动作识别研究,首先提出了一种基于特征和数据类型的分类框架,并对最近几年提出的相关方法进行了全面回顾。随后,对文献中描述的算法进行了性能对比分析,同时对所引用的公共测试数据集进行了总结。最后,笔者对未来的研究方向进行了讨论并给出了相关建议。

基于Kinect的非接触式呼吸检测系统

利用Kinect的深度传感器功能,获取景深图像,并对图像进行信号处理和分析,检测人体的呼吸率和呼吸状态,从而实现非接触式呼吸检测。该系统免除了传统接触式呼吸检测仪安装和测试带来的不便,实现高效准确的实时呼吸监测。

基于Kinect v4的牛体尺测量方法

针对基于机器视觉的牛体尺测量方法中图像背景复杂、特征点提取难度大的问题,提出了一种基于Kinect v4传感器的牛体尺测量方法来采集彩色和深度图像,并结合目标检测、Canny边缘检测、三点圆弧曲率等算法提取体征特征点进而计算体尺数据。首先,制作了牛体尺特征部位图像数据集,并利用深度学习YOLOv5目标检测算法检测牛体尺特征部位信息,以减少牛体其他部位和背景对体尺测点提取的干扰;其次,借助OpenCV图像处理库中的Canny边缘检测、轮廓提取等图像处理算法获取牛体尺测点所在的关键轮廓;然后,对关键轮廓采用多项式拟合和三点圆弧曲率等算法从而在二维图像中提取牛体尺测点;最后,利用深度信息将二维图像中的测点信息转换到三维坐标系下,并结合随机抽样一致(RANSAC)算法在三维坐标系下设计牛体尺测量方法。经过在复杂环境下传感器和牛体侧面成不同偏角时的实验测量结果和人工测量结果的比较得出,牛体尺数据中鬐甲高的平均相对误差为0.76%,体斜长的平均相对误差为1.68%,体直长的平均相对误差为2.14%,臀端高的平均相对误差为0.76%。实验结果表明,所提方法在复杂环境下具有较高的测量精度。

基于Kinect的典型零部件识别与定位

针对自动化拆卸的零部件识别与定位问题,提出了一种结合深度信息的典型零部件图像识别与定位方法.利用Kinect传感器获取彩色图像与深度图像,提取出两者之间的仿射变换矩阵,实现彩色图像的矫正;根据相关系数匹配法实现矫正后的彩色图像零部件识别;利用彩色图像与深度图像的对应关系对零部件进行定位.针对典型零部件,对Kinect传感器获取的图像进行仿真实验与处理,结果表明,该方法能对目标进行识别与定位,验证了方法的有效性.

基于Kinect传感器的动态手势实时识别

本文提出了一种基于Kinect传感器的动态手势实时识别方法,在预处理阶段通过OpenNI/NITE快速获取人体骨架,并从中得到关节点数据用于建立动态手势的运动轨迹特征描述子.提出了一种在全局约束条件下的权重化多维数据的动态时间扭曲算法(WM-DTW)来对手势轨迹序列进行训练和识别.实验结果表明,本文的识别方法比LDA算法和动态时间扭曲(DTW)算法有更高的识别率.

基于Kinect传感器的机器人室内环境检测方法

针对移动机器人室内环境检测问题,提出了一种基于Kinect传感器的目标物体检测方法.利用Kinect传感器采集的视频图像和深度数据来实现对机器人工作环境中已知特征目标物体和完全未知目标物体的检测及定位.对于已知特征目标通过颜色特征分析来完成检测,而对于完全未知的物体则通过深度地面消除算法和提取深度图像的轮廓来进行检测.利用传感器成像模型对检测出的目标区域进行三维空间定位,从而获取目标物相对于机器人的空间位置信息.基于移动机器人平台进行实验,结果表明,该方法能够有效地实现室内环境信息的检测及定位.

基于Kinect传感器的温室植株绿色与深度检测方法

植株目标的有无、颜色以及深度等特征的检测对于精准农业的发展,特别是喷雾机智能喷雾过程中的植株识别、林木种植中植株生长状态的检测等均具有重要意义。本文提出一种基于Kinect传感器的温室植株绿色与深度检测方法,首先通过Kinect传感器检测植株目标并获取其彩色图像和深度图像;再对所获取的彩色图像进行植株颜色的限制处理,以识别出绿色植株目标;对所获取的深度图像进行深度范围限制处理,去除范围以外的干扰物体;最后由植株目标的色彩特征图像与深度图像的距离特征结合,实现对所需检测距离范围内的绿色植株目标的检测。通过实验证明该方法能够实现限定深度范围内绿色植株目标的检测,场地试验验证了在实际的植株种植应用环境中该方法也能够实现植株区域的识别,可以应用于精准农业植株的检测与特征识别。

基于Kinect传感器的移动机器人环境检测及行为学习

研究了一种基于深度图像和强化学习算法的移动机器人导航行为学习方法。该方法利用机器人装配的Kinect传感器检测工作环境信息,然后对获取的深度图像数据和视频图像进行处理、融合和识别,并由此构建机器人任务学习的状态空间,最终利用强化学习方法实现移动机器人的导航任务的自学习。该方法的有效性通过实验得到验证。实验表明,该方法能够使机器入具有较强的环境感知能力,并能够通过自学习的方式掌握行为能力。

基于Kinect的智能家居系统

针对传统基于物联网技术的智能家居系统用户参与感不强、无法进行自定义手势操控等问题,设计一套基于Kinect的智能家庭管理系统。通过深度传感器得到彩色数据流、深度数据流以及骨骼数据流,从而获取人体的动作轨迹,并自定义手势操控方式来实现家居的智能控制。由于深度数据对光照和背景干扰等因素有较强的鲁棒性,提高了手势及轨迹识别的准确性和可靠性。在明暗两种光照条件下,对该文定义的4种手臂姿势、3种动作任务和5种微小手势的识别实验表明,该文设计的系统能够满足智能家居的基本需求。