基于Kinect深度信息的人体运动跟踪算法

大多数人体跟踪算法鲁棒性不高的主要原因是对人体的颜色特征进行跟踪,针对此问题设计了基于Kinect深度信息的人体运动跟踪算法。通过分析Kinect获取的深度图信息来对人体轮廓进行区分判定,提取前景目标区域以及计算目标区域的深度直方图。通过对深度直方图进行分析去除背景区域部分,根据获取的深度直方图求取跟踪图像的深度反向投影;最后结合Camshift算法确定当前选取目标区域的尺寸和中心位置来进行对人体的实时跟踪。实验结果表明,该算法提取的目标特征具有较强的鲁棒性,避免了光照变化和背景相似情况下的不稳定问题,能实现复杂场景下的人体目标跟踪。

基于Kinect的深度数据融合方法

与传统三维激光扫描仪相比,Kinect作为一种新型深度相机,具有价格低廉、深度数据获取能力强、RGB影像与深度影像同步获取等优势,然而面对较大室内场景精细建模却存在数据量大、建模范围有限、对硬件环境依赖性强等问题。因此,在现有单一模型建模基础上,提出了基于Kinect深度影像的多模型数据融合方法,实现模型间的自动拼接。最后通过两组实验对提出的数据融合方法进行了验证,并取得了较好的模型拼接效果。

使用Kinect传感器的油菜叶片面积测量方法

为快速准确地测定活体油菜的叶片面积,减小在数字图像处理中由于叶片的卷曲和变形带来的二维投影误差大的问题,使用Kinect传感器拍摄油菜叶片的彩色和深度图像,用三维方法测量叶片面积。利用绿色分量值显著的特性在彩色图中分割出叶片并将其映射到深度图。在深度图中,使用标定方块计算像素-物理尺寸转换参数,以计算叶片的三维点云。在三维点云中,检测叶片的轮廓并去除毛刺,再使用插值使点云网格化,最后使用海伦公式计算叶片轮廓包含的网格面积,得到叶片的总面积。实验结果表明,Kinect传感器的测量方法成本低、精度高、通用性强。测量值与真实值之间显著正相关,相关系数为0.998 5。使用回归方程y=0.955x+22.357可以校正测量值,使其更准确地反映叶片面积。

基于Kinect的课堂教学状态监测系统

课堂上对学生听课效果进行评估的重点是捕捉学生听课行为。本系统利用Kinect传感器获取学生听课过程中的彩色、深度、骨骼点图像来分析学生的上课肢体状态、注意力方向,以此反映学生听课状态。同时,系统利用Kinect麦克风阵列采集到的声源信息来统计课堂回答问题的频度和声源位置。通过对上述信息的综合分析,获取学生上课状态的客观指标,从而对课堂教学评估提供数据支撑。

基于Kinect深度信息的手势分割与识别

针对手势识别对环境背景要求高、分割的手势往往包含手腕及手指靠拢易造成误识别等问题,提出了一种基于深度信息的手势识别方法。采集手势深度图;接着利用手生成器获取手心信息分割手势,为了去除多余的手腕信息,增加了手掌近似正方形的约束条件;利用扫描线法获取拇指外其它四指数,并结合相邻手指宽度比例及拇指位置的特殊性实现手势的识别。实验结果表明,该方法的平均识别率达到98.4%,实时性好,且对不同光照和复杂背景具有很好的鲁棒性。

基于Kinect传感器的猕猴桃果实空间坐标获取方法

猕猴桃自动采摘机器人研究中,为了自动获取目标果实的空间坐标,提出了一种基于Kinect传感器的猕猴桃果实空间坐标获取方法。首先利用Kinect传感器的红外投影机和红外摄像机获取深度图像,利用彩色摄像机获取RGB图像,根据彩色图和深度图对应关系,转换成深度坐标;然后通过Map Depth Point To Skeleton Point函数得到以红外摄像机为原点的坐标系坐标。实验表明:该方法能够有效获取猕猴桃目标果实的空间坐标,其定位误差小于2mm。

基于Kinect的非接触式呼吸检测系统

利用Kinect的深度传感器功能,获取景深图像,并对图像进行信号处理和分析,检测人体的呼吸率和呼吸状态,从而实现非接触式呼吸检测。该系统免除了传统接触式呼吸检测仪安装和测试带来的不便,实现高效准确的实时呼吸监测。

基于Kinect v4的牛体尺测量方法

针对基于机器视觉的牛体尺测量方法中图像背景复杂、特征点提取难度大的问题,提出了一种基于Kinect v4传感器的牛体尺测量方法来采集彩色和深度图像,并结合目标检测、Canny边缘检测、三点圆弧曲率等算法提取体征特征点进而计算体尺数据。首先,制作了牛体尺特征部位图像数据集,并利用深度学习YOLOv5目标检测算法检测牛体尺特征部位信息,以减少牛体其他部位和背景对体尺测点提取的干扰;其次,借助OpenCV图像处理库中的Canny边缘检测、轮廓提取等图像处理算法获取牛体尺测点所在的关键轮廓;然后,对关键轮廓采用多项式拟合和三点圆弧曲率等算法从而在二维图像中提取牛体尺测点;最后,利用深度信息将二维图像中的测点信息转换到三维坐标系下,并结合随机抽样一致(RANSAC)算法在三维坐标系下设计牛体尺测量方法。经过在复杂环境下传感器和牛体侧面成不同偏角时的实验测量结果和人工测量结果的比较得出,牛体尺数据中鬐甲高的平均相对误差为0.76%,体斜长的平均相对误差为1.68%,体直长的平均相对误差为2.14%,臀端高的平均相对误差为0.76%。实验结果表明,所提方法在复杂环境下具有较高的测量精度。

基于Kinect传感器的动态手势实时识别

本文提出了一种基于Kinect传感器的动态手势实时识别方法,在预处理阶段通过OpenNI/NITE快速获取人体骨架,并从中得到关节点数据用于建立动态手势的运动轨迹特征描述子.提出了一种在全局约束条件下的权重化多维数据的动态时间扭曲算法(WM-DTW)来对手势轨迹序列进行训练和识别.实验结果表明,本文的识别方法比LDA算法和动态时间扭曲(DTW)算法有更高的识别率.

基于Kinect的智能家居系统

针对传统基于物联网技术的智能家居系统用户参与感不强、无法进行自定义手势操控等问题,设计一套基于Kinect的智能家庭管理系统。通过深度传感器得到彩色数据流、深度数据流以及骨骼数据流,从而获取人体的动作轨迹,并自定义手势操控方式来实现家居的智能控制。由于深度数据对光照和背景干扰等因素有较强的鲁棒性,提高了手势及轨迹识别的准确性和可靠性。在明暗两种光照条件下,对该文定义的4种手臂姿势、3种动作任务和5种微小手势的识别实验表明,该文设计的系统能够满足智能家居的基本需求。

基于kinect的物体抓取场景认知

针对RoboCup竞赛家庭组比赛对物体抓取的要求,研究了物体抓取场景认知问题。设计了一种基于kinect的物体抓取场景认知系统。先将kinect传感器得到的深度图像转换为3维(3D)点云图,然后计算每个3D点所在曲面的局部法向量,再根据法向量和距离特征分割提取出水平桌面;采用3D点与水平桌面的位置关系分离出潜在的抓取物体目标点,选择随机抽样一致(RANSAC,Random Sample Consensus)算法完成圆柱形抓取物体的定位。使用实验室采集的场景深度图对认知系统进行测试。结果表明,设计的系统可以可靠提取水平桌面和桌面上的圆柱形物体,可以达到物体抓取比赛的要求。

基于Kinect传感器的移动机器人环境检测及行为学习

研究了一种基于深度图像和强化学习算法的移动机器人导航行为学习方法。该方法利用机器人装配的Kinect传感器检测工作环境信息,然后对获取的深度图像数据和视频图像进行处理、融合和识别,并由此构建机器人任务学习的状态空间,最终利用强化学习方法实现移动机器人的导航任务的自学习。该方法的有效性通过实验得到验证。实验表明,该方法能够使机器入具有较强的环境感知能力,并能够通过自学习的方式掌握行为能力。

基于Kinect的典型零部件识别与定位

针对自动化拆卸的零部件识别与定位问题,提出了一种结合深度信息的典型零部件图像识别与定位方法.利用Kinect传感器获取彩色图像与深度图像,提取出两者之间的仿射变换矩阵,实现彩色图像的矫正;根据相关系数匹配法实现矫正后的彩色图像零部件识别;利用彩色图像与深度图像的对应关系对零部件进行定位.针对典型零部件,对Kinect传感器获取的图像进行仿真实验与处理,结果表明,该方法能对目标进行识别与定位,验证了方法的有效性.

基于Kinect传感器的温室植株绿色与深度检测方法

植株目标的有无、颜色以及深度等特征的检测对于精准农业的发展,特别是喷雾机智能喷雾过程中的植株识别、林木种植中植株生长状态的检测等均具有重要意义。本文提出一种基于Kinect传感器的温室植株绿色与深度检测方法,首先通过Kinect传感器检测植株目标并获取其彩色图像和深度图像;再对所获取的彩色图像进行植株颜色的限制处理,以识别出绿色植株目标;对所获取的深度图像进行深度范围限制处理,去除范围以外的干扰物体;最后由植株目标的色彩特征图像与深度图像的距离特征结合,实现对所需检测距离范围内的绿色植株目标的检测。通过实验证明该方法能够实现限定深度范围内绿色植株目标的检测,场地试验验证了在实际的植株种植应用环境中该方法也能够实现植株区域的识别,可以应用于精准农业植株的检测与特征识别。

基于Kinect传感器的音乐喷泉控制系统

利用Kinect传感器的手势识别技术对喷泉进行控制的理论和实现方法,采用Kinect深度图像的骨骼跟踪和动态图像识别技术提取各种手势动作,替代计算机的键盘和鼠标实现人机互动。将Kinect采集的三维数据转换为控制音乐喷泉的二维数据,通过PC机串行接口下传到喷泉控制器实现对喷泉的水型和灯光的多种变化的控制。Kinect采用的自然人机交互技术使计算机像人一样对外界进行反应,增强人机交互体验,丰富音乐喷泉的功能和人们的乐趣。

基于Kinect的无接触式体质检测系统

为了减少体质检测中的人力成本、提高该过程的速度,将无接触式体感交互系统应用于体能检测中,以达到更高效的目的。以Kinect传感器为核心捕捉人体运动,从骨骼图像中提取20个关节点的信息,进而计算出身高、跳远距离等数据。景深图像可识别人体与其他非人体物体,由关节点坐标计算的方法也利于防止测试中的作假现象。

基于Kinect v2低成本动作捕捉系统在步态分析中的开发及应用

近年诸多证据表明基于深度传感器的微软Kinect v2可以进行精准数字化步态分析,从而提高神经系统和运动系统疾病的临床实践水平。本文从基于Kinect v2步态分析研究的步态录制条件、步态参数提取方法、步态分析准确性等方面综述Kinect v2的可靠性及可行性。文献综述提示,虽然受制于硬件及现有算法,Kinect v2在运动学步态参数测量上尚存在较大误差,但依靠其所提取的时-空间步态参数与金标准相比均具有极好的一致性,可以作为简易、低成本的步态记录及数字化分析的工具。因各研究所使用配套软件及终端算法不尽相同,未来研究方向应该聚焦于优化算法并建立标准化系统,且需要更大样本量的受试者数据验证该系统作为临床步态分析工具的真正效能。

基于Kinect传感器的立定跳远检测系统设计

为提高学生体质健康测试速度和数据的准确性,对以Kinect传感器为核心捕捉立定跳远人体运动的检测方法进行了探讨。研究结果表明:采用Kinect传感器的飞行时间(TOF)测距原理和方法比传统测试立定跳远方法更具准确性,可实现高效、准确的立定跳远测试,并能对动作姿态进行判断。

基于k-means的Kinect深度图像空洞修复算法

为解决Kinect感应器所采集的深度图像中存在大面积空洞的问题,提出了一种深度图像空洞修复方法。该算法首先输入同步获取的彩色图像和深度图像;接着利用k-means算法对灰度化后的彩色图像进行聚类,聚类结果作为引导图像;然后对每个深度图像中的空洞点,搜索引导图像中与之相匹配的非空洞像素点,将该点的深度值作为空洞点的深度值。实验结果表明,该算法利用聚类思想,将彩色图像应用到对深度图像的空洞修复,有效完成了对深度图像的空洞填充,修复后深度图像的平滑度优于联合双边滤波方法,较好地提高了深度图像的质量。

基于Kinect传感器和HOG特征的静态手势识别

手势识别是人机交互领域的一种重要手段。针对现有算法识别率低,鲁棒性弱的问题,本文基于Kinect传感器获取的手势深度图像,对复杂背景干扰下的手部区域进行分割,然后利用梯度方向直方图(HOG)对手部灰度图像进行特征提取,最后利用最小马氏距离分类器进行建模、分类,实现静态手势识别。根据Kinect传感器获取的深度信息结合阈值分割法,能够准确地检测手部区域,为后续识别打下良好的基础。而HOG特征适应光照的变化,且具有几何不变矩的特性。实验结果表明,本文提出的手势识别方法在光照变化和复杂背景干扰下具有较强的鲁棒性和较高的识别率。