基于深度视觉和传感器融合的煤矿综采工作面液压支架姿态远程智能监测

对支架偏移程度进行测量时,无法判断直线度偏移阈值,顶梁方位角测量误差较大,导致监测精度较差。为此提出了基于深度视觉和传感器融合的煤矿综采面液压支架姿态远程智能监测方法。以支架底部边缘端点为坐标原点,构建出三维空间坐标系,并按照3个坐标轴的方向对支架偏移类型进行分析。采用自适应加权算法,对支架传感测量数据进行融合处理,计算支架直线度。结合直线度偏移阈值,构建出支架位姿监测方法。测试结果表明,采用该方法对液压支架进行位姿监测时,顶梁方位角测量误差值较低,具备较为理想的监测精度。

基于视觉传感器采集光流特征的精神疾病识别方法

目前,精神疾病的筛查主要依靠临床医生的访谈和问卷进行评估,具有高成本、主观性等问题。提出了一种基于视觉传感器采集光流特征的精神疾病识别方法,可以实时监测和预警,以较低的成本和非侵入性的方式来进行精神疾病的辅助筛查。该算法通过视觉传感器全面采集患者的面部数据来提取光流特征,并输入TSMOSNet进行训练。TSMOSNet以TSM为基础网络进行改进,替换普通卷积为光流提取头,针对视觉传感器采集而来的光流特征图进行密集采样,并添加了时序注意力模块、DML蒸馏和VideoMix数据增强等方法,增强了视觉特征,以提高精神疾病识别的准确率。实验结果表明,在H7-BDSN数据集上相比于其他方法,本研究提出的识别算法在精神疾病的筛查任务中取得了最好的效果,准确率为85%,F1分值为0.84。

一种融合激光和深度视觉传感器的SLAM地图创建方法

针对移动机器人的不确定复杂环境,一般采用单一传感器进行同时定位和地图创建(SLAM)存在精度较低,并且易受干扰、可靠性不足等问题,提出一种基于Bayes方法的激光传感器和RGB-D传感器的信息融合SLAM方法。利用Bayes方法通过概率启发式模型提取光束投影到栅格地图单元,充分利用激光与视觉信息中的冗余信息,提取一致性特征信息,并进行特征级的信息融合;在地图更新阶段,提出一种融合激光传感器和视觉传感器的贝叶斯估计方法,对栅格地图进行更新。在使用ROS(移动机器人操作系统)的实验平台上的实验表明,多传感器信息融合可以有效提高SLAM的准确度和鲁棒性。

基于深度视觉传感器和卷积神经网络的跌倒检测算法

为提高传统跌倒检测系统的识别准确率,降低识别时间,提出了一种新型跌倒检测模型。以Kinect V2深度视觉传感器获取的骨骼节点为样本数据源,由改进型K-means算法计算聚类中心点,并在此基础上提取跌倒检测特征数据。将特征数据重构成5×5训练样本数据后,输入所设计的卷积神经网络模型进行训练学习,得到优化的跌倒检测模型参数。实验表明,所设计的新型检测模型相对于传统检测跌倒算法具有更高的识别准确率和更快的运算速度,保证了系统的实时性和鲁棒性要求。

基于Kinect传感器的温室植株绿色与深度检测方法

植株目标的有无、颜色以及深度等特征的检测对于精准农业的发展,特别是喷雾机智能喷雾过程中的植株识别、林木种植中植株生长状态的检测等均具有重要意义。本文提出一种基于Kinect传感器的温室植株绿色与深度检测方法,首先通过Kinect传感器检测植株目标并获取其彩色图像和深度图像;再对所获取的彩色图像进行植株颜色的限制处理,以识别出绿色植株目标;对所获取的深度图像进行深度范围限制处理,去除范围以外的干扰物体;最后由植株目标的色彩特征图像与深度图像的距离特征结合,实现对所需检测距离范围内的绿色植株目标的检测。通过实验证明该方法能够实现限定深度范围内绿色植株目标的检测,场地试验验证了在实际的植株种植应用环境中该方法也能够实现植株区域的识别,可以应用于精准农业植株的检测与特征识别。

基于LabVIEW和深度视觉传感器的课堂智能管理系统

为解决现有课堂过程管理手段比较落后,系统功能比较单一的问题,本文设计了一种集课堂考勤、课堂行为识别和管理、自主学习管理于一体的智能课堂管理系统.该系统以深度视觉传感器Kinect V2为数据采集设备,以LabVIEW为软件开发平台,实现了基于人脸识别和移动设备定位相结合的课堂考勤功能,基于骨架特征提取和SVM分类器的课堂行为识别和分析功能,基于MyEclipse和MySQL数据库的学生自主学习管理功能.实验表明,该系统人脸识别签到的识别准确率达到97%;课堂行为识别精度达到95%以上;数据库设计合理完善,自主学习功能灵活可靠.

基于Kinect传感器的三维点云配准优化

针对目前三维点云配准中传统ICP(Iterative Closest Point)算法存在的速度慢、精度低的问题。采用微软Kinect2.0深度传感器从真实的场景中获取目标物体的点云数据,通过点云分割、滤波、下采样等预处理工作,确保点云配准质量。在点云的粗配准中,使用特征点采样一致性算法,使点云获得更好的初始位置,为精配准创造了良好的初始条件。在点云的精配准中,提出一种利用线性最小二乘法优化的点到面ICP算法。实验结果表明,改进后算法的均方根误差为0.788 mm,时间为56.31 ms。与基于尺度不变特征变换的ICP算法和特征点采样一致性改进ICP算法相比,改进后的算法配准精度分别提高了30.9%和33.6%,速度提高了18.9%和32.1%。

Kinect深度传感器深度误差分析和修正方法的研究

针对Kinect2.0深度传感器获取的深度数据存在较大误差的问题,本文对其误差变化情况进行了测试分析,发现测距范围在4.5 m以内时,误差变化稳定,且保持在25 mm精度以内。但是当距离大于4.5 m后,误差则表现为快速增加,且随距离增加而曲线上升。鉴于此,本文通过多项式曲面拟合误差与距离曲线,对深度数据进行误差修正,使得深度数据在4.5 m至7 m范围内时,误差可控制在50 mm以内。试验证明,该方法可以较好地修正深度数据误差,提升Kinect深度传感器测距精度。

Azure Kinect DK深度传感器误差分析和修正方法的研究

针对Azure Kinect DK深度传感器获取的深度数据存在较大误差的均匀现象,本文对其进行了测试分析,发现测量距离在8.5m以内时精度较高,误差在20mm精度以内,当测量距离大于8.5m后,误差随距离增加而快速增加。本文提出使用多项式曲线拟合方法对误差进行修正,使用该方法修正后的误差距离8.5m以内时精度保持不变,距离在8.5m至12m范围明显降低系统误差,控制在50mm以内,且分布均匀。试验证明该方法可以较好地修正Azure Kinect DK传感器测量系统误差,提升其距离测量精度。

使用Kinect传感器的油菜叶片面积测量方法

为快速准确地测定活体油菜的叶片面积,减小在数字图像处理中由于叶片的卷曲和变形带来的二维投影误差大的问题,使用Kinect传感器拍摄油菜叶片的彩色和深度图像,用三维方法测量叶片面积。利用绿色分量值显著的特性在彩色图中分割出叶片并将其映射到深度图。在深度图中,使用标定方块计算像素-物理尺寸转换参数,以计算叶片的三维点云。在三维点云中,检测叶片的轮廓并去除毛刺,再使用插值使点云网格化,最后使用海伦公式计算叶片轮廓包含的网格面积,得到叶片的总面积。实验结果表明,Kinect传感器的测量方法成本低、精度高、通用性强。测量值与真实值之间显著正相关,相关系数为0.998 5。使用回归方程y=0.955x+22.357可以校正测量值,使其更准确地反映叶片面积。

基于Kinect传感器的猕猴桃果实空间坐标获取方法

猕猴桃自动采摘机器人研究中,为了自动获取目标果实的空间坐标,提出了一种基于Kinect传感器的猕猴桃果实空间坐标获取方法。首先利用Kinect传感器的红外投影机和红外摄像机获取深度图像,利用彩色摄像机获取RGB图像,根据彩色图和深度图对应关系,转换成深度坐标;然后通过Map Depth Point To Skeleton Point函数得到以红外摄像机为原点的坐标系坐标。实验表明:该方法能够有效获取猕猴桃目标果实的空间坐标,其定位误差小于2mm。

基于Kinect传感器的羊体体尺测量系统

在基于机器视觉的羊体体尺测量中,当光线、背景等产生干扰时,彩色图像无法准确提取出羊体轮廓,且羊体站姿的变化也会造成测量误差。基于VS2010,Windows SDK搭建羊体测量系统,为解决背景干扰的问题,采用Kinect传感器获取现场羊体彩色和深度图像,将彩色与深度图像相结合提取羊体轮廓;结合深度信息建立羊体空间轮廓线拟合平面,并计算其与像平面夹角,进行体位站姿纠偏后得到羊体体尺数据。经过实验测试,相对误差在4.3%以内。

基于Kinect传感器的动态手势实时识别

本文提出了一种基于Kinect传感器的动态手势实时识别方法,在预处理阶段通过OpenNI/NITE快速获取人体骨架,并从中得到关节点数据用于建立动态手势的运动轨迹特征描述子.提出了一种在全局约束条件下的权重化多维数据的动态时间扭曲算法(WM-DTW)来对手势轨迹序列进行训练和识别.实验结果表明,本文的识别方法比LDA算法和动态时间扭曲(DTW)算法有更高的识别率.

基于Kinect传感器的机器人室内环境检测方法

针对移动机器人室内环境检测问题,提出了一种基于Kinect传感器的目标物体检测方法.利用Kinect传感器采集的视频图像和深度数据来实现对机器人工作环境中已知特征目标物体和完全未知目标物体的检测及定位.对于已知特征目标通过颜色特征分析来完成检测,而对于完全未知的物体则通过深度地面消除算法和提取深度图像的轮廓来进行检测.利用传感器成像模型对检测出的目标区域进行三维空间定位,从而获取目标物相对于机器人的空间位置信息.基于移动机器人平台进行实验,结果表明,该方法能够有效地实现室内环境信息的检测及定位.

基于Kinect传感器的移动机器人环境检测及行为学习

研究了一种基于深度图像和强化学习算法的移动机器人导航行为学习方法。该方法利用机器人装配的Kinect传感器检测工作环境信息,然后对获取的深度图像数据和视频图像进行处理、融合和识别,并由此构建机器人任务学习的状态空间,最终利用强化学习方法实现移动机器人的导航任务的自学习。该方法的有效性通过实验得到验证。实验表明,该方法能够使机器入具有较强的环境感知能力,并能够通过自学习的方式掌握行为能力。

基于Kinect传感器的音乐喷泉控制系统

利用Kinect传感器的手势识别技术对喷泉进行控制的理论和实现方法,采用Kinect深度图像的骨骼跟踪和动态图像识别技术提取各种手势动作,替代计算机的键盘和鼠标实现人机互动。将Kinect采集的三维数据转换为控制音乐喷泉的二维数据,通过PC机串行接口下传到喷泉控制器实现对喷泉的水型和灯光的多种变化的控制。Kinect采用的自然人机交互技术使计算机像人一样对外界进行反应,增强人机交互体验,丰富音乐喷泉的功能和人们的乐趣。

基于深度视觉传感的巡检机器人行进轨迹跟踪控制

巡检机器人面对不同路况时反应速度的时间差使其行进轨迹跟踪控制容易产生误差。为了提高巡检机器人复杂操作环境中的行进轨迹跟踪控制效果,提出基于深度视觉的巡检机器人行进轨迹跟踪控制方法。根据巡检机器人移动位姿和轴向运动轨迹产生的角速度和线速度,建立巡检机器人运动学方程;利用Kinect深度视觉传感器创建贴合实际环境的三维地图;利用滑模控制器约束巡检机器人运动学方程,实现巡检机器人行进轨迹自动化跟踪控制。实验结果表明,所提方法在障碍物环境和非障碍物环境的跟踪控制效果均较好。

一种主动式全景立体视觉传感器设计

现有的三维激光扫描仪无法实时、全自动地计算空间三维信息,需要对获得的点云数据进行配准。为解决这些问题,研制了一种新型主动式全景立体视觉传感器(ASODVS),并且从影响ASODVS测距精度的各个因素进行了分析。实验结果表明:设计的ASODVS能自动、实时地进行空间物点深度测量,并得到相应的点云数据。

基于Kinect传感器的立定跳远检测系统设计

为提高学生体质健康测试速度和数据的准确性,对以Kinect传感器为核心捕捉立定跳远人体运动的检测方法进行了探讨。研究结果表明:采用Kinect传感器的飞行时间(TOF)测距原理和方法比传统测试立定跳远方法更具准确性,可实现高效、准确的立定跳远测试,并能对动作姿态进行判断。

基于Kinect传感器和HOG特征的静态手势识别

手势识别是人机交互领域的一种重要手段。针对现有算法识别率低,鲁棒性弱的问题,本文基于Kinect传感器获取的手势深度图像,对复杂背景干扰下的手部区域进行分割,然后利用梯度方向直方图(HOG)对手部灰度图像进行特征提取,最后利用最小马氏距离分类器进行建模、分类,实现静态手势识别。根据Kinect传感器获取的深度信息结合阈值分割法,能够准确地检测手部区域,为后续识别打下良好的基础。而HOG特征适应光照的变化,且具有几何不变矩的特性。实验结果表明,本文提出的手势识别方法在光照变化和复杂背景干扰下具有较强的鲁棒性和较高的识别率。