基于深度相机的水稻穗层高度检测研究

为实现水稻穗层高度检测,基于深度相机对水稻穗层高度计算方法开展研究,以期为水稻割台高度控制、收割机智能化提供技术支持。为选择一种适用于水稻穗层分割的颜色空间,分别在RGB、HSV、LAB和i1i2i3颜色空间中对成熟水稻图像进行3D可视化,通过观察水稻穗层像素分布分析其可分离性;在此基础上,基于多阈值分割法、小联通区域移除、图像腐蚀等方法对水稻穗层进行提取;提出一种基于深度相机的水稻穗层高度(包括穗层最高高度H_(hs)、最低高度H_(ls))计算方法,并分别在实验室及田间进行验证试验。结果表明:水稻穗层在HSV颜色空间中具有较好的可分离性,所采用的图像分割、处理方法可有效提取水稻穗层;水稻穗层高度计算方法的实验室测试结果显示,H_(hs)与H_(ls)的计算误差均小于1.5%,田间测试结果显示H_(hs)与H_(ls)的计算误差分别为1.6%和18.2%。

基于深度相机的钢筋骨架尺寸智能检测方法

钢筋骨架的质量检查在预制钢筋混凝土构件的生产过程中发挥了重要的作用,因为其质量直接影响整个构件的性能和可靠性。目前,对于钢筋骨架的质量检查,主要依赖于传统的人工手段,比如使用钢尺测量和人工计数来评估钢筋的数量和间距等关键指标。然而,这种方法明显存在低效率、高成本、易出错等局限性。为了解决以上问题,本文针对预制钢筋混凝土构件中的多层钢筋骨架,引入深度相机传感器和先进技术,设计了一种新颖的钢筋骨架质量检查方法。首先通过深度相机采集图像,根据深度阈值筛选算法将双层钢筋转化成单层图像;然后利用改进的YOLOv5算法检测出交叉点坐标;最后根据坐标转换,求解绑扎间距。试验结果表明,该方法通过智能化算法提高了检查的准确性,减少了时间消耗,降低了对人工的依赖。

深度相机技术及其在电力系统中的应用前景

深度相机技术因其技术优势已经被应用到越来越多的领域中,目前,已有研究者开始尝试将深度相机技术应用在电力系统中。为此,有必要介绍一下深度相机技术并探究其在电力系统中的应用前景。首先介绍了深度相机技术的发展情况,接着将深度相机技术的特点与电力系统中潜在功能需求结合起来,探讨了深度相机技术在电力系统中的典型应用场景。在此基础上,从智能电网和本质安全2个方面阐述了深度相机技术在电力系统中的应用前景,以期为深度相机技术在电力系统中的应用研究提供参考。

基于深度相机和神经网络的下肢关节力矩估计

目的 通过深度相机和神经网络估计人在直线行走时髋、膝和踝关节的屈伸力矩。方法 利用光学运动捕捉系统、测力板和Azure Kinect深度相机采集20个人的步态信息,受试者被要求以其偏好的步行速度直线行走,同时踏在测力板上。并利用Visual 3D仿真得到关节力矩作为参考值,分别训练人工神经网络(artificial neural network, ANN)模型与长短期记忆(long short-term memory, LSTM)模型进行关节力矩估计。结果 ANN模型估计髋、膝和踝关节的关节力矩的相对均方根误差(relative root mean square error, rRMSE)分别为15.87%~17.32%、18.36%~25.34%和14.11%~16.82%,相关系数分别为0.81~0.85、0.69~0.74和0.76~0.82。LSTM模型具有更好的估计效果,rRMSE分别为8.53%~12.18%、14.32%~18.78%和6.51%~11.83%,相关系数分别达到了0.89~0.95、0.85~0.91和0.90~0.97。结论 本文证实了利用深度相机和神经网络无接触估计人体下肢关节力矩方案的可行性,其中LSTM模型具有更佳的表现。关节力矩估计结果与现有研究相比具有更好的精度,潜在应用场景包含远程医疗、个性化康复方案制定以及矫形器辅助设计等。

基于深度相机和二维码的室内移动机器人定位技术

提出一种以ORB_SLAM2为基本框架、使用二维码辅助深度相机的室内移动机器人定位方法。针对现有的视觉SLAM在定位过程中出现的Z轴漂移现象,提出平面运动模型约束,以降低机器人定位结果中的Z轴累计误差;针对视觉SLAM在弱纹理环境中算法退化、容易跟踪失败等问题,在室内环境中张贴二维码并将其数学模型作为定位约束,以提高系统的准确性与鲁棒性。真实环境下的实验结果表明:相比原始算法,所提算法在Z轴精度上提高了42.95%;以ORB_SLAM3的定位结果为真值,所提算法的定位精度提高了4.11%,该算法在室内环境下具有定位优势。

深度相机的测量误差建模及校正

ToF(Time of Flight)深度相机是获取三维点云数据的重要手段之一,但ToF深度相机受到自身硬件和外部环境的限制,其测量数据存在一定的误差。本文针对ToF深度相机的非系统误差进行研究,通过实验验证了被测目标的颜色、距离和相对运动等因素均会对深度相机获取的数据产生影响,且影响均不相同。本文提出了一种新的测量误差模型对颜色和距离产生的误差进行校正,对于相对运动产生的误差,建立了三维运动模糊函数进行恢复,通过对所建立的校正模型进行数值分析,距离和颜色的残余误差小于4 mm,相对运动所带来的误差小于0.7 mm。本文所做工作改善了ToF深度相机的测量数据的质量,为开展三维点云重建等工作提供了更精准的数据支持。

基于BlazePose与深度相机的体育评价系统

在目前的体育自动化测试和训练中,往往需要受试者穿戴多种传感器,影响了成绩的发挥,另一方面,仅依靠二维图像或深度相机的动作捕捉方法也难以全面、准确地描述人体运动姿态。论文针对上述问题,提出一种适用于常规体测项目的动作评价系统,首先将二维人体姿态估计模型BlazePose与深度相机结合,实现人体姿态关键点在三维空间中的准确定位,再通过卡尔曼滤波对关节点的轨迹进行平滑与估计,在此基础之上根据有限状态机的思想,以引体向上为例,完成了对多指标体测项目评价方法的设计,能够全面检测出各种犯规动作,实验表明整体正确检测率达到89%,处理速度达到20FPS,能够用于实际的辅助测试以及对个人的训练起到指导作用。

基于深度相机的大尺寸船体曲板测量技术研究

文中设计了一种基于深度相机的船体曲板测量系统.该系统将深度相机与伺服驱动结合,使用计算机控制采集过程,获取指定位置的多组小范围点云.采用一种超体素聚类改进的区域生长分割方法从原始点云数据中提取曲板表面点云,通过相机安装的相对位置和伺服系统的返回参数值拼接完整的船体曲板三维点云.使用该系统在3 000 mm×3 000 mm范围测量船体曲板,所得非边缘点云平均误差为0.61 mm,符合预期精度要求.

基于深度相机的大直径救援井三维模型重建研究

大直径钻孔救援是一种有效的矿山灾害应急救援方法,通过向人员被困位置施工大直径救援井,采用提升舱将被困井下的人员通过大直径救援井安全可靠提升至地面。大直径救援井的结构参数及其变化对提升舱的通过性能具有重要影响,实时获取大直径救援井的结构参数是大直径钻孔救援科学操作与决策的基础。为了满足大直径救援井结构参数的监测需求,研制了基于双目结构光原理的Intel RealSense D435i深度相机和ROS操作系统的大直径救援井结构参数检测与三维模型重建系统。针对大直径救援井井筒纹理光滑不明显的问题,对比分析了SIFT、SURF、ORB三种图像特征点提取算法提取大直径救援井井筒图像特征点的效果;采用ICP-PNP混合算法,估计深度相机的位姿,并根据相邻帧之间的运动误差筛选关键帧,优化三维点云模型;最后基于大直径救援井提升过程模拟试验平台进行了大直径救援井三维模型的重建试验。研究结果表明:在大直径救援井井筒纹理结构不明显情况下,相同时间内SURF算法具有更好的特征点提取效果;根据相邻帧之间的运动误差筛选关键帧图像,可以稳定地构建大直径救援井三维模型;对大直径救援井三维点云模型进行截面采样,与实际井筒半径误差在2%以内;基于最小二乘圆法对大直径救援井三维点云模型的采样截面进行圆拟合,与实际井筒半径误差在0.4%以内。重建的大直径救援井三维模型能够准确地反映实际大直径救援井的结构参数,为地面应急救援提升的科学操作和决策提供了保障。

基于激光雷达与深度相机融合的SLAM算法

针对单一传感器地图构建时存在环境表征不充分,无法为移动机器人自主导航提供完整环境地图等问题,本文通过将激光雷达与深度相机获取的环境信息进行互补融合,构建出更完整精确的栅格地图。首先,对传统ORB-SLAM2算法进行增强,使其具备稠密点云地图构建、八叉树地图构建以及栅格地图构建等功能。其次,为验证增强后ORB-SLAM2算法的性能,在fr1_desk1数据集和真实场景下进行测试,数据显示增强后ORB-SLAM2算法绝对位姿误差降低52.2%,相机跟踪轨迹增长14.7%,定位更加精准。然后,D435i型深度相机采用增强型ORB-SLAM2算法,激光雷达采用的Gmapping-Slam算法,按照贝叶斯估计的规则进行互补融合构建全局栅格地图。最后,搭建实验平台进行验证,并分别与深度相机和激光雷达2个传感器建图效果进行对比。实验结果表明,本文融合算法对周围障碍物的识别能力更强,可获取更完整的环境信息,地图构建更加清晰精确,满足移动机器人导航与路径规划的需要。

一种结合TCP标定的深度相机手眼标定方法

手眼标定是机器人实现视觉引导下精准作业中的关键技术。传统手眼标定和机器人工具中心点(TCP)标定分开进行,存在较大累积误差,同时针对深度相机的手眼标定存在精度不足的缺点。本文提出了一种结合TCP标定过程同步标定深度相机手眼关系的新方法。方法基于深度相机观测和TCP标定相同的标定平面,相机坐标系下标定平面方程和机械臂坐标系下标定平面方程为对应关系,通过平面方程之间的变换来计算手眼关系。本文方法减少了TCP和手眼关系独立标定累积误差影响,节约标定时间和标定件成本。仿真和实测结果表明,本文方法提高了深度相机手眼标定精度,标定后实测位置误差平均为0.2 mm,为机器人视觉控制系统高精度作业所需标定提供了一种新的思路。

基于深度相机的古建筑木结构裂缝识别联合多分辨率三维重建方法

目的研究木结构古建筑的三维数字化技术以及木结构表面裂缝分析方法,为该类古建筑的裂缝测量和维护提供参考。方法通过Mask R-CNN对RGBD图像中的裂缝信息进行识别,结合位姿优化策略计算每一帧的相机姿态,进而获得裂缝的三维信息;构造一种包含古建筑三维模型与裂缝信息的多分辨率三维重建模型,基于所构造的模型分析古建筑表面裂缝的长度和深度。结果提高裂缝三维重建精度前,长度平均计算误差为12.3%,深度平均计算误差为36.8%;提高裂缝三维重建精度后,长度平均计算误差为9.3%,深度平均计算误差为19.7%。结论提出的识别方法可以快速、精准地识别古建筑木结构中的裂缝并获得古建筑的三维模型,相较于传统裂缝测量效率更高、成本更低。

基于深度相机与激光雷达数据融合SLAM方法研究

移动机器人的安全运行依赖于可靠的地图构建,现有的同步定位和地图构建(SLAM)方法通常使用相机或者激光雷达构建地图。然而使用单线激光雷达无法检测低于扫描平面的障碍物,使用深度相机虽然能获取三维空间障碍物信息,但由于相机视场过小等限制导致数据中可用信息过少。针对上述单一传感器SLAM方案中存在的缺点。提出一种单线激光雷达与深度相机数据融合的SLAM方法。首先对深度相机数据进行预处理,然后标定出深度相机与激光雷达传感器的外参矩阵,之后利用得到的传感器外参矩阵将深度相机点云数据转换至激光雷达坐标系进行数据融合,最后将融合后的激光雷达扫描数据输入GMapping算法构建二维占据栅格地图。通过搭建Gazebo仿真环境验证所提出的融合方法的可行性与有效性,仿真实验结果表明该方法能够有效融合相机与激光雷达信息,检测地面微小障碍物,建立更加完善的占用栅格地图。

基于深度相机的金属柜体三维重建

针对金属柜体表面的光线反射和检测场地限制问题,研究了基于深度相机的金属柜体三维重建,使用深度相机采集金属柜体的RGBD图像,实现高质量的金属柜体表面数据采集;计算其点云数据后进行离群点剔除和下采样的数据处理,降低了噪声影响并提高运算速度;采用基于点云数据和基于三维信息的重建方式,构造金属柜体的三维模型。通过对比实验,证明本文方法得到的点云数据在数量、精度平均误差和采集速度上明显优于双目视觉方法;三种金属柜体的三维模型与真实值对比,模型误差百分比约为3%。

基于双视角深度相机的羊只三维重构及体尺测量

对家畜的体长、体高、胸围等体尺参数进行定期测量是实现精准养殖的基础。家畜体尺参数的非接触测量是当前技术发展的趋势,但其测量方法尚不成熟。针对这一问题,提出利用2个Kinect V2深度相机构建一套基于三维测量的非接触式羊只体尺参数测量系统,并对10只大足黑山羊进行了现场测量,实现了羊只外形轮廓的三维重构和体尺参数自动测量。实验表明:被测羊体长、体高、胸宽和腹宽的平均相对偏差分别为4.38%、3.28%、2.27%和2.75%,胸围和管围的平均相对偏差分别为6.87%和4.55%,该方法为羊只体尺测量提供了切实可行的新途径。

基于深度相机的无人机全自主避障系统

为提高无人机(Unmanned Aerial Vehicle,UAV)的路径规划能力,设计无人机避障系统。采用深度相机,以Nvidia Xavier NX作为上位机处理与发送指令,采用机器人操作系统(Robot Operating System,ROS)分布式程序设计,实现无人机全自主避障功能。同时采用A^(*)、TEB算法进行路径规划,利用双目相机进行无人机定位,在Ubuntu18.04开发平台中运用Gazebo模拟器建立无人机避障仿真模型,验证项目的可行性与正确性。在所设计的ROS系统控制硬件系统平台进行实际的无人机航线规划、避障导航以及追踪目标试验,结果显示,无人机与障碍物的距离大于0.3 m,所设计的系统可完成避障。

基于深度相机的虚拟眼镜试戴

当前,网上购物极大便利人们的生活,但是在网上购买眼镜时,消费者无法像在实体店中一样试戴眼镜,不能直观地看到眼镜佩戴效果,因而难以做出购买决策。针对这一问题,提出一种基于深度相机的虚拟眼镜试戴方法。该方法由2个阶段组成:第一阶段是重建人脸三维模型,利用深度相机采集得到的多角度人脸点云进行点云配准。点云配准时,首先得到特征点云完成一次粗配准,然后提取点云的重叠部分完成一次精细配准,由配准后的点云得到三维人脸模型;第二阶段是眼镜试戴,首先自动对齐人脸模型和眼镜模型并根据视频流实时估计的人脸姿态参数变换模型,并渲染模型,然后将经过消隐处理后的眼镜模型融合进视频流中,最终实现虚拟眼镜试戴效果。实验结果表明,该算法实时性好,试戴效果逼真,给用户带来良好的试戴体验。

基于SR300深度相机的褐蘑菇原位测量技术

褐蘑菇工厂化种植模式下,为了给蘑菇采摘机器人提供工作参数,采用结构光SR300深度相机采集菇床图像送入工控机进行原位测量。针对菇床上褐蘑菇的菌丝干扰背景,在深度图像中利用土壤表面深度的众数,结合蘑菇菌柄至少20 mm的高度,自适应选择动态阈值,从菇床背景中提取蘑菇菌盖二值图;针对粘连的类圆形蘑菇,基于2-1圆形Hough变换初步检测其圆心、半径,进一步对蘑菇的边界点进行跟踪、去噪、插补,分割粘连的蘑菇,准确拟合单体蘑菇边界,获取蘑菇圆心和边界点的三维坐标;校准相机坐标系并基于陶瓷圆板验证原位测量方法的精度,由此计算世界坐标系中单体蘑菇的位置、直径、偏向角、倾斜角。现场试验表明,蘑菇直径最大误差为5. 57 mm,倾斜角最大误差为6. 3°,视频帧的运行时间为206 ms,单体蘑菇的运行时间为44 ms,可满足蘑菇采摘机器人的现场需求。

基于消费级深度相机的玉米植株三维重建

根据植物表型分析对植物三维重建的需求,针对植物特征点不易提取而影响三维重建的问题,提出了一种基于深度相机的植物三维重建方法。首先,对深度相机进行内部参数标定和深度畸变矫正,以获取准确的深度信息;然后,固定好相机和转盘的相对位置,精确地计算出在当前深度相机的坐标空间下、转盘旋转一个固定角度θ对应的矩阵T;最后,按旋转角θ等间隔转动转盘,获取一系列点云,并结合矩阵T实现点云拼接,完成三维重建。通过与使用商业软件Skanect的重建结果进行对比,本文重建方法只需要配准一次,还原度更高,效率更好,鲁棒性更强,满足植物形态测量需求。

深度相机在计算机视觉与图形学上的应用研究(英文)

越来越多的应用如几何重建、碰撞检测、混合现实、手势识别等,都依赖于对三维场景准确且快速的分析。通过基于图像的分析或者激光扫描技术来获取场景的深度图,其代价高昂且十分耗时。作为距离测量中一种可替代的设备,深度相机拥有传统的三维测量系统所不具备的一些优点,如较低的价格以及较高的拍摄速度等。最近出现了一些小巧低廉的深度相机设备,这将给计算机视觉、计算机图形学、人机交互等领域带来一系列革命性的变化,吸引了众多研究者的关注。对深度相机最新发展情况进行了介绍,并报告了深度相机在计算机视觉、计算机图形学中的应用现状。