基于RealSense深度相机的多特征树干快速识别方法

针对农业机器人在果园定位和导航中,环境背景复杂、光照强度变化大等问题,本文提出了一种基于RGB-D相机并利用颜色、深度、宽度和平行边特征的树干快速识别方法。首先,使用RealSense深度相机获取果园的彩色图像和深度数据;然后,将彩色图像转换为HSV颜色空间,再对HSV颜色空间中的S分量进行超像素分割,并将颜色特征和深度特征相近的相邻超像素块进行合并;随后,对深度图像进行树干宽度特征检测,对宽度置信率大于阈值的物体看作是待处理物体;最后,对待处理的物体进行平行边特征检测,在待处理物体边缘区域选择感兴趣区域窗口(ROI)进行边缘检测,搜索可能的树干边缘直边,当物体边缘的置信率R_(B)大于设定的阈值T_(LB)时,则识别为树干。通过对树干的多特征提取,有效提高了在不同环境下树干识别准确率。利用移动机器人平台在果园环境进行试验测试,以检验在强光照、正常光照和弱光照条件下树干识别算法的性能。试验结果表明,本文的树干识别算法在强光照、正常光照和弱光照条件下,树干识别的准确率分别为92.38%、91.35%和89.86%,每帧图像平均耗时分别为0.54、0.66、0.76 s,能够稳定且快速地实现果园环境下树干识别作业。

基于深度学习的全天空相机成像日间云量计算研究

云量是天文领域中地基光电望远镜站址选择的重要评价参数之一。针对全天空相机成像的日间云量计算存在的问题,提出一种基于深度学习的全天空相机成像日间云量计算模型。云检测层,模型通过构建通道加权-特征融合(channel weighting-feature fusion,CWFF)结构,从而加强对云层记忆能力和深层特征的提取能力以完成云检测任务;云量计算层,模型提出一种基于云检测模型的云量计算方法,有效提高云量计算的误差率。实验表明,该方法在云检测任务中的综合准确率超过95%,在云量计算任务中的平均绝对误差不超过5%。

基于深度相机的水稻穗层高度检测研究

为实现水稻穗层高度检测,基于深度相机对水稻穗层高度计算方法开展研究,以期为水稻割台高度控制、收割机智能化提供技术支持。为选择一种适用于水稻穗层分割的颜色空间,分别在RGB、HSV、LAB和i1i2i3颜色空间中对成熟水稻图像进行3D可视化,通过观察水稻穗层像素分布分析其可分离性;在此基础上,基于多阈值分割法、小联通区域移除、图像腐蚀等方法对水稻穗层进行提取;提出一种基于深度相机的水稻穗层高度(包括穗层最高高度H_(hs)、最低高度H_(ls))计算方法,并分别在实验室及田间进行验证试验。结果表明:水稻穗层在HSV颜色空间中具有较好的可分离性,所采用的图像分割、处理方法可有效提取水稻穗层;水稻穗层高度计算方法的实验室测试结果显示,H_(hs)与H_(ls)的计算误差均小于1.5%,田间测试结果显示H_(hs)与H_(ls)的计算误差分别为1.6%和18.2%。

深度相机技术及其在电力系统中的应用前景

深度相机技术因其技术优势已经被应用到越来越多的领域中,目前,已有研究者开始尝试将深度相机技术应用在电力系统中。为此,有必要介绍一下深度相机技术并探究其在电力系统中的应用前景。首先介绍了深度相机技术的发展情况,接着将深度相机技术的特点与电力系统中潜在功能需求结合起来,探讨了深度相机技术在电力系统中的典型应用场景。在此基础上,从智能电网和本质安全2个方面阐述了深度相机技术在电力系统中的应用前景,以期为深度相机技术在电力系统中的应用研究提供参考。

基于深度相机的钢筋骨架尺寸智能检测方法

钢筋骨架的质量检查在预制钢筋混凝土构件的生产过程中发挥了重要的作用,因为其质量直接影响整个构件的性能和可靠性。目前,对于钢筋骨架的质量检查,主要依赖于传统的人工手段,比如使用钢尺测量和人工计数来评估钢筋的数量和间距等关键指标。然而,这种方法明显存在低效率、高成本、易出错等局限性。为了解决以上问题,本文针对预制钢筋混凝土构件中的多层钢筋骨架,引入深度相机传感器和先进技术,设计了一种新颖的钢筋骨架质量检查方法。首先通过深度相机采集图像,根据深度阈值筛选算法将双层钢筋转化成单层图像;然后利用改进的YOLOv5算法检测出交叉点坐标;最后根据坐标转换,求解绑扎间距。试验结果表明,该方法通过智能化算法提高了检查的准确性,减少了时间消耗,降低了对人工的依赖。

基于深度相机和神经网络的下肢关节力矩估计

目的 通过深度相机和神经网络估计人在直线行走时髋、膝和踝关节的屈伸力矩。方法 利用光学运动捕捉系统、测力板和Azure Kinect深度相机采集20个人的步态信息,受试者被要求以其偏好的步行速度直线行走,同时踏在测力板上。并利用Visual 3D仿真得到关节力矩作为参考值,分别训练人工神经网络(artificial neural network, ANN)模型与长短期记忆(long short-term memory, LSTM)模型进行关节力矩估计。结果 ANN模型估计髋、膝和踝关节的关节力矩的相对均方根误差(relative root mean square error, rRMSE)分别为15.87%~17.32%、18.36%~25.34%和14.11%~16.82%,相关系数分别为0.81~0.85、0.69~0.74和0.76~0.82。LSTM模型具有更好的估计效果,rRMSE分别为8.53%~12.18%、14.32%~18.78%和6.51%~11.83%,相关系数分别达到了0.89~0.95、0.85~0.91和0.90~0.97。结论 本文证实了利用深度相机和神经网络无接触估计人体下肢关节力矩方案的可行性,其中LSTM模型具有更佳的表现。关节力矩估计结果与现有研究相比具有更好的精度,潜在应用场景包含远程医疗、个性化康复方案制定以及矫形器辅助设计等。

基于RealSense仓库货物体积计算方法的研究

企业仓库中,查看可用空间量是调配货物过程中的重要环节,而对于固定的仓库,它的总容量是固定的,所以可以通过算出仓库中现有的货物量,然后两个相减即可得到剩余可用空间量。对于计算仓库货物的体积,首先使用RealSense深度相机获取货物场景的初始点云。由于获取的初始点云数据往往存在噪声,所以在进行货物体积计算时需要进行一些预处理。预处理过后得到了货物的点云,然后利用投影法和积分法对其进行计算测量。针对仓库货物堆的大小不一问题,提出了两种方案:第一种,对于小货物堆(体积小于2立方米的货物),使用相机从上往下拍,获取货物的顶面和地面,然后通过统计分析法、投影与积分的结合得到货物体积;第二种,对于大货物堆(体积大于等于2立方米的货物)不易获取货物的顶面,使用两个有一定距离的相机获取货物堆的两个侧面,然后对方案一的方法进行变形得到货物体积。实验结果表明:该方式测得的货物体积与实际的货物体积相差不超过3%,满足目前企业仓库的需求。

深度相机的测量误差建模及校正

ToF(Time of Flight)深度相机是获取三维点云数据的重要手段之一,但ToF深度相机受到自身硬件和外部环境的限制,其测量数据存在一定的误差。本文针对ToF深度相机的非系统误差进行研究,通过实验验证了被测目标的颜色、距离和相对运动等因素均会对深度相机获取的数据产生影响,且影响均不相同。本文提出了一种新的测量误差模型对颜色和距离产生的误差进行校正,对于相对运动产生的误差,建立了三维运动模糊函数进行恢复,通过对所建立的校正模型进行数值分析,距离和颜色的残余误差小于4 mm,相对运动所带来的误差小于0.7 mm。本文所做工作改善了ToF深度相机的测量数据的质量,为开展三维点云重建等工作提供了更精准的数据支持。

基于BlazePose与深度相机的体育评价系统

在目前的体育自动化测试和训练中,往往需要受试者穿戴多种传感器,影响了成绩的发挥,另一方面,仅依靠二维图像或深度相机的动作捕捉方法也难以全面、准确地描述人体运动姿态。论文针对上述问题,提出一种适用于常规体测项目的动作评价系统,首先将二维人体姿态估计模型BlazePose与深度相机结合,实现人体姿态关键点在三维空间中的准确定位,再通过卡尔曼滤波对关节点的轨迹进行平滑与估计,在此基础之上根据有限状态机的思想,以引体向上为例,完成了对多指标体测项目评价方法的设计,能够全面检测出各种犯规动作,实验表明整体正确检测率达到89%,处理速度达到20FPS,能够用于实际的辅助测试以及对个人的训练起到指导作用。

基于深度相机和二维码的室内移动机器人定位技术

提出一种以ORB_SLAM2为基本框架、使用二维码辅助深度相机的室内移动机器人定位方法。针对现有的视觉SLAM在定位过程中出现的Z轴漂移现象,提出平面运动模型约束,以降低机器人定位结果中的Z轴累计误差;针对视觉SLAM在弱纹理环境中算法退化、容易跟踪失败等问题,在室内环境中张贴二维码并将其数学模型作为定位约束,以提高系统的准确性与鲁棒性。真实环境下的实验结果表明:相比原始算法,所提算法在Z轴精度上提高了42.95%;以ORB_SLAM3的定位结果为真值,所提算法的定位精度提高了4.11%,该算法在室内环境下具有定位优势。

基于深度相机的大尺寸船体曲板测量技术研究

文中设计了一种基于深度相机的船体曲板测量系统.该系统将深度相机与伺服驱动结合,使用计算机控制采集过程,获取指定位置的多组小范围点云.采用一种超体素聚类改进的区域生长分割方法从原始点云数据中提取曲板表面点云,通过相机安装的相对位置和伺服系统的返回参数值拼接完整的船体曲板三维点云.使用该系统在3 000 mm×3 000 mm范围测量船体曲板,所得非边缘点云平均误差为0.61 mm,符合预期精度要求.

基于深度学习的相机与激光雷达融合标定算法

在自动驾驶技术飞速发展的今天,实现精准多目标感知已成为该领域的关键挑战。提出一种基于深度学习的相机与激光雷达融合标定算法,旨在通过整合2种传感器的优势,实现在三维空间中对目标的高效跟踪。通过系列试验验证,发现该算法的总准确率达到88.54%,检测时间为0.03 s,显示其性能优越。此外,该算法针对目标跟踪计算,其X轴和Y轴的误差分别控制在4.48像素和1.81像素之内,使得整体处理时间仅为0.084 s,由此进一步证明了该算法在实时性与精度上的平衡优势。

基于深度相机的大直径救援井三维模型重建研究

大直径钻孔救援是一种有效的矿山灾害应急救援方法,通过向人员被困位置施工大直径救援井,采用提升舱将被困井下的人员通过大直径救援井安全可靠提升至地面。大直径救援井的结构参数及其变化对提升舱的通过性能具有重要影响,实时获取大直径救援井的结构参数是大直径钻孔救援科学操作与决策的基础。为了满足大直径救援井结构参数的监测需求,研制了基于双目结构光原理的Intel RealSense D435i深度相机和ROS操作系统的大直径救援井结构参数检测与三维模型重建系统。针对大直径救援井井筒纹理光滑不明显的问题,对比分析了SIFT、SURF、ORB三种图像特征点提取算法提取大直径救援井井筒图像特征点的效果;采用ICP-PNP混合算法,估计深度相机的位姿,并根据相邻帧之间的运动误差筛选关键帧,优化三维点云模型;最后基于大直径救援井提升过程模拟试验平台进行了大直径救援井三维模型的重建试验。研究结果表明:在大直径救援井井筒纹理结构不明显情况下,相同时间内SURF算法具有更好的特征点提取效果;根据相邻帧之间的运动误差筛选关键帧图像,可以稳定地构建大直径救援井三维模型;对大直径救援井三维点云模型进行截面采样,与实际井筒半径误差在2%以内;基于最小二乘圆法对大直径救援井三维点云模型的采样截面进行圆拟合,与实际井筒半径误差在0.4%以内。重建的大直径救援井三维模型能够准确地反映实际大直径救援井的结构参数,为地面应急救援提升的科学操作和决策提供了保障。

基于激光雷达与深度相机融合的SLAM算法

针对单一传感器地图构建时存在环境表征不充分,无法为移动机器人自主导航提供完整环境地图等问题,本文通过将激光雷达与深度相机获取的环境信息进行互补融合,构建出更完整精确的栅格地图。首先,对传统ORB-SLAM2算法进行增强,使其具备稠密点云地图构建、八叉树地图构建以及栅格地图构建等功能。其次,为验证增强后ORB-SLAM2算法的性能,在fr1_desk1数据集和真实场景下进行测试,数据显示增强后ORB-SLAM2算法绝对位姿误差降低52.2%,相机跟踪轨迹增长14.7%,定位更加精准。然后,D435i型深度相机采用增强型ORB-SLAM2算法,激光雷达采用的Gmapping-Slam算法,按照贝叶斯估计的规则进行互补融合构建全局栅格地图。最后,搭建实验平台进行验证,并分别与深度相机和激光雷达2个传感器建图效果进行对比。实验结果表明,本文融合算法对周围障碍物的识别能力更强,可获取更完整的环境信息,地图构建更加清晰精确,满足移动机器人导航与路径规划的需要。

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法:根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。

一种基于改进YOLOv7的相机标定特征点检测方法

在基于视觉方法的军事目标检测等技术中,相机的精确标定是进行目标高精度测量的前提,同时也是开展后续图像处理、目标跟踪、三维重建的基础。相机标定的关键在于准确的检测图像中的标定特征点。以当前使用范围较广的棋盘格标定法为对象,针对受干扰(模糊、重噪声、极端姿态和大镜头失真)的标定图像难以进行特征点提取的问题,提出一种融合改进YOLOv7-tiny深度学习网络和Harris角点检测的相机标定特征点检测算法。针对原始网络在相机标定特征区域检测中的各种问题,引入Gather-and-Distribute信息聚合分发机制替换YOLOv7-tiny的加强特征提取网络(FPN)部分,提高不同层之间特征融合的能力;在主干特征提取部分后加入Biformer注意力机制,提高对小尺寸特征点候选区域的捕捉能力;在Head部分使用改进Efficient Decoupled Head解耦头,在提高精度的同时维持了较低的计算开销。测试结果表明,改进后的YOLOv7-tiny网络对特征点候选区域检测的准确率有显著的提高,达到95.3%,证明了改进后网络的有效性和可行性。

基于视觉的相机位姿估计方法综述

相机位姿估计是通过估计相机的位置坐标和环绕三个坐标轴的角度偏转,来描述其相对于给定场景的方向和位置,是自动驾驶、机器人技术等任务的重要组成部分。为帮助研究人员在相机位姿估计领域的研究,对相机位姿估计的研究现状和最新进展进行梳理。首先介绍了相机位姿估计的基本原理、评价指标和相关数据集;然后从场景关系搭建和相机姿态解算两个关键技术出发,对两阶段模型结构方法和单通道模型结构方法进行阐述总结,分别从核心算法和利用的场景信息不同上进行分类归纳分析,并对室内室外公开数据集上的表现作对比;最后阐述了该领域当前面对的挑战和未来的发展趋势。

一种结合TCP标定的深度相机手眼标定方法

手眼标定是机器人实现视觉引导下精准作业中的关键技术。传统手眼标定和机器人工具中心点(TCP)标定分开进行,存在较大累积误差,同时针对深度相机的手眼标定存在精度不足的缺点。本文提出了一种结合TCP标定过程同步标定深度相机手眼关系的新方法。方法基于深度相机观测和TCP标定相同的标定平面,相机坐标系下标定平面方程和机械臂坐标系下标定平面方程为对应关系,通过平面方程之间的变换来计算手眼关系。本文方法减少了TCP和手眼关系独立标定累积误差影响,节约标定时间和标定件成本。仿真和实测结果表明,本文方法提高了深度相机手眼标定精度,标定后实测位置误差平均为0.2 mm,为机器人视觉控制系统高精度作业所需标定提供了一种新的思路。

一种实时的基于振幅图的ToF深度优化方法

目前,ToF(Time of Flight)三维成像技术在人脸检测、3D目标识别、三维重建等视觉任务领域具有广阔的应用前景。然而,用ToF相机所获得的深度信息往往存在与像素、温度、深度畸变、多径干扰以及背景光相关的噪声干扰。现有的ToF优化算法耗时较大且很难保留目标的细节信息,这些问题严重影响了ToF相机的实际应用。针对以上问题,本文提出一种实时的基于振幅图的ToF深度图优化方法。首先通过ToF接收端采集的原始数据生成带有噪声的振幅图像。针对振幅图中的噪声,选用快速高效的双边网格滤波对振幅图进行去噪。然后,利用优化后的振幅图生成掩码以分割出深度图中前景和背景区域。同时,对深度图中的噪声以及误差像素用滤波的方式优化,最后将优化后的深度图和掩码融合生成最终的深度图。实验结果表明,本文所提算法可以实时有效地滤除深度图噪声,去除背景噪声的干扰,同时能很好地保留深度图中目标对象的细节信息。有助于ToF相机拥有更广泛的应用场景。

基于深度相机的古建筑木结构裂缝识别联合多分辨率三维重建方法

目的研究木结构古建筑的三维数字化技术以及木结构表面裂缝分析方法,为该类古建筑的裂缝测量和维护提供参考。方法通过Mask R-CNN对RGBD图像中的裂缝信息进行识别,结合位姿优化策略计算每一帧的相机姿态,进而获得裂缝的三维信息;构造一种包含古建筑三维模型与裂缝信息的多分辨率三维重建模型,基于所构造的模型分析古建筑表面裂缝的长度和深度。结果提高裂缝三维重建精度前,长度平均计算误差为12.3%,深度平均计算误差为36.8%;提高裂缝三维重建精度后,长度平均计算误差为9.3%,深度平均计算误差为19.7%。结论提出的识别方法可以快速、精准地识别古建筑木结构中的裂缝并获得古建筑的三维模型,相较于传统裂缝测量效率更高、成本更低。