基于深度学习的全天空相机成像日间云量计算研究

云量是天文领域中地基光电望远镜站址选择的重要评价参数之一。针对全天空相机成像的日间云量计算存在的问题,提出一种基于深度学习的全天空相机成像日间云量计算模型。云检测层,模型通过构建通道加权-特征融合(channel weighting-feature fusion,CWFF)结构,从而加强对云层记忆能力和深层特征的提取能力以完成云检测任务;云量计算层,模型提出一种基于云检测模型的云量计算方法,有效提高云量计算的误差率。实验表明,该方法在云检测任务中的综合准确率超过95%,在云量计算任务中的平均绝对误差不超过5%。

基于深度相机的水稻穗层高度检测研究

为实现水稻穗层高度检测,基于深度相机对水稻穗层高度计算方法开展研究,以期为水稻割台高度控制、收割机智能化提供技术支持。为选择一种适用于水稻穗层分割的颜色空间,分别在RGB、HSV、LAB和i1i2i3颜色空间中对成熟水稻图像进行3D可视化,通过观察水稻穗层像素分布分析其可分离性;在此基础上,基于多阈值分割法、小联通区域移除、图像腐蚀等方法对水稻穗层进行提取;提出一种基于深度相机的水稻穗层高度(包括穗层最高高度H_(hs)、最低高度H_(ls))计算方法,并分别在实验室及田间进行验证试验。结果表明:水稻穗层在HSV颜色空间中具有较好的可分离性,所采用的图像分割、处理方法可有效提取水稻穗层;水稻穗层高度计算方法的实验室测试结果显示,H_(hs)与H_(ls)的计算误差均小于1.5%,田间测试结果显示H_(hs)与H_(ls)的计算误差分别为1.6%和18.2%。

基于深度相机和神经网络的下肢关节力矩估计

目的 通过深度相机和神经网络估计人在直线行走时髋、膝和踝关节的屈伸力矩。方法 利用光学运动捕捉系统、测力板和Azure Kinect深度相机采集20个人的步态信息,受试者被要求以其偏好的步行速度直线行走,同时踏在测力板上。并利用Visual 3D仿真得到关节力矩作为参考值,分别训练人工神经网络(artificial neural network, ANN)模型与长短期记忆(long short-term memory, LSTM)模型进行关节力矩估计。结果 ANN模型估计髋、膝和踝关节的关节力矩的相对均方根误差(relative root mean square error, rRMSE)分别为15.87%~17.32%、18.36%~25.34%和14.11%~16.82%,相关系数分别为0.81~0.85、0.69~0.74和0.76~0.82。LSTM模型具有更好的估计效果,rRMSE分别为8.53%~12.18%、14.32%~18.78%和6.51%~11.83%,相关系数分别达到了0.89~0.95、0.85~0.91和0.90~0.97。结论 本文证实了利用深度相机和神经网络无接触估计人体下肢关节力矩方案的可行性,其中LSTM模型具有更佳的表现。关节力矩估计结果与现有研究相比具有更好的精度,潜在应用场景包含远程医疗、个性化康复方案制定以及矫形器辅助设计等。

深度相机的测量误差建模及校正

ToF(Time of Flight)深度相机是获取三维点云数据的重要手段之一,但ToF深度相机受到自身硬件和外部环境的限制,其测量数据存在一定的误差。本文针对ToF深度相机的非系统误差进行研究,通过实验验证了被测目标的颜色、距离和相对运动等因素均会对深度相机获取的数据产生影响,且影响均不相同。本文提出了一种新的测量误差模型对颜色和距离产生的误差进行校正,对于相对运动产生的误差,建立了三维运动模糊函数进行恢复,通过对所建立的校正模型进行数值分析,距离和颜色的残余误差小于4 mm,相对运动所带来的误差小于0.7 mm。本文所做工作改善了ToF深度相机的测量数据的质量,为开展三维点云重建等工作提供了更精准的数据支持。

基于深度相机的大尺寸船体曲板测量技术研究

文中设计了一种基于深度相机的船体曲板测量系统.该系统将深度相机与伺服驱动结合,使用计算机控制采集过程,获取指定位置的多组小范围点云.采用一种超体素聚类改进的区域生长分割方法从原始点云数据中提取曲板表面点云,通过相机安装的相对位置和伺服系统的返回参数值拼接完整的船体曲板三维点云.使用该系统在3 000 mm×3 000 mm范围测量船体曲板,所得非边缘点云平均误差为0.61 mm,符合预期精度要求.

深度相机技术及其在电力系统中的应用前景

深度相机技术因其技术优势已经被应用到越来越多的领域中,目前,已有研究者开始尝试将深度相机技术应用在电力系统中。为此,有必要介绍一下深度相机技术并探究其在电力系统中的应用前景。首先介绍了深度相机技术的发展情况,接着将深度相机技术的特点与电力系统中潜在功能需求结合起来,探讨了深度相机技术在电力系统中的典型应用场景。在此基础上,从智能电网和本质安全2个方面阐述了深度相机技术在电力系统中的应用前景,以期为深度相机技术在电力系统中的应用研究提供参考。

基于深度相机和二维码的室内移动机器人定位技术

提出一种以ORB_SLAM2为基本框架、使用二维码辅助深度相机的室内移动机器人定位方法。针对现有的视觉SLAM在定位过程中出现的Z轴漂移现象,提出平面运动模型约束,以降低机器人定位结果中的Z轴累计误差;针对视觉SLAM在弱纹理环境中算法退化、容易跟踪失败等问题,在室内环境中张贴二维码并将其数学模型作为定位约束,以提高系统的准确性与鲁棒性。真实环境下的实验结果表明:相比原始算法,所提算法在Z轴精度上提高了42.95%;以ORB_SLAM3的定位结果为真值,所提算法的定位精度提高了4.11%,该算法在室内环境下具有定位优势。

基于深度相机的大直径救援井三维模型重建研究

大直径钻孔救援是一种有效的矿山灾害应急救援方法,通过向人员被困位置施工大直径救援井,采用提升舱将被困井下的人员通过大直径救援井安全可靠提升至地面。大直径救援井的结构参数及其变化对提升舱的通过性能具有重要影响,实时获取大直径救援井的结构参数是大直径钻孔救援科学操作与决策的基础。为了满足大直径救援井结构参数的监测需求,研制了基于双目结构光原理的Intel RealSense D435i深度相机和ROS操作系统的大直径救援井结构参数检测与三维模型重建系统。针对大直径救援井井筒纹理光滑不明显的问题,对比分析了SIFT、SURF、ORB三种图像特征点提取算法提取大直径救援井井筒图像特征点的效果;采用ICP-PNP混合算法,估计深度相机的位姿,并根据相邻帧之间的运动误差筛选关键帧,优化三维点云模型;最后基于大直径救援井提升过程模拟试验平台进行了大直径救援井三维模型的重建试验。研究结果表明:在大直径救援井井筒纹理结构不明显情况下,相同时间内SURF算法具有更好的特征点提取效果;根据相邻帧之间的运动误差筛选关键帧图像,可以稳定地构建大直径救援井三维模型;对大直径救援井三维点云模型进行截面采样,与实际井筒半径误差在2%以内;基于最小二乘圆法对大直径救援井三维点云模型的采样截面进行圆拟合,与实际井筒半径误差在0.4%以内。重建的大直径救援井三维模型能够准确地反映实际大直径救援井的结构参数,为地面应急救援提升的科学操作和决策提供了保障。

基于激光雷达与深度相机融合的SLAM算法

针对单一传感器地图构建时存在环境表征不充分,无法为移动机器人自主导航提供完整环境地图等问题,本文通过将激光雷达与深度相机获取的环境信息进行互补融合,构建出更完整精确的栅格地图。首先,对传统ORB-SLAM2算法进行增强,使其具备稠密点云地图构建、八叉树地图构建以及栅格地图构建等功能。其次,为验证增强后ORB-SLAM2算法的性能,在fr1_desk1数据集和真实场景下进行测试,数据显示增强后ORB-SLAM2算法绝对位姿误差降低52.2%,相机跟踪轨迹增长14.7%,定位更加精准。然后,D435i型深度相机采用增强型ORB-SLAM2算法,激光雷达采用的Gmapping-Slam算法,按照贝叶斯估计的规则进行互补融合构建全局栅格地图。最后,搭建实验平台进行验证,并分别与深度相机和激光雷达2个传感器建图效果进行对比。实验结果表明,本文融合算法对周围障碍物的识别能力更强,可获取更完整的环境信息,地图构建更加清晰精确,满足移动机器人导航与路径规划的需要。

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法:根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。

基于视觉的相机位姿估计方法综述

相机位姿估计是通过估计相机的位置坐标和环绕三个坐标轴的角度偏转,来描述其相对于给定场景的方向和位置,是自动驾驶、机器人技术等任务的重要组成部分。为帮助研究人员在相机位姿估计领域的研究,对相机位姿估计的研究现状和最新进展进行梳理。首先介绍了相机位姿估计的基本原理、评价指标和相关数据集;然后从场景关系搭建和相机姿态解算两个关键技术出发,对两阶段模型结构方法和单通道模型结构方法进行阐述总结,分别从核心算法和利用的场景信息不同上进行分类归纳分析,并对室内室外公开数据集上的表现作对比;最后阐述了该领域当前面对的挑战和未来的发展趋势。

一种实时的基于振幅图的ToF深度优化方法

目前,ToF(Time of Flight)三维成像技术在人脸检测、3D目标识别、三维重建等视觉任务领域具有广阔的应用前景。然而,用ToF相机所获得的深度信息往往存在与像素、温度、深度畸变、多径干扰以及背景光相关的噪声干扰。现有的ToF优化算法耗时较大且很难保留目标的细节信息,这些问题严重影响了ToF相机的实际应用。针对以上问题,本文提出一种实时的基于振幅图的ToF深度图优化方法。首先通过ToF接收端采集的原始数据生成带有噪声的振幅图像。针对振幅图中的噪声,选用快速高效的双边网格滤波对振幅图进行去噪。然后,利用优化后的振幅图生成掩码以分割出深度图中前景和背景区域。同时,对深度图中的噪声以及误差像素用滤波的方式优化,最后将优化后的深度图和掩码融合生成最终的深度图。实验结果表明,本文所提算法可以实时有效地滤除深度图噪声,去除背景噪声的干扰,同时能很好地保留深度图中目标对象的细节信息。有助于ToF相机拥有更广泛的应用场景。

一种结合TCP标定的深度相机手眼标定方法

手眼标定是机器人实现视觉引导下精准作业中的关键技术。传统手眼标定和机器人工具中心点(TCP)标定分开进行,存在较大累积误差,同时针对深度相机的手眼标定存在精度不足的缺点。本文提出了一种结合TCP标定过程同步标定深度相机手眼关系的新方法。方法基于深度相机观测和TCP标定相同的标定平面,相机坐标系下标定平面方程和机械臂坐标系下标定平面方程为对应关系,通过平面方程之间的变换来计算手眼关系。本文方法减少了TCP和手眼关系独立标定累积误差影响,节约标定时间和标定件成本。仿真和实测结果表明,本文方法提高了深度相机手眼标定精度,标定后实测位置误差平均为0.2 mm,为机器人视觉控制系统高精度作业所需标定提供了一种新的思路。

基于深度相机与激光雷达数据融合SLAM方法研究

移动机器人的安全运行依赖于可靠的地图构建,现有的同步定位和地图构建(SLAM)方法通常使用相机或者激光雷达构建地图。然而使用单线激光雷达无法检测低于扫描平面的障碍物,使用深度相机虽然能获取三维空间障碍物信息,但由于相机视场过小等限制导致数据中可用信息过少。针对上述单一传感器SLAM方案中存在的缺点。提出一种单线激光雷达与深度相机数据融合的SLAM方法。首先对深度相机数据进行预处理,然后标定出深度相机与激光雷达传感器的外参矩阵,之后利用得到的传感器外参矩阵将深度相机点云数据转换至激光雷达坐标系进行数据融合,最后将融合后的激光雷达扫描数据输入GMapping算法构建二维占据栅格地图。通过搭建Gazebo仿真环境验证所提出的融合方法的可行性与有效性,仿真实验结果表明该方法能够有效融合相机与激光雷达信息,检测地面微小障碍物,建立更加完善的占用栅格地图。

基于深度相机的金属柜体三维重建

针对金属柜体表面的光线反射和检测场地限制问题,研究了基于深度相机的金属柜体三维重建,使用深度相机采集金属柜体的RGBD图像,实现高质量的金属柜体表面数据采集;计算其点云数据后进行离群点剔除和下采样的数据处理,降低了噪声影响并提高运算速度;采用基于点云数据和基于三维信息的重建方式,构造金属柜体的三维模型。通过对比实验,证明本文方法得到的点云数据在数量、精度平均误差和采集速度上明显优于双目视觉方法;三种金属柜体的三维模型与真实值对比,模型误差百分比约为3%。

基于深度相机的古建筑木结构裂缝识别联合多分辨率三维重建方法

目的研究木结构古建筑的三维数字化技术以及木结构表面裂缝分析方法,为该类古建筑的裂缝测量和维护提供参考。方法通过Mask R-CNN对RGBD图像中的裂缝信息进行识别,结合位姿优化策略计算每一帧的相机姿态,进而获得裂缝的三维信息;构造一种包含古建筑三维模型与裂缝信息的多分辨率三维重建模型,基于所构造的模型分析古建筑表面裂缝的长度和深度。结果提高裂缝三维重建精度前,长度平均计算误差为12.3%,深度平均计算误差为36.8%;提高裂缝三维重建精度后,长度平均计算误差为9.3%,深度平均计算误差为19.7%。结论提出的识别方法可以快速、精准地识别古建筑木结构中的裂缝并获得古建筑的三维模型,相较于传统裂缝测量效率更高、成本更低。

基于Kinect相机的深度图像空洞修复算法

针对Kinect相机采集的原始深度图存在大面积空洞,采用快速进行法(FMM)修复算法存在图像边缘失真等问题,提出一种改进FMM的深度图像空洞修复算法。首先,对原始深度图像进行阈值处理,生成掩码图像以确定待修复区域;然后,采用改进FMM算法,引入置信度因子并使用固定尺度的目标块替换原先修复邻域,根据非零像素点占比选择不同的修复算法;当置信度较低时,根据图像特征连续性确定候选块搜索邻域,通过相似性度量函数获取最佳匹配块;最后,将最佳匹配块的中心像素值替换至待修复点,迭代至空洞完全修复。实验结果表明:与传统FMM算法相比,改进FMM算法的峰值信噪比提升了11.79%,避免了图像边缘失真等问题,可以有效地对Kinect相机采集深度图像过程中产生的空洞完成修复。

基于双视角深度相机的羊只三维重构及体尺测量

对家畜的体长、体高、胸围等体尺参数进行定期测量是实现精准养殖的基础。家畜体尺参数的非接触测量是当前技术发展的趋势,但其测量方法尚不成熟。针对这一问题,提出利用2个Kinect V2深度相机构建一套基于三维测量的非接触式羊只体尺参数测量系统,并对10只大足黑山羊进行了现场测量,实现了羊只外形轮廓的三维重构和体尺参数自动测量。实验表明:被测羊体长、体高、胸宽和腹宽的平均相对偏差分别为4.38%、3.28%、2.27%和2.75%,胸围和管围的平均相对偏差分别为6.87%和4.55%,该方法为羊只体尺测量提供了切实可行的新途径。

基于激光雷达与相机融合的树干检测方法

针对传统传感器在树干检测中的局限性和单一性,提出一种基于激光雷达与相机融合的树干检测方法.首先,利用深度图对激光雷达点云进行处理,实现地面点云去除以及树干点云聚类,并在聚类中设置横、纵向自适应阈值,去除聚类中墙体、杂草、树叶等多余信息;然后,利用YOLOv3算法对相机图像进行分析,基于树干特征实现目标识别并返回检测框与类别信息;最后,基于交并比方法(IoU)对2种传感器的检测结果进行融合,识别树干并返回其三维信息与位置信息.以无人割草机为载体开展场地测试,实验结果表明:融合算法的树干检测准确率在93.1%左右,树干定位横、纵向平均误差分别为0.075 m和0.078 m,能够满足无人割草机的树干检测要求,为智能农机的环境感知提供了一种新的方法.

基于高斯增强模块的相机模型辨别

在多媒体取证中,高通滤波器是卷积神经网络常用的预处理层之一,用于抑制图像内容的影响,只强调高频特征。但与此同时,其他一些包含取证痕迹的有用信息也将被不加区别地剔除。为了解决这一问题,文中提出了一个简单而高效的高斯增强模块(Gaussian Enhancement Module,GEM)来提取“扩展的”高频特征,即在维持原有特征强度的基础上增强高频细节信息。GEM由两个连续的一维低通高斯滤波器组成,以获得一个模糊版本的特征图,并进一步得到相应的扩展高频残差。通过以高频残差作为空间掩膜,它可以自适应地强化脆弱和细微的低级取证特征,并防止在特征传递过程中出现衰减现象。在相机模型辨别数据集上进行实验,通过将该模块插入多个主流骨干网络,GEM仅仅带来非常轻微的模型复杂度的增加,网络性能和鲁棒性却显著提高,表明该模块支持“即插即用”,与特定的网络架构无关。