基于Kinect相机的深度图像空洞修复及超像素分割算法

针对Kinect相机原始深度图像存在空洞的问题,提出了一种结合彩色图像局部边缘信息的深度图像空洞修复算法。首先,通过双边滤波修复较小空洞;其次,根据彩色图像局部边缘信息将较大空洞分为无边缘和有边缘2类;最后,对第1类无边缘空洞进行均值填充修复,对第2类有边缘空洞先根据彩色图像局部边缘特征分割空洞,再分别由外而内逐步修复,从而完成所有的空洞修复。空洞修复完成后,融合深度信息重新建立了线性谱聚类核函数,并基于此提出一种融合深度信息的线性谱聚类超像素分割算法(LSC-D)。实验结果表明,与其他方法相比,提出的深度图像空洞修复算法具有更高的修复准确度,提出的LSC-D超像素分割算法具有更低的欠分割错误率和更高的边界召回率。

基于Kinect相机的深度图像修复算法

针对Kinect相机获取深度图像存在空洞和噪声的问题,提出了一种基于联合双边滤波和中值滤波相结合的深度图像处理方法。将Kinect获得的彩色(RGB)图像和深度图像裁剪对齐,利用联合双边滤波器修复深度图像中的空洞,用中值滤波器滤除噪声。实验结果表明与其他方法相比,所提算法能够有效填充深度图中的空洞区域,并去除图像中的噪声,能够达到更好的修复效果。

基于深度学习的全天空相机成像日间云量计算研究

云量是天文领域中地基光电望远镜站址选择的重要评价参数之一。针对全天空相机成像的日间云量计算存在的问题,提出一种基于深度学习的全天空相机成像日间云量计算模型。云检测层,模型通过构建通道加权-特征融合(channel weighting-feature fusion,CWFF)结构,从而加强对云层记忆能力和深层特征的提取能力以完成云检测任务;云量计算层,模型提出一种基于云检测模型的云量计算方法,有效提高云量计算的误差率。实验表明,该方法在云检测任务中的综合准确率超过95%,在云量计算任务中的平均绝对误差不超过5%。

基于深度相机的水稻穗层高度检测研究

为实现水稻穗层高度检测,基于深度相机对水稻穗层高度计算方法开展研究,以期为水稻割台高度控制、收割机智能化提供技术支持。为选择一种适用于水稻穗层分割的颜色空间,分别在RGB、HSV、LAB和i1i2i3颜色空间中对成熟水稻图像进行3D可视化,通过观察水稻穗层像素分布分析其可分离性;在此基础上,基于多阈值分割法、小联通区域移除、图像腐蚀等方法对水稻穗层进行提取;提出一种基于深度相机的水稻穗层高度(包括穗层最高高度H_(hs)、最低高度H_(ls))计算方法,并分别在实验室及田间进行验证试验。结果表明:水稻穗层在HSV颜色空间中具有较好的可分离性,所采用的图像分割、处理方法可有效提取水稻穗层;水稻穗层高度计算方法的实验室测试结果显示,H_(hs)与H_(ls)的计算误差均小于1.5%,田间测试结果显示H_(hs)与H_(ls)的计算误差分别为1.6%和18.2%。

改进联合双边上采样滤波的Kinect深度图像增强算法研究

Kinect深度摄像机可以实时获取到稠密深度图像,但该RGB-D相机获取的初始三维点云数据量庞大,其深度图像饱受无效像素、噪声和边缘不匹配等因素影响,直接对其进行操作会降低后续摄像机追踪以及配准的精度。因此,提出了一种有效提高Kinect深度图像质量的基于快速联合双边上采样滤波的深度图像增强算法。利用其对应的彩色图像,采用区域生长方法检测并去除深度值错误的像素;为了准确估计无效像素的值,采用联合双边滤波器对孔洞进行填充;利用传统高斯核函数的分离特性,并通过将其更换为快速高斯变换函数实现计算的复杂度的降低,并且有效地降低了深度图像的噪声。实验结果表明,提出的方法通过成功地填充孔洞,消除了不匹配的边缘,降低了噪声,显著提高了深度图像的质量,并且降低了运行时间。

深度相机技术及其在电力系统中的应用前景

深度相机技术因其技术优势已经被应用到越来越多的领域中,目前,已有研究者开始尝试将深度相机技术应用在电力系统中。为此,有必要介绍一下深度相机技术并探究其在电力系统中的应用前景。首先介绍了深度相机技术的发展情况,接着将深度相机技术的特点与电力系统中潜在功能需求结合起来,探讨了深度相机技术在电力系统中的典型应用场景。在此基础上,从智能电网和本质安全2个方面阐述了深度相机技术在电力系统中的应用前景,以期为深度相机技术在电力系统中的应用研究提供参考。

基于深度相机的钢筋骨架尺寸智能检测方法

钢筋骨架的质量检查在预制钢筋混凝土构件的生产过程中发挥了重要的作用,因为其质量直接影响整个构件的性能和可靠性。目前,对于钢筋骨架的质量检查,主要依赖于传统的人工手段,比如使用钢尺测量和人工计数来评估钢筋的数量和间距等关键指标。然而,这种方法明显存在低效率、高成本、易出错等局限性。为了解决以上问题,本文针对预制钢筋混凝土构件中的多层钢筋骨架,引入深度相机传感器和先进技术,设计了一种新颖的钢筋骨架质量检查方法。首先通过深度相机采集图像,根据深度阈值筛选算法将双层钢筋转化成单层图像;然后利用改进的YOLOv5算法检测出交叉点坐标;最后根据坐标转换,求解绑扎间距。试验结果表明,该方法通过智能化算法提高了检查的准确性,减少了时间消耗,降低了对人工的依赖。

基于深度相机和神经网络的下肢关节力矩估计

目的 通过深度相机和神经网络估计人在直线行走时髋、膝和踝关节的屈伸力矩。方法 利用光学运动捕捉系统、测力板和Azure Kinect深度相机采集20个人的步态信息,受试者被要求以其偏好的步行速度直线行走,同时踏在测力板上。并利用Visual 3D仿真得到关节力矩作为参考值,分别训练人工神经网络(artificial neural network, ANN)模型与长短期记忆(long short-term memory, LSTM)模型进行关节力矩估计。结果 ANN模型估计髋、膝和踝关节的关节力矩的相对均方根误差(relative root mean square error, rRMSE)分别为15.87%~17.32%、18.36%~25.34%和14.11%~16.82%,相关系数分别为0.81~0.85、0.69~0.74和0.76~0.82。LSTM模型具有更好的估计效果,rRMSE分别为8.53%~12.18%、14.32%~18.78%和6.51%~11.83%,相关系数分别达到了0.89~0.95、0.85~0.91和0.90~0.97。结论 本文证实了利用深度相机和神经网络无接触估计人体下肢关节力矩方案的可行性,其中LSTM模型具有更佳的表现。关节力矩估计结果与现有研究相比具有更好的精度,潜在应用场景包含远程医疗、个性化康复方案制定以及矫形器辅助设计等。

深度相机的测量误差建模及校正

ToF(Time of Flight)深度相机是获取三维点云数据的重要手段之一,但ToF深度相机受到自身硬件和外部环境的限制,其测量数据存在一定的误差。本文针对ToF深度相机的非系统误差进行研究,通过实验验证了被测目标的颜色、距离和相对运动等因素均会对深度相机获取的数据产生影响,且影响均不相同。本文提出了一种新的测量误差模型对颜色和距离产生的误差进行校正,对于相对运动产生的误差,建立了三维运动模糊函数进行恢复,通过对所建立的校正模型进行数值分析,距离和颜色的残余误差小于4 mm,相对运动所带来的误差小于0.7 mm。本文所做工作改善了ToF深度相机的测量数据的质量,为开展三维点云重建等工作提供了更精准的数据支持。

基于BlazePose与深度相机的体育评价系统

在目前的体育自动化测试和训练中,往往需要受试者穿戴多种传感器,影响了成绩的发挥,另一方面,仅依靠二维图像或深度相机的动作捕捉方法也难以全面、准确地描述人体运动姿态。论文针对上述问题,提出一种适用于常规体测项目的动作评价系统,首先将二维人体姿态估计模型BlazePose与深度相机结合,实现人体姿态关键点在三维空间中的准确定位,再通过卡尔曼滤波对关节点的轨迹进行平滑与估计,在此基础之上根据有限状态机的思想,以引体向上为例,完成了对多指标体测项目评价方法的设计,能够全面检测出各种犯规动作,实验表明整体正确检测率达到89%,处理速度达到20FPS,能够用于实际的辅助测试以及对个人的训练起到指导作用。

基于深度相机和二维码的室内移动机器人定位技术

提出一种以ORB_SLAM2为基本框架、使用二维码辅助深度相机的室内移动机器人定位方法。针对现有的视觉SLAM在定位过程中出现的Z轴漂移现象,提出平面运动模型约束,以降低机器人定位结果中的Z轴累计误差;针对视觉SLAM在弱纹理环境中算法退化、容易跟踪失败等问题,在室内环境中张贴二维码并将其数学模型作为定位约束,以提高系统的准确性与鲁棒性。真实环境下的实验结果表明:相比原始算法,所提算法在Z轴精度上提高了42.95%;以ORB_SLAM3的定位结果为真值,所提算法的定位精度提高了4.11%,该算法在室内环境下具有定位优势。

基于深度相机的大尺寸船体曲板测量技术研究

文中设计了一种基于深度相机的船体曲板测量系统.该系统将深度相机与伺服驱动结合,使用计算机控制采集过程,获取指定位置的多组小范围点云.采用一种超体素聚类改进的区域生长分割方法从原始点云数据中提取曲板表面点云,通过相机安装的相对位置和伺服系统的返回参数值拼接完整的船体曲板三维点云.使用该系统在3 000 mm×3 000 mm范围测量船体曲板,所得非边缘点云平均误差为0.61 mm,符合预期精度要求.

基于Kinect相机的深度图像空洞修复算法

针对Kinect相机采集的原始深度图存在大面积空洞,采用快速进行法(FMM)修复算法存在图像边缘失真等问题,提出一种改进FMM的深度图像空洞修复算法。首先,对原始深度图像进行阈值处理,生成掩码图像以确定待修复区域;然后,采用改进FMM算法,引入置信度因子并使用固定尺度的目标块替换原先修复邻域,根据非零像素点占比选择不同的修复算法;当置信度较低时,根据图像特征连续性确定候选块搜索邻域,通过相似性度量函数获取最佳匹配块;最后,将最佳匹配块的中心像素值替换至待修复点,迭代至空洞完全修复。实验结果表明:与传统FMM算法相比,改进FMM算法的峰值信噪比提升了11.79%,避免了图像边缘失真等问题,可以有效地对Kinect相机采集深度图像过程中产生的空洞完成修复。

基于Kinect深度图像的人体重心估算方法研究

为了改善现有测量人体重心的设备价格昂贵和不便携带等问题,提出了一种用Kinect深度相机快速估算人体重心的方法。该方法利用分段法与松井秀治模型,结合Kinect获取的骨骼信息,将人体划分为15节段,根据节段质量、近远端坐标和重心半径系数计算出各个节段的重心,然后结合力矩合成法估算出人体总重心。最后,通过机器学习算法模型对重心数据进行了修正。Kinect与三维测力台的对比实验结果表明,该方法在测量大幅度动作的人体重心中有着更好的准确性,Kinect较传统设备价格低廉,易于推广使用,可作为一种站立平衡评估工具。

基于深度学习的相机与激光雷达融合标定算法

在自动驾驶技术飞速发展的今天,实现精准多目标感知已成为该领域的关键挑战。提出一种基于深度学习的相机与激光雷达融合标定算法,旨在通过整合2种传感器的优势,实现在三维空间中对目标的高效跟踪。通过系列试验验证,发现该算法的总准确率达到88.54%,检测时间为0.03 s,显示其性能优越。此外,该算法针对目标跟踪计算,其X轴和Y轴的误差分别控制在4.48像素和1.81像素之内,使得整体处理时间仅为0.084 s,由此进一步证明了该算法在实时性与精度上的平衡优势。

Kinect深度图像快速修复算法

深度提取是基于"纹理+深度"自由立体视频系统的关键技术,而立体视频实际应用系统需要高效快速的深度图提取.提出一种针对Kinect提取深度图的快速修复算法.首先,对Kinect提取的彩色纹理图和深度图进行对齐裁剪,并采用背景填充算法对裁剪后的深度图进行初步修复;然后,对初步修复后的深度图进行基于颜色匹配的快速修复,得到质量较好的可用深度图.实验结果表明,本算法能有效修复原始深度图中由于遮挡而引起的空洞,获取的深度图整体平滑度好、边缘清晰;在普通PC机上达到25～30帧/s的处理帧率,实现了深度图的实时提取.

TOF相机实时高精度深度误差补偿方法

TOF(Time-Of-Flight)相机获取的深度值存在着边角畸变和精度偏移,目前主要是通过误差查找表或曲线拟合等技术进行误差补偿,计算量大且补偿速度慢。通过对TOF相机在不同距离的深度误差分布规律的分析,提出了一种实时、高精度的误差补偿方法。该方法利用TOF深度图像的旋转对称性以及误差分布的特性,简化了误差补偿模型、降低参数数量级,有效提升了补偿的精度和速度。将算法应用于基于TOF原理的Kinect v2深度传感器进行深度补偿,使得有效距离内平面度误差下降到0.63 mm内,平均误差下降到0.7040 mm内,单帧数据补偿时间在90 ms内。由于该算法仅基于光径差进行补偿,因此适用于所有TOF原理的相机。实验结果表明,该算法能够快速有效减少TOF相机的深度误差,适用于实时、高精度的大视场三维重建。

基于Kinect相机的猪体理想姿态检测与体尺测量

为提高基于机器视觉的猪体体尺测量研究中的图像利用率和体尺测量效率,以长白猪和大白猪为研究对象,基于Kinect相机获取的猪体视频数据,提出了一种猪体理想姿态检测算法。该算法利用最小外接矩形法调整猪体为水平方向;利用投影法和差分法识别头部和尾部位置,通过头部边界标记法判断是否耳部缺失;利用骨骼化算法结合霍夫变换算法检测猪体头部是否歪斜。在此基础上,设计了猪体体尺测量算法。针对养殖场获取的103组视频数据、俯视和侧视各52 016帧图像,进行了理想姿态检测及体尺测量。结果表明,检测出理想姿态2 592帧、漏报432帧、误报0帧,误报率较低;每帧图像的体长偏差与本组体长均值小于2. 3%,组内理想姿态帧之间差异较小,一致性较好;体宽测量的平均精确度为95. 5%,体高测量的平均精确度为96. 3%,体长测量的平均精确度为97. 3%,测量的平均准确度较高。本研究成果应用于基于机器视觉的猪体体尺测量,可提高图像利用率和体尺测量效率。

基于Kinect深度信息的实时三维重建和滤波算法研究

分析了基于Kinect输出的深度数据进行场景实时三维重建的算法。针对实现过程中出现的深度图像噪声过大的问题,根据其信号结构的特点给出了改进的双边滤波算法。新算法利用已知的深度图像噪声范围,将权值函数修改为二值函数,并结合RGB图像弥补了缺失的深度信息。实验表明,新算法无论是在降噪性能还是计算效率上,都大大优于已有的双边滤波,其中计算速度是原始算法的6倍。

基于Kinect相机的苹果树三维点云配准

为建立具有真实彩色信息的果树三维点云形态结构模型,用Kinect相机获取不同视角下果树的原始三维点云,针对传统最近点迭代算法对待配准点云的空间位置要求苛刻的问题,提出了改进的点云配准算法。首先通过归一化对齐径向特征算法搜寻点云关键点,并使用快速点特征直方图描述子计算关键点处的特征向量。然后根据求得的特征向量估计2片点云关键点之间的空间映射关系,再基于随机抽样一致性算法提纯映射关系并完成点云的初始配准。最后利用最近点迭代算法完成点云的精确配准。实验结果表明,通过在最近点迭代算法前增加点云初始配准算法,有效地提高了点云配准的准确性和稳定性,能够对任意初始位置的2片点云进行准确匹配,平均配准误差为0.7 cm。