基于三维激光点云的序列运动图像点目标快速跟踪方法

由于现有方法未充分考虑小目标和遮挡目标检测的问题,导致目标跟踪效果不佳,由此针对点目标跟踪较为困难的问题,提出基于三维激光点云的序列运动图像点目标快速跟踪方法。首先下采样序列运动图像三维激光点云并去除其中的地面数据,通过动态阈值改进欧式聚类方法,分割图像为目标和背景,然后改进SECOND算法,在目标检测阶段融入自适应空间特征融合模块和二维卷积神经网络,同时采用3D DIoU替代Smooth L1作为损失函数,提升SECOND算法的目标检测性能,最后在激光雷达坐标系中构建各点目标的三维中心,利用3D卡尔曼滤波器连续跟踪目标,以交并比和欧式距离为度量标准,通过贪婪算法匹配最近邻目标,实现序列运动图像点目标快速跟踪。实验结果表明,所提方法IoU值更高,可达到0.971,且对目标的跟踪更理想。

基于卡尔曼滤波的激光雷达点云跟踪方法研究

激光雷达点云目标跟踪是环境感知与定位的重要研究内容,具有广泛的应用前景。由于激光雷达存在探测范围有限、易受遮挡和散射条件影响等问题,无法保证跟踪过程中目标点云特征的完整性和正确性,跟踪目标丢失时有出现。为了提高跟踪过程中的鲁棒性,提出一种基于卡尔曼滤波的2D激光点云跟踪方法。该方法首先对聚类后的点云建立包围盒集合,其次对包围盒跟踪框建立卡尔曼滤波模型,将前一帧跟踪框最优估计值与当前帧包围盒,通过交并比方法进行关联性匹配,将关联性最大结果作为当前帧目标点云,并更新卡尔曼滤波模型参数,从而实现目标点云的实时跟踪。实验结果表明,所提方法提高了跟踪过程的鲁棒性和准确性。

基于三维点云重建的混凝土结构裂缝定位与追踪

为实现混凝土结构裂缝的自动化定位、宽度量化及扩展追踪,提出一种基于三维点云重建的混凝土结构裂缝定位及扩展追踪方法。首先通过无人机搭载高分辨率云台相机获取目标建筑物的图像集,再通过优化数据集与三维重建流程得到准确的建筑结构点云模型,并还原相机空间参数;然后提出视点定位算法,基于还原的相机空间参数求得拍摄裂缝的相机世界坐标,将裂缝图片与相机世界坐标绑定,基于图片索引裂缝的三维坐标,实现裂缝在点云模型中的自动定位;最后提出适用于混凝土结构的点云映射与配准算法,对裂缝宽度的扩展进行量化追踪。通过试验对服役期的大型混凝土建筑结构进行了可行性和精度验证。结果表明:所提出方法的三维模型重建的尺度平均误差小于3%,且可自动化定位结构裂缝的三维坐标,裂缝平均定位时间为38.09μs;通过进一步将整体模型与更新的裂缝点云集配准,可实现裂缝扩展信息(裂缝宽度)的准确追踪,试验相对误差小于8%。

3D稀疏卷积结构下融合空间点与体素关系建模的LiDAR点云跟踪方法

稀疏卷积在处理激光雷达点云单目标跟踪时的潜力尚未得到充分发掘.目前,绝大多数点云跟踪算法使用基于球邻域的骨干网络,其显存计算资源占用大并且目标感知的关系建模不充分.针对此问题,本文提出一种基于稀疏卷积结构的LiDAR(Lightlaser Detection And Ranging)点云跟踪算法,并创新性地融合了空间点与体素双通道的关系建模模块,以高效适应稀疏框架下目标判别信息的嵌入.首先,本文采用3D稀疏卷积残差网络来分别提取模板和搜索区域的特征,并利用反卷积来获取逐点特征来保证跟踪任务中对空间位置特性的要求.其次,关系建模模块进一步在模板与搜索区域特征之间计算相似度语义查询表.为了捕捉到模板与搜索区域间细粒度的关联性,该模块一方面在空间点通道中利用近邻算法找出每个搜索区域点的模板近邻点,并根据语义查询表提取对应特征;另一方面,在体素通道中以每个搜索区域点为中心构建局部多尺度体素,并根据落入体素单元的模板点索引计算语义查询表中值的累计和.最后,将双通道的特征融合并送入基于鸟瞰图的候选包围盒生成模块来回归目标包围盒.为了验证所提出方法的优越性,本文在KITTI和NuScenes数据集进行了测试,对比其他使用稀疏卷积的算法,本文方法平均成功率和精确率分别提升了11.0%和12.0%.本文方法在继承了稀疏卷积高效特点的同时还实现了跟踪精度的提高.

多级Transformer特征融合的三维点云目标跟踪

三维点云目标跟踪的过程中时常会出现遮挡、稀疏性和随机噪声等问题。为了解决这些问题,提出了一种新颖的多级Transformer特征融合的三维点云目标跟踪方法。该方法主要由点注意嵌入模块和点注意力增强模块组成,且这两个模块分别用于特征提取和特征匹配的过程中。通过将两个注意力机制相互嵌入构成点注意力嵌入模块,并将其和PTTR所提出的关系感知采样法融合,实现充分提取特征的目的。将提取到的特征信息输入点注意力增强模块中,通过交叉注意力机制对不同层次的特征依次匹配,达到全局特征和局部特征深度融合的目标。为了获取判别性特征融合图,利用残差网络的方式对不同层的融合结果进行连接。将特征融合图输入目标预测的模块中,实现对最终3D目标对象的精准预测。在KITTI数据集、nuScenes数据集和Waymo数据集上的实验验证了该方法的有效性。若不计小样本数据,在目标跟踪的成功值中该方法平均提高了1.4个百分点,在跟踪的精确值上也提高了1.4个百分点。

基于目标检测的激光雷达道路边缘检测算法

道路边缘检测是自动驾驶车辆环境感知的重要组成部分,有效地从点云数据中提取道路边缘信息,有利于进行目标检测以及可行驶区域检测。针对点云道路边缘检测问题,提出了一种考虑车辆等道路参与者对道路边缘检测带来干扰的解决方案。首先,采用地面点云分割算法,将原始点云分割成地面点云和非地面点云;其次,根据车辆等道路参与者的固有特性,采用点云聚类算法对点云进行聚类,并将符合车辆等道路参与者特性的非地面点云进行滤除;再次,根据道路边缘点云在二维平面内,能够有效地遮挡激光发射中心点与非道路边缘点之间的连线,从而提取道路边缘点云;最后,采用随机抽样一致性(random sample consensus,RANSAC)算法对道路边缘点云进行多项式拟合,并使用扩展卡尔曼滤波器对道路边缘进行跟踪。实验结果表明,所提点云道路边缘检测算法能够消除车辆等道路参与则对点云道路边缘检测的影响,且算法满足实车实时性和鲁棒性要求。

面向磁浮轨道的多源点云数据的混合滤波方法

在磁浮轨道的仿真数据处理过程中,磁浮轨道点云数据的滤波提取是重要环节之一,实际应用应根据待提取的磁浮数据特性,采用高效的滤波方法。磁浮轨道的点云数据对象主要包括由无人机(UAV)倾斜摄影获取的磁浮轨道的图像数据并经过三维重建后形成的稠密点云数据、由手持式激光雷达扫描磁浮轨道获取的激光点云数据。根据这两种点云的数据特性,考虑磁浮轨道四周复杂场景的点云环境,分别对两种点云进行混合滤波。首先,对激光点云数据采用八叉树下采样方法,有效降低了点云数据的数量级,节省了运行时间。然后,分别对激光点云与稠密点云数据采用布料模拟滤波(CSF)方法,过滤了地平面点云数据,保留了非地面点云数据;采用统计离群点去除(SOR)滤波方法,筛除了大量离群点;根据磁浮轨道特征,采用直通滤波过滤了坐标范围外的点云数据。实验结果表明,在不影响磁浮轨道结构的前提下,对于采用八叉树下采样方法的激光点云数据和没有采用八叉树下采样的稠密点云数据,该方法的滤波率分别为86.15%和64.76%,经混合滤波后的两种点云数据的结构近似,点云数量处于同一数量级,为磁浮轨道点云特征提取等后续任务提供了有效保障。

一种融合运动预测的三维点云目标跟踪算法

随着人工智能技术的发展以及对目标跟踪理论的研究深入,目标跟踪技术在实际生活中得到了广泛的应用,对于许多视觉应用,目标跟踪更是一项必不可少的技术。目前,针对二维图像的目标跟踪研究已取得了丰硕的成果,但基于三维点云的目标跟踪技术还处于研究发展阶段。近年来,由于激光雷达的广泛应用以及深度学习技术在三维点云领域的研究,基于激光雷达点云的目标跟踪技术也取得了一些进展。现有的基于激光雷达点云目标的跟踪算法主要分为两大类:传统滤波算法和深度学习算法。虽然基于传统滤波的点云目标跟踪算法可以达到更好的效果,但是很难给这类算法赋予最优的参数,并且这类算法在一些剧烈变化的场景中很容易失效。而基于深度学习的激光雷达点云目标跟踪算法大多是“检测-跟踪”的架构,这种架构最大的问题是后端跟踪任务严重依赖于前端检测结果,当前端检测器失效时,后端跟踪模块就无法进行跟踪,这会造成大量的目标丢失问题。针对以上问题,本文使用了一种以运动预测为中心的深度学习架构。该架构将检测和运动预测相结合,主要分为两个阶段:第一阶段通过点云特征提取对目标进行检测,将目标从点云中分割出来,并将目标定位到连续帧中;第二阶段通过运动预测更新分支对目标框进行优化,以得到更准确的目标位置。实验结果表明,该方法有效,且跟传统滤波方法相比,能更好的应对一些剧烈变化的场景;跟深度学习方法中的“检测-跟踪”架构相比,减少了目标丢失的情况。针对激光雷达点云目标跟踪,能得到更精确的跟踪结果。

基于LiDAR多维点云优化的垄作菊花采摘机器人自主导航方法研究

[目的]针对田间作业环境复杂导致金丝皇菊采摘机器人行走不稳定、生产效率低的问题,本文设计了一种基于LiDAR多维点云优化的菊花采摘机器人自主导航系统,以实现机器人在农田中的精准作业与高效生产。[方法]通过履带式底盘搭载的Velodyne 16线激光雷达获取田间三维点云信息,并对其进行坐标校正和体素滤波预处理。提出了一种多维点云优化算法,可按照金丝皇菊植株生长特性获取不同坐标轴下的有效点云特征,生成左右两侧垄沟线;并采用改进纯跟踪控制算法对最小二乘法拟合得到导航基准线进行跟踪导航。[结果]通过对Stanley控制算法和改进纯跟踪控制算法进行仿真试验,改进纯跟踪算法表现出更高效的跟踪性能。利用金丝皇菊采摘机器人在南京市湖熟菊花园进行实地试验。试验结果表明,基于LiDAR多维点云优化的自主导航算法横向平均绝对误差为0.0474 m,标准差值为0.0306 m,位置偏差绝对值为0.0789 m,航向平均绝对误差为2.177°,标准差值为2.589°,横向平均绝对误差减小67.13%,离散程度降低48.34%。[结论]本文提出的基于LiDAR多维点云优化算法和改进纯跟踪算法可以有效提高导航精准度,改善系统抗干扰性,导航效果较好,从而保证金丝皇菊采摘机器人的精准作业。

改进关联策略的三维多目标跟踪算法

为提高基于激光雷达的三维多目标跟踪准确度,提出一种基于检测的3D多目标跟踪算法。使用深度神经网络从激光点云中获取目标的位置信息后,对目标跟踪算法中的关联策略进行了优化。首先,估计出目标的速度信息,与位置信息一同纳入观测值,在BEV视角下使用卡尔曼滤波器对目标的状态进行预测与更新;然后,基于目标与激光雷达的距离来评估目标位置的不确定度,用于修正观测模型中的协方差矩阵;最后,在马氏距离中添加对目标测量的不确定性加权项,使用匈牙利算法进行数据关联。在大规模自动驾驶数据集Nuscenes上对所提算法进行了测试,得出其跟踪精度超过了现有的基线方法。消融实验结果表明,所提出的改进措施能有效提高三维多目标跟踪的性能。

轨道故障动态三维检测与识别系统

轨道线路作为城市轨道交通不可或缺的基础设施,其关键部件状态的动态检测、故障的自动识别与列车行车安全息息相关。针对现有2D检测手段存在的检测精度低、检测功能单一、易受环境影响、人工效率低等问题,研制了一套轨道故障动态三维检测与识别系统。该系统基于三维成像技术获取钢轨、枕木和扣件的二维图像及深度信息,结合阈值分隔技术和YOLOv4目标检测算法精确定位检测区域,利用基于深度学习的三维点云匹配算法识别检测区域状态,并在数据终端实时显示检测与识别结果。经试验验证,该系统对钢轨磨耗的检测精度达到±0.25mm,轨表、枕木、扣件的故障识别率达96.7%以上,且能排除环境因素的干扰,可用于实时检测轨道线路多种故障,有助于轨道检修作业的智能化升级。

基于点云匹配的AR饰面作业系统跟踪注册方法

针对建筑机器人饰面作业过程中常因视觉遮挡导致作业效率低的问题,使用增强现实解决遮挡并提出一种基于点云匹配的增强现实跟踪注册方法。利用目标模型点云与作业环境点云的匹配进行目标的初始定位;利用改进的相关滤波跟踪算法对目标进行跟踪获取目标位置;基于迭代最近点法对目标位姿进行估计。在跟踪注册过程中加入位姿优化,保证目标位姿估计精度。为了更加准确地跟踪目标位置,提出一种特征融合和尺度自适应的改进相关滤波目标跟踪算法。通过板材安装实验,表明跟踪注册方法精确性、实时性均较好,最小识别误差达到2.88mm,具有良好的虚实融合效果。

多视角雷达点云融合的移动机器人集群跟踪

针对移动机器人集群,地面端激光雷达定位系统虽然能减小传感器的需求数量,但存在特征缺失严重、目标分割困难等问题。为此,提出一种多视角雷达点云层次分割聚类的集群目标跟踪方法。首先,采用动态阈值分割法将多源激光雷达点云转化为点云簇,提出基于表面积启发的层次包围盒方法划分点云空间,并按递归方法构建空间层次树。其次,改进距离交并比损失函数,提出基于无向图的关联性点云簇聚类方法,生成每个移动机器人的目标点云。再次,采用卡尔曼滤波器跟踪移动机器人的目标点云,提出基于空间层次树的深度优先搜索方法进行点云跟踪。最后,开发了多视角地面端激光雷达跟踪系统,完成了移动机器人编组跟踪实验,验证了所提方法的有效性和实时性。

LED虚拟摄制中基于激光雷达的摄影机实时追踪技术研究

近年来,LED虚拟摄制发展日趋成熟,摄影机实时追踪技术是虚拟摄制中的关键核心技术之一,目前行业内已有一些解决方案,但存在配套设备繁多、价格昂贵以及受光线干扰大等问题。本文通过对LED虚拟摄制关键流程进行分析,结合目前研究热度较高的主动式激光雷达定位技术,提出并实现了一种LED虚拟摄制中基于激光雷达的摄影机位姿实时追踪技术,搭建了从运动轨迹计算到传输的摄影机追踪全流程系统。实验表明,本文提出的摄影机实时追踪技术具有较高的准确性与低时延特征,为LED虚拟摄制中摄影机追踪系统提供了一种补充与替代方案。

基于深度学习的大规模三维点云处理综述

随着三维视觉的快速发展,基于深度学习的大规模三维点云实时处理成为研究热点.以三维空间分布无序的大规模三维点云为背景,综合分析介绍并对比深度学习实时处理三维视觉问题的最新进展,对点云分割、形状分类、目标检测等方面算法优势与不足进行详细分析,给出详细的性能分析与优劣对比,并对点云常用数据集进行简要介绍,并给出不同数据集的算法性能对比.最后,指出未来在基于深度学习方法处理三维点云问题上的研究方向.

基于激光视觉跟踪扫描技术的街区建筑立面测绘方法

针对狭窄街区建筑立面测绘中存在街区狭窄视场、结构复杂和传统测绘方法实施困难、效率低等问题,提出一种基于激光视觉跟踪扫描的建筑立面快速测绘方法。首先阐述了激光扫描技术和激光视觉跟踪技术的基本原理,然后结合工程案例,从技术路线、外业点云数据、内业点云数据等方面进行分析,最后从精度检验、效率对比及优势3个方面进行比较。结果表明,激光视觉跟踪扫描技术具有外业采集和处理效率高、精度高、点云数据丰富等特点,在建筑立面测绘方面具有很大优势,为立面测绘提供了一种新思路、新方法。

基于多源点云数据的铁路线路信息化

相比于传统测量手段,移动扫描技术能够提高测量效率,但点云数据具有体积大、密度高、冗余数据多等特点,测量过程中扫描仪覆盖范围大,大量无效点云被获取。针对该问题,本文提出了一种基于多源点云数据提取铁路线路信息的方法。首先,根据钢轨点云的反射强度和几何特征预处理,采用微分的思想提取线路中心线;其次,对钢轨点云模型降维处理,参考高速铁路路用钢轨轨头宽度允许误差设定收敛条件建立钢轨模型,提取线路平面线和纵横断面;然后,利用主成分分析法和移动激光点聚类法提取接触线和站内附属设备;最后,基于反射强度快速分割钢轨,采用Dynamo编程语言对Revit进行二次开发,快速建模,对推动铁路设计智能化、可视化水平具有十分重要的作用。

基于非刚性点云配准的运动鞋鞋帮打磨轨迹提取

为了解决冷黏运动鞋自动化生产过程中鞋帮打磨轨迹难以提取的问题,提出一种利用非刚性点云配准算法提取轨迹的方法。搭建三维视觉平台分别获取鞋底侧墙与鞋帮点云,基于高斯混合模型,结合运动相干性和先验分布构建了鞋底与鞋帮点云配准概率的联合概率密度分布,并采用变分贝叶斯推断计算出最佳配准参数,进而实现两种点云间的精确配准。对配准后的点云提取边缘轨迹并聚类分割,提取的边缘轨迹即为鞋帮打磨轨迹。研究证明,该方法可有效提取运动鞋的鞋帮打磨轨迹曲线,相比依靠离线采样点提取打磨轨迹的传统方法,可大幅缩减轨迹的获取时间且精度良好。

基于机载LiDAR的铁路工务设备及周边环境形变分析

提出一种基于机载LiDAR(Light Detection And Ranging)点云的铁路工务设备及周边环境形变分析方法,通过无人机机载LiDAR巡线系统获取铁路场景三维点云,对点云进行裁剪、去噪及配准;结合点云-点云比较方法与多尺度点云模型比较方法分别对工务设备及周边环境的形变进行定性与定量判断,并应用于邯长线(邯郸—长治)K130+874—K135+292区段。结果表明:该方法能够有效利用机载LiDAR铁路巡检数据,通过定性与定量的形变分析及时发现隐患。

人体背部动态识别与跟踪方法

为了准确、快速地跟踪人体,本文以人体背部为研究对象,提出了一种融合空间运动变换矩阵及点云粗-精配准算法的动态识别与跟踪方法。首先,采用直通滤波和统计滤波以及背景去除分割初始场景点云,识别出目标人体,再基于人体背部几何特征,利用微元分割法进行背部划分(即获得目标区域);其次,提取内部形状描述子(ISS)关键点简化背部点云,并结合快速点特征直方图(FPFH)通过采样一致性(SAC-IA)算法和迭代最接近点(ICP)算法进行点云配准,并通过相邻两帧点云配准结果,获得背部空间运动变换矩阵。通过分别与3Dcs-ICP算法和普通粗-精配准算法跟踪实验发现,本文提出算法运行时间明显减少,目标区域在X、Y和Z方向的平均均方根误差分别为0.264 cm、0.261 cm和0.517 cm。实验结果表明:此方法可提高人体背部识别速度和准确度,也为其他人体器官的跟踪与识别提供参考。