Point Cloud Processing Methods for 3D Point Cloud Detection Tasks

Light detection and ranging(LiDAR)sensors play a vital role in acquiring 3D point cloud data and extracting valuable information about objects for tasks such as autonomous driving,robotics,and virtual reality(VR).However,the sparse and disordered nature of the 3D point cloud poses significant challenges to feature extraction.Overcoming limitations is critical for 3D point cloud processing.3D point cloud object detection is a very challenging and crucial task,in which point cloud processing and feature extraction methods play a crucial role and have a significant impact on subsequent object detection performance.In this overview of outstanding work in object detection from the 3D point cloud,we specifically focus on summarizing methods employed in 3D point cloud processing.We introduce the way point clouds are processed in classical 3D object detection algorithms,and their improvements to solve the problems existing in point cloud processing.Different voxelization methods and point cloud sampling strategies will influence the extracted features,thereby impacting the final detection performance.

城市道路场景下的被遮挡车辆检测算法研究

为了提高智能汽车在城市道路场景下对前方被遮挡车辆的检测精度,提出了一种双尺度点云密度扩展网络BPDE-Net,来解决因存在车辆被遮挡而导致的目标点云稀疏问题。第一阶段,将原始点云投影到语义分割后的图像标签上,并在遮挡区域内随机生成固定数目的虚拟点,采用混合插值法来关联虚拟点和实际投影点,得到的虚拟点再反向映射到点云空间;第二阶段,使用马氏距离来关联相邻体素间的点云,以此增加每个体素内的相似点云数量,通过改进注意力高斯矩阵来计算体素特征所对应的相对位置编码,用于关注通道内不同体素序列的相对位置。在KITTI数据集中选取了大量的车辆之间存在遮挡的城市道路场景进行对比试验,结果表明:BPDE-Net在3D视角和鸟瞰图视角下的被遮挡车辆平均检测精度(mAP)分别为79.2%和83.7%,相较于基线网络Second分别提高了11.2%和12.5%;点云密度增强模块和体素特征融合模块的mAP相较于目前主流的方法分别提高了3.9%与1.8%,提升了车辆在被遮挡场景下的可辨识度与鲁棒性。

基于边界点估计与稀疏卷积神经网络的三维点云语义分割

针对大规模点云具有稀疏性,传统点云方法提取上下文语义特征不够丰富,并且语义分割结果存在物体边界模糊的问题,提出基于边界点估计与稀疏卷积神经网络的三维点云语义分割算法,主要包括体素分支与点分支.对于体素分支,将原始点云进行体素化后经过稀疏卷积得到上下文语义特征;进行解体素化得到每个点的初始语义标签;将初始语义标签输入到边界点估计模块中得到可能的边界点.对于点分支,使用改进的动态图卷积模块提取点云局部几何特征;依次经过空间注意力模块与通道注意力模块增强局部特征;将点分支得到的局部几何特征与体素分支得到的上下文特征融合,增强点云特征的丰富性.本算法在S3DIS数据集和SemanticKITTI数据集上的语义分割精度分别达到69.5%和62.7%.实验结果表明,本研究算法能够提取到更丰富的点云特征,可以对物体的边界区域进行准确分割,具有较好的三维点云语义分割能力.

融合体素图注意力的三维目标检测算法

目前基于点云的三维目标检测方法未能充分利用点云局部几何特征,导致对点云稀疏的目标检测效果不佳。为此,本文提出基于原始点云体素图注意力的两阶段三维目标检测算法(voxel graph attention region-CNN,VGT-RCNN)。通过多尺度体素特征插值计算网格中心点特征;在多尺度非空体素特征上构造局部图;通过图注意力机制对体素特征进行加权平均,充分提取并利用目标的局部几何特征完成检测。该算法主要针对当前二阶段算法在进行特征聚合时对不同体素特征的重要性考虑不足进行改进,引入可学习的权重矩阵,动态学习体素特性的权重,提高局部特征表达能力。本文在流行的KITTI自动驾驶数据集上进行了充分测试,取得了具有竞争力的检测效果,尤其是在对点云稀疏的汽车目标检测上,准确率有较大提高。本文还对检测效果进行了可视化分析。

融合语义分割和三维点云分析的果园障碍物实时重构方法

针对果园障碍物识别和重构存在实时性差的问题,该研究以番石榴果园为例,提出了融合语义分割和三维点云分析的果园障碍物实时重构方法。首先,以DeepLabV3+为基础,使用MobileNetV3-large作为骨干网络以实时提取特征图,结合上下文Transformer注意力丰富特征图细节和语义信息,进一步提出基于Sobel算子的边缘辅助损失函数以提升障碍物分割精度;在此基础上,运用体素化法将枝干三维点云重构为大量立方体,构建基于欧式聚类的果实三维重构方法,设计一种融合逆投影变换和交并比的重构评价指标。试验结果表明:该方法对障碍物语义分割的平均交并比为77.2%,比Xception-DeepLabV3+提高7.0个百分点;平均帧速为78.8帧/s;该方法对枝干和果实的重构交并比分别为56.6%和65.7%,平均重构时间分别为0.84 s和0.34 s。该研究实时性和精度较高,满足水果采摘机器人实时避障作业需求。

多模态融合的三维语义分割算法研究

如何高效提取稠密感知的图像特征信息以及真实三维感知的点云特征信息并充分利用其各自优势进行信息互补是提升三维目标识别的关键。本文提出了一种图像和点云融合的多模态框架用于三维语义分割任务。图像与点云特征提取分支相互独立,设计深度估计融合网络用于图像分支,将稠密感知的图像语义信息与真值显式监督的深度特征信息有效融合,对点云的无序及稀疏性进行补偿。并改进体素特征提取方法,减少点云体素化带来的信息损失。图像、点云分支提取多尺度特征后通过动态特征融合模块提升网络对关键特征的提取能力,更有效的获取全局特征。同时本文提出点级的多模态融合数据增强策略,提升样本多样性的同时有效缓解样本不均衡问题。在Pandaset公开数据集上进行对比实验,本文的多模态融合框架展现出更优的性能和更强的鲁棒性,尤其在小样本小目标上性能提升更为明显。

融合点云和体素信息的目标检测网络

为解决复杂自动驾驶场景下小目标检测效果不佳和漏检的问题,提出一种融合点云和体素信息的高性能网络架构。通过预处理模块、空间语义特征关联模块、坐标注意力机制模块等改进PV-RCNN网络的检测性能,构建网络架构PSC-RCNN。在KITTI上进行验证,实验结果表明,PSC-RCNN在简单、中等、困难3种检测难度的类别下,对于自行车这种形状复杂的小物体识别精度分别为82.99%、67.03%、59.88%,相对原有的PV-RCNN网络,识别精度分别提高了4.39%、3.32%、2.23%;相对于现有3D目标检测网络,识别精度分别提高了0.51%、2.93%、2.23%。

地基森林点云单木检测的特征提取与组合方法

针对基于点云特征进行单木检测的方法缺少对特征的重要性评估和选择等问题,提出一种体素特征参与单木检测的特征提取与组合的方法。首先,根据森林中不同类别的结构差异和空间分布特点提出一组体素特征,结合常用的三维、二维、格网以及强度等基础特征实现树干点提取。然后,提出一种基于单木检测结果的特征选择方法用于确定适合相似林分结构的最佳特征组合。在3块不同森林样地上进行实验,结果表明:加入体素特征后,树干点提取精度分别提高7.3%、11.6%、9.5%,单木检测精度分别提高0.4%、2.6%、0.7%;与基于单点分类结果的特征选择方法以及其他研究中的特征组合相比,该方法能够通过更少的特征达到相似或更高的单木检测精度。

深度学习的三维模型识别研究综述

随着三维扫描仪、LiDAR等三维视觉感知设备的快速发展,三维模型识别方向正逐渐引起越来越多的研究者的关注。该领域的核心任务是三维模型的分类与检索。深度学习技术在二维视觉任务方面已经取得显著的成就,将这一技术引入三维视觉领域不仅突破了传统方法的限制,还在自动驾驶、智能机器人等领域取得了引人瞩目的进展。然而,将深度学习技术应用于三维模型识别任务仍然面临着多项挑战。鉴于此,对深度学习在三维模型识别任务中的应用进行综述。首先,论述了常用的评价指标和公开数据集,介绍每个数据集的相关信息和来源。接着,从多个角度出发,包括点云、视图、体素以及多模态融合等,详细介绍现有具有代表性的方法,并梳理了近年来的相关研究工作。通过在数据集上对这些方法的性能进行对比,分析各个方法的优势和局限性。最后,基于各类方法的利弊,总结当前亟待解决的三维模型识别任务中的挑战,并展望了未来在该领域的发展趋势。

基于影像密集匹配点云的建筑物变化检测方法

采用影像密集匹配点云开展变化检测能有效发现建筑物高度的变化。提出了一种融合深度神经网络与空间体素的影像密集匹配点云建筑物变化检测方法。首先构建注意力驱动的建筑物点云提取深度神经网络,再分别利用布料模拟滤波算法和植被指数剔除地面点和植被点云,最后通过空间体素比较提取建筑物点云变化。实验结果表明,该方法的漏检率为0%,且虚警率比传统方法降低了48.64%,说明其具有大幅提升违章建筑发现效率的潜力,能够满足实际生产需求。

基于空间体素表达与影像目标验证的建筑物三维变化检测分析

针对复杂城乡区域违法建筑检测效率低、虚警和楼层加盖等漏检多的难题,本文结合三维点云空间体素表达与二维影像目标识别,提出一种适用于无人机影像密集匹配点云的建筑物三维变化检测方法。首先,对两时相的无人机密集匹配点云进行配准、地面点滤波等预处理;然后,对点云构造八叉树,逐层比较体素获取变化点云;最后,将变化点云聚类后逐个按正射视角投影生成二维影像,利用ConvNext网络进行建筑物验证,得到建筑物变化检测结果。本文实验在对象级上进行检查效果评价,在正确率达到87.18%的情况下,实现了100%的检测完整率。结果表明本文方法能够有效提升违章建筑发现效率,满足实际生产需求。

基于深度学习的单幅图像三维重建

随着深度学习技术的发展,深度神经网络在图像处理和三维重建中得到广泛应用,为探究目前深度学习框架下的单幅图像三维重建研究现状,该文对近年的相关研究工作进行综述.首先介绍深度学习框架下基于图像的不同三维重建方法的分类;其次梳理图像三维重建中不同神经网络方法的研究进展;并根据重建三维模型表示方式的不同,分别讨论针对体素、点云、网格、隐式等不同表示方式的单幅图像三维重建网络和方法;然后给出单幅图像三维重建中的常用评价指标与数据集,并对公开数据集下针对不同表示方式的各类三维重建方法的结果进行比较与分析;最后对单幅图像三维重建所面临的困难和挑战进行讨论,并给出未来的研究方向.

Study on the LAI Single Tree Model Based on Terrestrial Laser Scanning

Leaf area index (LAI) is a key parameter for studying global terrestrial ecology and environment and has great ecological significance. How to accurately measure and calculate structural parameters of trees has become an urgent matter. This paper reports the use of terrestrial laser scanning (TLS) as a measurement tool to achieve accurate LAI estimation through point cloud preprocessing measures, the LeWos algorithm, and voxel methods. The accuracy and feasibility of this indirect measurement method were explored. It is found that the single wood structure parameters extracted from TLS have a good linear relationship with manual measurement, and the extraction errors meet the requirements of real-scene conversion. The study also found when the voxel size is consistent with the minimum distance of the point cloud set by TLS instrument, it has a strong correlation with the measured value of canopy analyser. These results lay the foundation for conveniently and quickly obtaining structural parameters of trees, tree growth state detection, and canopy ecological benefit assessment.

ASIS模块支持下融合注意力机制KNN的点云实例分割算法

针对基于3D卷积的点云实例分割算法的分割结果离散化、特征利用不充分的问题,提出具有注意力机制(KNN)模块和改进的实例语义关联(ASIS)模块的点云实例分割模型.模型以体素作为输入,通过3D子流形稀疏卷积提取点特征.利用具有注意力机制的KNN算法,对语义、实例特征空间的特征进行重组,以缓解提取到的特征离散化问题.通过改进的ASIS模块,对重组后的语义、实例特征相互关联以增强点特征间的区分度.对于语义特征与实例嵌入,分别应用Softmax模块、MeanShift算法获得语义与实例分割结果,采用S3DIS公开数据集对所提模型进行验证.实验结果表明,所提模型的实例分割结果在平均实例覆盖率(mCov)、平均加权实例覆盖率(mWCov)、平均精确率(mPrec)、平均召回率(mRec)衡量指标上分别达到了53.1%、57.1%、65.2%与52.8%;语义分割结果在平均交并比和总体精度上分别达到了61.7%、88.1%.消融实验结果验证了所提模块的有效性.

基于疯狂捕猎秃鹰算法的K均值互补迭代聚类优化

在处理庞大复杂的点云数据时,传统聚类方法精度低、耗时长并且受离群点影响大,针对以上问题,提出基于疯狂捕猎的柯西反向秃鹰搜索算法(QO-BESCH)的K均值互补迭代聚类优化方法.所提算法构建基于体元包围盒的初始聚类中心选择模型,提升初始化聚类中心质量;提出疯狂捕猎机制,同时融合动态自适应控制算子和柯西反向策略,提升秃鹰搜索算法(BES)的寻优能力,增加寻找聚类中心的成功率;利用QO-BESCH优化K均值聚类(KMC),在减小迭代次数的同时增加搜索效率,得到较好的聚类结果.利用UCI标准数据集对所提算法进行测试,并与8种聚类算法进行对比,实验结果证明了所提算法的优越性.将本研究算法结合PCL点云库应用于ModelNet40点云数据集聚类,结果表明,所提算法可以实现有效聚类,适用性较强.

一种基于体素网格的三维点云均匀降采样方法

降采样是三维点云预处理过程中的重要环节,体素网格法是一种被广泛使用的降采样方法。针对体素网格降采样方法存在着采样点分布不均匀的问题,提出了一种新的体素网格降采样方法。首先对点云建立轴向包围盒,然后以某一个等分距离对包围盒沿x,y,z轴三个方向的边进行等分,使得每一个体素近似为一个正方体,然后计算每一个体素内所有点的重心,并将其作为该体素的采样值。实验结果表明,当点云包围盒在x,y,z轴三个方向的边长相差非常悬殊时,该方法比传统的体素网格法获取的点云分布更均匀,而且该方法的计算效率比传统的体素网格法更高。

基于树冠体素特征的森林机载-地基激光点云无控配准

高精度森林机载-地基点云配准能够极大提高点云数据完整性,为森林生态参数反演提供良好的数据支撑。针对森林环境特征稀疏下的机载-地基点云配准问题,提出了一种基于树冠体素特征的机载-地基激光点云数据无控配准方法。通过包围盒位置方向初始化、树高-频数的树冠点云滤波、树冠点云体素化、基于滑动模板匹配的特征提取以及旋转矩阵求解等步骤实现机载-地基点云配准。通过不同森林结构复杂度的4组数据对所提出的方法进行了实验验证,获得的平均距离差异分别为0.245m、0.238m、0.184m以及0.020m。与最近邻迭代法、人工配准及二者组合方法这3种方法进行对比实验,结果表明,本文提出的无控配准方法在精度和稳定性上均优于这3种方法。

基于Transformer的体素化激光点云目标检测算法

3D点云目标检测是计算机3D视觉中的一个关键技术,本文针对激光雷达点云数据的稀疏性、无序性和数据量大,导致神经网络运算效率慢、检测精度低等问题,开展了基于激光雷达点云的目标检测算法研究。在激光雷达点云数据处理阶段,我们将原始点云数据体素化,解决了点云稀疏性和无序性问题,然后使用多层特征下采样层构建特征金字塔,实验验证了该方法使网络在训练阶段更快收敛,有效减少点云数据量大导致的网络运算开销,网络运算效率提升~39%;同时,我们通过引入Transformer注意力模块,提高网络对点云目标关键特征的学习能力,使目标检测的准确率达到88.5%。总体实验结果表明,本文算法在确保检测精度的前提下,提升了网络运算效率。

基于二次特征提取的煤矿巷道表面点云数据精简方法

采用三维激光扫描技术提取的煤矿巷道表面点云数据量大且存在较多的冗余数据,而现有点云数据精简方法存在大数量级点云处理过程中细节保留不足的问题。针对上述问题,提出了一种基于二次特征提取的煤矿巷道表面点云数据精简方法。首先对采集到的原始巷道点云数据进行去噪预处理;其次建立K-d树,并利用主成分分析法对去噪后点云数据估算来拟合邻域平面的法向量;然后通过较小的法向量夹角阈值对点云进行初步的特征区域与非特征区域划分,保留特征区域并随机下采样非特征区域,接着依据较大的法向量夹角阈值将特征区域点云划分为特征点和非特征点,并对非特征点进行体素随机采样;最后将2次点云精简结果与特征点合并得到最终的精简数据。仿真结果表明,该方法在百万数据量级点云和高精简率条件下,相较曲率精简方法、随机精简方法和栅格精简方法,在特征保留和重构精度方面都取得了更好的效果,三维重构后计算所得标准偏差平均可低于相同精简率下其他方法30%左右。

点-体素结合的多尺度激光点云学习网络

由激光扫描器获得的点云是表示三维世界的重要数据形式,已有许多方法学习点云特征,但大多都难以兼顾准确性和高效性。对此,提出一种结合点方法和体素方法的点云特征学习网络,该方法通过点分支获取激光点云的逐点特征和全局特征,通过体素分支获取点云在不同分辨率下的多尺度局部特征,将所有特征融合后应用于下游各类点云任务中。该网络既能利用点方法内存消耗小的优点,又能利用体素方法获得连续的内存访问具有良好的局部性和数据规则性的优点,适合疏密不均匀的激光点云学习。在ModelNet10/40和ShapeNet数据集上进行实验表明,该方法相比于之前的其他点云特征学习方法,分类和分割精度高、内存消耗少、计算速度快,同时兼具准确性、高效性、鲁棒性。