基于改进PointPillars的3D目标检测算法

针对自动驾驶场景下远距离及遮挡目标识别问题,对PointPillars算法进行了改进。引入了并行的空间注意力和通道注意力机制,增强了目标的位置信息及有用特征通道权重,提高了远距离目标的检测精度。在2D CNN骨干网络中引入了自适应空间特征融合模块,解决了特征拼接的信息丢失问题,提高了遮挡目标的检测精度。基于KITTI数据集在3种不同场景难度下分别对SECOND、PointPillars、改进PointPillars这3种算法进行了定量分析验证,并将改进的PointPillars算法进行可视化分析。定量分析表明,改进PointPillars算法在鸟瞰图模式下目标检测精度最大提升2.75%;在三维模式下目标检测精度最大提升2.93%;在AOS模式下目标检测精度最大提升4.05%,可视化结果表明改进的PointPillars算法能有效检测远距离及遮挡目标。

多尺度特征融合对比学习结合PointMetaBase的点云分割

点云场景边界的精确分割对提升三维点云整体分割精度和小目标的分割精度都非常重要。针对现有三维点云语义分割算法中存在的对点云场景边界分割不准确的问题,设计了一种新的多尺度特征融合对比学习方法,并将其集成到PointMetaBase网络上,提出了MFFCL-PMB三维点云语义分割网络。该网络将解码器各层的输入和输出平行多路径地输入多尺度特征提取网络,其次将多尺度特征进行拼接融合,最后由边界搜索模块确定点云场景边界点,在边界点对应的多尺度融合特征上进行对比学习,使网络学习到使特征区分度更大的权重。MFFCL-PMB在数据集S3DIS的测试集区域5上的mIoU为70.9%,相比原始的PointMetaBase,在边界上的mIoU增加了1.4%,内部区域mIoU增加了1.2%,总体mIoU增加了1.2%,边界mIoU增量比内部区域增加的mIoU更大,说明MFFCL-PMB有效增强了PointMetaBase在边界上的分割表现并提高了网络在点云总体上的语义分割性能。

基于特征融合的改进型PointPillar点云目标检测

针对PointPillar在自动驾驶道路场景下对点云稀疏小目标检测效果差的问题,通过引入一种多尺度特征融合策略和注意力机制,提出一种点云目标检测网络Pillar-FFNet。针对网络中的特征提取问题,设计了一种基于残差结构的主干网络;针对馈入检测头的特征图没有充分利用高层特征的语义信息和低层特征的空间信息的问题,设计了一种简单有效的多尺度特征融合策略;针对主干网络提取的特征图中信息冗余的问题,提出了一种卷积注意力机制。为验证所提算法的性能,在KITTI和DAIR-V2X-I数据集上进行实验。实验结果表明,所提出的算法在KITTI数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.84%,2.13%和4.02%;在DAIR-V2X-I数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.33%,2.09%和4.71%,由此证明了所提方法对点云稀疏小目标检测的有效性。

基于KINECT FUSION的室内目标三维重建系统

三维重建是计算机科学领域研究的热点,从一门尖端且难以摸索的学科到逐步与大众市场接轨,三维重建技术渐渐地融入到人们的工作、学习和生活当中。以微软公司推出的Kinect传感器为代表的深度图像采集设备被普遍采用到三维重建领域,基于Kinect Fusion的三维重建技术在该领域得到了广泛的应用。Kinect Fusion是一种操作简便、速度较快且成本低廉的三维重建方法,使用Kinect传感器作为采集深度图像的输入设备,经过对原始深度图像的去噪、平滑以及表面重建等一系列方法,最终可以获得目标物体在三维空间中的点云模型。

地面激光扫描点云与无人机影像点云融合应用

通过建立高精度的桥梁三维点云模型,检查桥梁病害情况并拟合绘制出桥梁线形。首先以无人机近景摄影、环绕飞行、井字飞行获取某双线特大桥梁主体与细部纹理数据,然后将不同航线采集的数据在Context Capture软件里面进行三维重建,将桥梁主体与细部影像融合生成完整桥梁点云1。运用Trimble SX12仪器完成对桥梁一体化扫描,获得完整桥梁点云2。提出基于双向KD-tree优化的ICP(Iterative Closest Point)算法对无人机航摄桥梁点云1与地面激光扫描桥梁点云数据2进行配准融合,加密后的桥梁点云用于建立运营铁路双线特大桥精细化三维实景建模。提出基于KD-tree的PCA(Principal Component Analysis)算法完整提取出桥梁吊索点云,运用最小二乘法拟合出桥梁拱轴线线形、RANSAC算法拟合出桥面线形。通过与单一无人机、单一地面激光扫描精度及完整性对比分析,以验证融合建模的有效性。研究结果表明:融合建模的模型水平精度1.71 cm、垂直方向精度1.25 cm,较单一无人机建模精度在水平与竖直方向分别提升16.59%与20.89%;融合建模的完整性为98.17%,纹理效果更加真实,并检查出桥墩存在蜂窝麻面、渗水等病害,拱肋存在涂装锈蚀、破裂等病害。该研究可为桥梁三维点云模型应用研究提供思路参考,具有较好的应用前景。

基于多视角三维点云融合的采棉机器人视觉感知方法

针对传统采棉机器人因单一视角和二维图像信息带来的视觉感知局限问题,本文提出了一种多视角三维点云配准方法,以增强采棉机器人实时三维视觉感知能力。采用4台固定位姿的Realsense D435型深度相机,从不同视角获取棉花点云数据。通过AprilTags算法标定出深度相机RGB成像模块与Tag标签的相对位姿,并基于深度相机中RGB成像模块与立体成像模块坐标系间的转换关系,解算出各个相机间点云坐标的对应变换,进而实现点云间的融合配准。结果表明,本文配准方法的全局配准平均距离误差为0.93 cm,平均配准时间为0.025 s,表现出较高的配准精度和效率。同时,为满足采棉机器人感知的实时性要求,本文对算法中点云获取、背景滤波和融合配准等步骤进行了效率分析及优化,最终整体算法运行速度达到29.85 f/s,满足采棉机器人感知系统实时性需求。

基于移动多线激光雷达扫描的树冠叶面积估计方法

移动单线激光雷达(Laser detection and ranging,LiDAR)扫描(Mobile single-layer LiDAR scanning,MSLS)树冠叶面积估计方法使用单一视角的单线激光雷达采集树冠点云数据,获取的冠层信息不够全面,限制了树冠叶面积估计精度。本文提出一种基于移动多线LiDAR扫描(Mobile multi-layer LiDAR scanning,MMLS)的树冠叶面积估计方法,使用多线LiDAR从多个视角采集树冠点云数据,提升树冠叶面积估计精度。首先,将多线LiDAR采集的点云数据变换到世界坐标系下,通过感兴趣区域(Region of interest,ROI)提取出树冠点云。然后,提出一种MMLS树冠点云融合方法,逐个融合单个激光器采集的树冠点云,设置距离阈值删除重复点,添加新点。最后,构建MMLS空间分辨率网格,建立基于树冠网格面积的树冠叶面积估计模型。实验使用VLP-16型多线LiDAR传感器搭建MMLS系统,设置1、1.5 m 2个测量距离和间隔45°的8个测量角度对6个具有不同冠层密度的树冠进行数据采集,共得到96个树冠样本。采用本文方法,树冠叶面积线性估计模型的均方根误差(Root mean squared error,RMSE)为0.1041 m^(2),比MSLS模型降低0.0578 m^(2),决定系数R^(2)为0.9526,比MSLS模型提高0.0675。实验结果表明,本文方法通过多线LiDAR多视角树冠点云数据采集、MMLS树冠点云融合和空间分辨率网格构建,有效提升了树冠叶面积估计精度。

双通道特征融合的真实场景点云语义分割方法

真实场景点云不仅具有点云的空间几何信息,还具有三维物体的颜色信息,现有的网络无法有效利用真实场景的局部特征以及空间几何特征信息,因此提出了一种双通道特征融合的真实场景点云语义分割方法DCFNet(dual-channel feature fusion of real scene for point cloud semantic segmentation)可用于不同场景下的室内外场景语义分割。更具体地说,为了解决不能充分提取真实场景点云颜色信息的问题,该方法采用上下两个输入通道,通道均采用相同的特征提取网络结构,其中上通道的输入是完整RGB颜色和点云坐标信息,该通道主要关注于复杂物体对象场景特征,下通道仅输入点云坐标信息,该通道主要关注于点云的空间几何特征;在每个通道中为了更好地提取局部与全局信息,改善网络性能,引入了层间融合模块和Transformer通道特征扩充模块;同时,针对现有的三维点云语义分割方法缺乏关注局部特征与全局特征的联系,导致对复杂场景的分割效果不佳的问题,对上下两个通道所提取的特征通过DCFFS(dual-channel feature fusion segmentation)模块进行融合,并对真实场景进行语义分割。对室内复杂场景和大规模室内外场景点云分割基准进行了实验,实验结果表明,提出的DCFNet分割方法在S3DIS Area5室内场景数据集以及STPLS3D室外场景数据集上,平均交并比(MIOU)分别达到71.18%和48.87%,平均准确率(MACC)和整体准确率(OACC)分别达到77.01%与86.91%,实现了真实场景的高精度点云语义分割。

自然环境下苹果点云多维度特征分割方法研究

为了解决自然环境下苹果果园复杂场景及光照变化对果实精准定位和空间形态评估带来的困难,对基于多维度特征的苹果点云分割方法进行了研究。研究中,通过融合欧氏距离、曲率分析和颜色特征创建苹果点云分割掩膜,对苹果点云进行分割;引入K-D Tree进行聚类修正,拟合后获取最终果实空间全面信息。试验结果显示:在自然果园环境下,该方法在逆光、顺光和侧光条件下分别取得了96.20%、97.67%和97.93%的分割纯净率,与仅基于欧氏距离或颜色特征的单一特征分割方法相比,该方法的纯净率分别提高了37.57%和14.53%,且聚类误分问题得到有效解决。该方法具有良好的鲁棒性和精确性,可为苹果智能化采摘作业的精确性和可靠性提供技术支持。

可变形特征融合的无人驾驶系统三维车辆检测

针对无人驾驶系统环境感知中的车辆检测精度低的问题,提出一种基于可变形特征融合的三维车辆检测算法。首先,通过路面实况增强算法,提高收敛速度和性能;去除地面点云,减少无关点云的干扰。接着,构造可变形特征融合模块,自适应对齐不同模态数据之间的姿态和位置信息,提升多模态数据的利用效率;优化损失函数,添加对抗损失判断车辆运动的真实性,提高网络对小目标的检测精度。最后,通过训练得到网络模型的最佳权重,使用KITTI数据集进行测试,能达到较好的车辆识别效果。实验结果表明:其平均精度值为83.26%,平均检测时间为0.15 s。该算法能够快速、准确地在无人驾驶系统中对车辆进行识别。

城市道路场景下的被遮挡车辆检测算法研究

为了提高智能汽车在城市道路场景下对前方被遮挡车辆的检测精度,提出了一种双尺度点云密度扩展网络BPDE-Net,来解决因存在车辆被遮挡而导致的目标点云稀疏问题。第一阶段,将原始点云投影到语义分割后的图像标签上,并在遮挡区域内随机生成固定数目的虚拟点,采用混合插值法来关联虚拟点和实际投影点,得到的虚拟点再反向映射到点云空间;第二阶段,使用马氏距离来关联相邻体素间的点云,以此增加每个体素内的相似点云数量,通过改进注意力高斯矩阵来计算体素特征所对应的相对位置编码,用于关注通道内不同体素序列的相对位置。在KITTI数据集中选取了大量的车辆之间存在遮挡的城市道路场景进行对比试验,结果表明:BPDE-Net在3D视角和鸟瞰图视角下的被遮挡车辆平均检测精度(mAP)分别为79.2%和83.7%,相较于基线网络Second分别提高了11.2%和12.5%;点云密度增强模块和体素特征融合模块的mAP相较于目前主流的方法分别提高了3.9%与1.8%,提升了车辆在被遮挡场景下的可辨识度与鲁棒性。

融合颜色与几何信息的点云配准

目前,大部分点云配准算法是基于点云数据的几何特征进行描述.随着能够同时采集对象坐标和颜色的扫描设备出现,为更好利用颜色信息,对彩色点云中的颜色信息描述进行研究,提出一种基于颜色分布的3DLGOP特征描述子,并将其与几何特征描述子FPFH、颜色特征描述子CSHOT融合,设计出FPFH-3DLGOP的混合描述符,采用最近邻比值法得到初始对应关系,采用随机采样一致性去除错误对应关系,对匹配关系使用奇异值分解(SVD)求得三维刚体变换矩阵,进而完成点云配准.实验表明,所提出的特征描述符充分地利用了点云数据的颜色特征与几何特征,不仅可以很好地完成彩色点云的配准,而且还提高了配准的匹配率和精度.

复杂场景下多模态点云数据配准技术

针对复杂环境下多模态点云数据获取难,以及对点云数据配准、三维模型构建精度的要求越来越高的情况。本文以南通大剧院实景三维建模为例,当初始点云和校准点云两组多模态融合点云位置差较大时,采用ICP算法进行点云配准易导致局部最优问题,利用所提出的基于控制点辅助约束的最近点迭代(CPA-ICP)算法通过对点云数据进行配准,并与其他3种点云配准算法的试验进行对比,可知该方法的配准精度和配准效率较高,对复杂场景下的多模态点云数据融合有较好的参考意义。

基于多分支特征融合的车载激光雷达3D目标检测算法

该文基于多分支特征融合的3D目标检测算法将无序的点云划分为规则的体素,利用体素特征编码模块和卷积神经网络学习体素特征,再将稀疏的3D数据压缩为稠密的二维鸟瞰图,最后通过2D骨干网络的粗糙分支和精细分支对多尺度鸟瞰图特征进行深度融合。该文实现了对多尺度特征的语义信息、纹理信息和上下文信息的聚合,得到了更加精确的原始空间位置信息、物体分类、位置回归和朝向预测,在KITTI数据集上取得优异的平均精度,并在保持一定帧率的同时具有较强的稳健性。

基于偏移注意力机制和多特征融合的点云分类

三维点云由于受到雾、雨和雪等自然天气条件的影响较小而受到了广泛的关注,在交通、能源和医疗等多个领域得到了广泛的应用,其中点云分类旨在划分三维点云数据的类别,为不同领域决策者提供信息,实现解决方案的制订,对自动驾驶、故障诊断和医学影像分析等具有重要意义。点云分类的应用前景广阔,但目前仍面临着诸多挑战。由于点云的无序性、稀疏性和有限性等特点,传统的图像处理和计算机视觉方法难以直接应用于点云数据分析,直接利用卷积神经网络不能有效提取点云特征,部分模型的特征提取不够充分,局部和全局的信息未能有效的利用,可能丢失重要特征信息。针对上述问题,提出一种实现点云的局部和全局特征相结合的多特征融合模块,并结合偏移注意力机制嵌入多特征融合模块实现较深层次点云特征的提取,同时引入残差结构充分利用浅层提取的特征,防止网络过深导致浅层特征丢失。在ModelNet40和ScanObjectNN分类数据集上进行训练和测试,并对实验进行了消融研究和部分数据可视化。实验结果发现该模型在ModelNet40上的分类总体准确率为93.6%,与PointNet、LDGCNN和PCT等模型相比,分类总体准确率分别提高了4.4、0.7和0.4个百分点;在ScanObjectNN上的分类总体准确率为83.7%,与PointNet++和DGCNN相比,分类总体准确率分别提高了5.8和5.6个百分点,具有较高的准确率和鲁棒性。

一种多层多模态融合3D目标检测方法

在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(Red Green Blue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.

基于毫米波雷达稀疏点云的人体行为识别方法

目前利用毫米波雷达进行人体行为识别的方法在复杂场景下无法很好地区分相似动作,与此同时模型的鲁棒性和抗干扰能力也相对较差;针对以上两个问题,提出了一种通用的基于毫米波雷达稀疏点云的人体行为识别方法,该方法首先利用K-means++聚类算法对点云进行采样,然后使用基于注意力特征融合的点云活动分类网络进行人体行为特征的提取和识别,该网络可以兼顾点云的空间特征以及时序特征,对稀疏点云的运动有灵敏的感知能力;为了验证所提出方法的有效性和鲁棒性,分别在MMActivity数据集和MMGesture数据集上进行了实验,并在两个数据集上取得97.50%和94.10%的准确率,均优于其它方法;此外,进一步验证了K-means++点云采样方法的有效性,相较于随机采样,准确率提升了0.4个百分点,实验结果表明所提出方法能够有效地提升人体行为识别的准确率,且模型具有较好的泛化能力。

融合无人机和地基激光雷达点云数据估测单木结构参数

激光雷达(Light detection and ranging,LiDAR)作为一种主动遥感技术,能够通过发射激光能量并接收返回信息的方式获取森林空间结构信息,然而,单独使用时存在扫描盲区,无法获取完整的森林树木三维点云。为此,提出融合无人机和地基LiDAR点云估测单木结构参数的方法,采用地面特征和树木位置关系的配准方法实现点云融合,并在融合点云数据的基础上提出一种改进的K均值层次聚类分割算法完成单木分割,然后根据基于分割后的单木点云使用轴对齐包围盒算法以及最小二乘拟合圆法分别提取单木树高和胸径,最后通过生物量异速生长方程估测单木生物量。研究结果表明,蒙古栎样地的树高、胸径和单木生物量的决定系数(R^(2))分别为0.84、0.93和0.91,单木结构参数的均方根误差(RMSE)分别为0.75 m、0.96 cm和26.31 kg/株;樟子松样地的树高、胸径和单木生物量的R^(2)分别为0.92、0.96和0.95,相应的均方根误差分别为0.43 m、1.06 cm和26.12 kg/株。融合无人机和地基LiDAR点云为快速完整地获取林木构型信息提供可靠的数据基础,为联合多源激光雷达技术深入林业应用提供有力的技术支撑。

对融合特征敏感的三维点云识别与分割

三维点云分类分割网络忽视了融合特征中的冗余信息,缺乏放大有效特征占比能力,不能充分挖掘特征的表达性。在CurveNet网络基础上,提出了一种能够筛选和丰富融合特征的方法,对点云的识别与分割效果达到了较先进水平。首先,提出了对融合特征具有筛选能力的特征选择子网络,利用结合了打分机制的Top K算子选出包含有效信息的融合特征,并且能够自适应地赋予被选特征权重。其次,在聚合曲线特征模块中增加了两个新分支,分别学习曲线内部点距离特征和曲线之间的线距离特征,通过快速通道相关性注意力机制提取各分支的内部相关性,增强了网络特征的信息描述能力。实验结果表明,分类任务在ModelNet40数据集上准确率达到了93.8%,分割任务在ShapeNet Part数据集上平均交并比达到了86.4%。与基准网络相比,分类效果与分割效果均有所提高,证明了算法的有效性。

多模态融合的三维语义分割算法研究

如何高效提取稠密感知的图像特征信息以及真实三维感知的点云特征信息并充分利用其各自优势进行信息互补是提升三维目标识别的关键。本文提出了一种图像和点云融合的多模态框架用于三维语义分割任务。图像与点云特征提取分支相互独立,设计深度估计融合网络用于图像分支,将稠密感知的图像语义信息与真值显式监督的深度特征信息有效融合,对点云的无序及稀疏性进行补偿。并改进体素特征提取方法,减少点云体素化带来的信息损失。图像、点云分支提取多尺度特征后通过动态特征融合模块提升网络对关键特征的提取能力,更有效的获取全局特征。同时本文提出点级的多模态融合数据增强策略,提升样本多样性的同时有效缓解样本不均衡问题。在Pandaset公开数据集上进行对比实验,本文的多模态融合框架展现出更优的性能和更强的鲁棒性,尤其在小样本小目标上性能提升更为明显。