基于自蒸馏框架的点云分类及其鲁棒性研究

与2D图像数据集相比,3D点云数据集的规模较小且表征性较差,容易导致神经网络出现过拟合和泛化能力差的问题。为此,提出一种点云自蒸馏(PointSD)框架,通过对表征形式不同的数据样本进行学习,使网络提取到原始点云数据中的更多特征信息,实现样本之间的知识交互,在不增加额外计算负荷的情况下提升网络的泛化能力,适用于不同规模的分类网络模型。基于该框架提出一种点云抗腐败训练方法TND-PointSD,解决了当前点云训练方法抗腐败能力不足的问题。实验结果表明:在ScanObjectNN数据集上,应用PointSD框架的PointNet++和RepSurf-U 2X基准网络的平均准确率(MA)相比于应用标准训练(ST)方法提高了8.22和4.86个百分点;在ModelNet40-C数据集上,在15种腐败类型上分类网络的平均整体准确率(MOA)均有所提升,证明了TND-PointSD方法能够有效地增强网络模型的腐败鲁棒性。

融合细粒度特征编码的点云分类分割网络

有效获取点云特征是分析和处理三维点云场景的关键。针对目前深度学习方法特征信息提取不充分,难以捕捉深层次语义信息的问题,提出了一种融合细粒度特征编码的网络来提高点云分类与分割任务的准确率。首先,特征提取模块包含2个子模块:一个是扩张图卷积模块,相比图卷积能够提取更丰富的几何信息;另一个是细粒度特征编码模块,能够获取局部区域的细节特征。其次,通过可学习参数将二者动态融合,有效地学习每个点的上下文信息。最后,将提取的所有特征相加,通过通道亲和注意力模块来强调不同通道,协助特征图来避免可能的冗余。在ModelNet40及ScanObjectNN数据集上进行点云分类实验,总体分类精度分别为93.3%和80.0%。在ShapeNet Part数据集上进行点云部件分割实验,平均交并比为85.6%。实验结果表明,与目前主流方法相比,该网络具有较优的性能。

基于偏移注意力机制和多特征融合的点云分类

三维点云由于受到雾、雨和雪等自然天气条件的影响较小而受到了广泛的关注,在交通、能源和医疗等多个领域得到了广泛的应用,其中点云分类旨在划分三维点云数据的类别,为不同领域决策者提供信息,实现解决方案的制订,对自动驾驶、故障诊断和医学影像分析等具有重要意义。点云分类的应用前景广阔,但目前仍面临着诸多挑战。由于点云的无序性、稀疏性和有限性等特点,传统的图像处理和计算机视觉方法难以直接应用于点云数据分析,直接利用卷积神经网络不能有效提取点云特征,部分模型的特征提取不够充分,局部和全局的信息未能有效的利用,可能丢失重要特征信息。针对上述问题,提出一种实现点云的局部和全局特征相结合的多特征融合模块,并结合偏移注意力机制嵌入多特征融合模块实现较深层次点云特征的提取,同时引入残差结构充分利用浅层提取的特征,防止网络过深导致浅层特征丢失。在ModelNet40和ScanObjectNN分类数据集上进行训练和测试,并对实验进行了消融研究和部分数据可视化。实验结果发现该模型在ModelNet40上的分类总体准确率为93.6%,与PointNet、LDGCNN和PCT等模型相比,分类总体准确率分别提高了4.4、0.7和0.4个百分点;在ScanObjectNN上的分类总体准确率为83.7%,与PointNet++和DGCNN相比,分类总体准确率分别提高了5.8和5.6个百分点,具有较高的准确率和鲁棒性。

基于颜色和影像指导的近岸海域三维点云分类和建模方法

针对从点云数据中进行近岸海域地物分类存在精度损失及在水面与滩涂划分界限模糊等问题,本文提出了一种基于颜色和影像指导的近岸海域三维点云分类和建模方法。该方法先以颜色分布直方图指导地物粗分类,然后采用SVM实现地物精分类,基于影像的二维分类结果指导三维点云数据分类,并在此基础上对海岛和滩涂等地物进行三维模型重建。试验结果表明,本文提出的分类和建模方法能够精确可靠地划分近岸海域地物,实现地物三维模型重建。

结合分割算法和图卷积网络的车载点云分类方法

车载点云数据语义标注是道路场景语义分析和理解的前提,该文提出了结合分割算法和图卷积网络的车载点云分类方法。首先利用具有噪声的基于密度的聚类方法(densitybased spatial clustering of applications with noise,DBSCAN)将点云分割成点簇,并以点簇为节点,相邻点簇构成边,节点和边形成图;然后利用图卷积网络对图节点进行半监督分类,得到点云中任一点的类别标注。实验表明,所提方法以点簇代替原始点云,极大减少了算法处理的数据量;半监督图卷积网络模型顾及了点云数据的上下文关联,在少量标注样本的情况下,能够获得较高的分类精度,场景简单的实验数据分类精度可以与Pointnet++模型相当,场景较为复杂的实验数据分类精度与Pointnet++模型相差在6.7%以内。

融合栅格与表面特征编码的轻量级点云分类网络

点云携带着丰富的三维特征,其分类问题一直是深度学习领域的热点。现有点云分类网络的精度已经较为理想,但参数量与计算量过于庞大,不利于实际场景下的部署。针对该问题,提出一种轻量级点云分类网络GridPoint。首先设计点云栅格化模块Gridding,根据点的坐标位置进行栅格区域划分;然后扩展坐标的高次项函数,对原始点云进行表面特征编码,增强对轮廓特征的表达;最后使用两次全局池化完成局部特征的提取与全局特征的聚合。使用经典点云数据集ModelNet40、ShapeNetCore与真实数据集ScanObjectNN进行分类与消融实验。实验结果表明,GridPoint的分类精度接近PointNet++等主流网络,差距在0.3%~2.3%之间;网络参数量与计算量分别为0.11 M与0.05 G,相较主流网络分别减少了81.7%和88.9%以上,在轻量化方面优势显著,具有良好的实用价值。

基于可变形三维图卷积的轻量级点云分类研究

现有深度学习方法在处理点云分类任务时,依赖于点的绝对坐标,存在模型复杂度较大的问题。对此,提出一种轻量级的点云分类网络DMGCN-3D。使用自适应空洞K近邻(KNN)算法构造图结构,尽可能捕捉局部更广泛空间的几何结构信息,并减少计算开支;构造可变形三维图卷积,引入可学习的点与点之间的方向向量来获取相对特性,在特征提取过程中保证点云的置换不变性与尺度不变性;构建多头自注意力模块,通过残差结构将分组变换注意力(GSA)与多层感知机(MLP)相结合,MLP有助于保持原始点云信息的完整性,GSA使得网络能够学习特征内部的自相关性,在提高特征表达能力的同时降低参数总量;使用空间变换网络结合MLP来学习点云特征;对所提取的特征进行融合以得到更综合的特征,将其用于点云分类。实验结果表明,DMGCN-3D在ModelNet10、ModelNet40、ScanObjectNN数据集上的总体精度分别达到96.5%、94.7%、81.9%,比DGCNN分别提高2.9、2.1、3.8个百分点,参数总量相比DGCNN、LDGCNN、3DGCN模型分别降低52.9%、23.9%、3.3%,且DMGCN-3D能够保持较高的鲁棒性。

基于多尺度融合与残差双注意力的点云分类

由于点云的无序性、稀疏性、信息有限性,深度学习方法难以充分获取点与点之间的复杂相关性,存在分类精度受限和鲁棒性欠佳的问题.对此,提出一种新的点云分类方法DGCMR.使用多尺度动态图卷积融合多个尺度的特征,提取更精细且全面的特征;构造具有残差结构的双注意力模块,在重要通道和关键局部邻域上,增强有用特征并抑制冗余信息,提升特征表达能力并解决网络退化问题;拼接最大池化与平均池化的结果,弥补单一池化造成的信息缺失,通过全连接层得到最终分类结果.实验结果表明,该模型在数据集ModelNet40、ModelNe10上的总体精度分别达到93.7%、95.0%,鲁棒性更强,优于当前先进方法,在参数生成量方面,该模型相较于PointNet、DGCNN分别下降52.3%、7.9%,取得了较好的轻量化结果,能够更好地应用于嵌入式三维扫描设备.

PPN:一个用于处理点云分类的网络

点云是三维空间中物体坐标点的集合,是一种能完整表达场景信息的重要数据格式,广泛应用于机器人、计算机视觉、自动驾驶等领域,而点云的有效分类是许多应用的前提。基于PointNet和DGCNN(Dynamic Graph CNN for learning on point clouds),提出一个用于处理点云分类的PPN(Prototypical Point Network)神经网络模型,在PPN的特征提取模块中,通过点云中点之间的距离关系生成更加精准的局部特征。通过对局部特征进行加权聚合,得到更有代表性的全局特征。在ModelNet40和ShapeNet Parts数据集上用PPN进行点云分类和分割实验,结果表明PPN在点云分类和分割任务中均取得较好的表现。

超轻量级点云分类网络

传统深度学习网络通常具有大量参数和复杂的模型结构,需要大量的计算和存储资源,这给资源受限的应用场景如移动设备和嵌入式系统带来一定的限制。为使点云分类任务更好地应用于资源受限的场景,在保证分类精度的基础上,使用更少的网络层数与神经元个数降低网络的参数量,提出超轻量级点云分类网络—SuperLightPointNet。SuperLightPointNet由2个轻量级旋转对齐网络、3个卷积层、1个池化层和1个全连接层组成,总参数量仅有44337。在ModelNet40与ModelNet10数据集上的实验结果表明,SuperLightPointNet的整体精度(OA)分别为89.04%和92.72%,虽然比传统的PointNet低0.16和0.36个百分点,但参数量降低了98.73%,运算时间缩短了47.50%。与轻量级网络lightNet、lightPointNet相比,SuperLightPointNet与它们精度相当且参数量更少、更轻量化。可见SuperLightPointNet具有良好的分类性能。

基于节点结构的点云分类网络

点云数据的非结构化和不均匀分布给点云物体特征表示和分类任务带来极大挑战。为了提取点云物体的三维结构特征,现有方法多采用复杂的局部特征提取结构组建分层网络,导致特征提取网络复杂且主要关注点云物体的局部结构。为更好地提取不均匀分布的点云物体特征,提出采样点卷积密度自适应加权的节点结构网络(NsNet)。该卷积网络通过高斯密度对采样点自适应加权以区分采样点的密度差异,从而更好地刻画物体的整体结构;其次,通过加入球形坐标简化网络结构以降低模型复杂度。在3个公开数据集上与PointNet++和PointMLP等方法进行比较,实验结果表明:基于自适应密度加权的NsNet比PointNet++和PointMLP的总准确率(OA)分别提高了9.1和1.3个百分点;与PointMLP相比减少了4.6×10^(6)的参数量。NsNet可有效解决点云分布不均导致的边缘点信息损失问题,提高分类精度,降低模型复杂度。

级联边缘卷积与注意力机制的点云分类分割研究

近几年点云的分类分割研究多采用多层次架构提取点云特征的方法,提取到较为稳定的高层语义特征,但是全局特征和邻域特征提取不足并且缺乏对上下文信息的特征融合。因此,提出一种新的LAM-EdgeCNN网络,采用边缘卷积与注意力机制级联的方式对点云进行多层级特征提取,获取高层次特征信息。为了加强对特定通道特征和关键空间点的捕捉,提出一种轻量型LAM注意力机制,使用CAM特征通道注意力获取各通道的关联,定位关键通道特征的捕获,使网络更加关注特定通道特征以减少信息弥散和特征冗余;引入SAM空间注意力机制获取点空间的位置信息的注意力权重,增加获得浅层信息的细粒度。采用注意力机制与边缘卷积EdgeConv相结合的方式,增强上下文感知能力,充分提取和融合点云的局部特征和上下文特征,获得面向下游任务的点云特征。将模型应用于公开数据集,实验表明,模型在点云分类、部件分割、语义分割任务中取得良好效果且具有较好鲁棒性。

基于PointCloudTransformer和优化集成学习的三维点云分类

针对三维点云的不规则性和无序性所导致的难于提取特征并进行分类的问题,提出了一种融合深度学习和集成学习的三维点云分类方法。首先,训练深度学习点云分类网络PointCloudTransformer,并使用主干网络提取点云特征,进而训练基分类器,获得基分类器集合;然后,针对集成学习算法设计基分类器选择模型,模型的优化目标为基分类器组合的差异性和平均总体精度。为了降低集成规模,本文基于增强后的白鲸优化算法提出了二元多目标白鲸优化算法,并使用该算法优化基分类器选择模型,获得集成剪枝方案集合;最后,采用多数投票法集成每个基分类器组合在测试集点云特征上的分类结果,获得最优基分类器组合,从而构建基于多目标优化剪枝的集成学习点云分类模型。在点云分类数据集上的实验结果表明,本文方法使用了更小的集成规模,获得了更高的集成精度,能够对多类别三维点云进行准确分类。

集改进图卷积和多层池化的点云分类模型

针对基于图卷积的点云分类模型在提取点云不同语义区域的特征信息以及高效利用聚合的高维特征方面存在的问题,本文提出了一种新的点云分类模型,该模型采用了动态自适应图卷积和多层池化相结合的方法。具体而言,本文采用了残差结构来构建更深层的卷积,以学习不同语义区域点对特征中不同层次的特征信息,从而生成动态自适应调整卷积核,针对不同的点对动态更新边的特征关系,从而提取更为精确的局部特征。同时,本文将聚合的高维特征输入到多层最大池化模块中,回收利用第一次最大池化后丢弃的特征信息进行多层最大池化,从而获取更为丰富的高维特征,提高分类模型的精度。实验结果表明,在ModelNet40数据集上,本文提出的分类模型的总体精度达到93.3%,平均精度为90.7%,明显优于目前主流的点云分类模型,并具有较强的鲁棒性。

基于图游走和图注意力的点云分类与分割

针对点云特征提取中远距离特征和局部几何结构信息欠缺的问题,提出了一种基于图游走和图注意力的点云分类与分割网络。首先,利用带有导向性的图游走算法,对点云全局特征补充额外的几何信息和远距离特征信息;其次,嵌入图注意力机制,使模型聚焦于点云的关键区域,提升网络的特征提取能力;最后,在初始点云中提取距离特征作为初始残差嵌入到网络中,避免网络过平滑。在ModelNet40数据集、ScanObjectNN数据集进行了点云分类实验,在ShapeNetPart数据集与Toronto-3D数据集上分别进行了点云部件分割与点云语义分割实验,实验结果表明:相较于基准网络DGCNN,分类精度分别提升了1.3百分点、5.6百分点;分割精度分别提升了1.2百分点、33.1百分点。通过在ModelNet40-C数据集上进行稳健性分析,验证了所提网络具有较强的鲁棒性。

PCT和PointMLP融合的三维点云分类算法研究

为了提高三维点云数据的分类准确率,对注意力机制的PCT与残差点MLP的PointMLP的融合算法进行研究。首先,加入几何仿射模块对输入点云进行正态分布以解决点云的密度不均匀和几何结构不确定性;其次,在编码模块首先使用注意力机制对上层特征进行全局表达,之后加入残差点MLP模块对注意力模块的输出特征进行深度特征表示以充分提取点云特征;最后是分类模块,完成下游点云分类任务。实验结果表明,改进后的算法在ModelNet40数据集上的分类准确率达到95.6%,相比PCT模型准确率提高了2.4%,且对点云数量的变化具有鲁棒性。

基于ConvMixer架构的高效点云分类方法

近年来,视觉Transformer模型在点云分类等三维计算机视觉任务中显现出潜在的优越性,但其有效性来源仍然模糊不清。研究它们在视觉任务中的性能是完全归功于Transformer结构本身的优越性,还是至少部分得益于使用局部块作为输入表示,是非常必要的。受此启发,本文提出了一种简单但仍然有效的点云分类和分割模型PointConvMixer,用ConvMixer架构取代了Point-BERT中的标准Transformer。PointConvMixer在ModelNet40数据集上的整体分类准确率达到92.3%,在ShapeNet Parts数据集上进行点云部分分割时mIOUI和mIOUC分别为85.4%和83.9%,均优于基于Transformer的对比模型。此外,本文还进一步提出PPFConvMixer,其利用高效的局部特征描述符PPF增强了PointConvMixer,从而优化了点云分类性能。在查询半径为0.25m时,PPFConvMixer的总体分类准确率达到了93.8%。

基于随机森林的三维工件点云分类研究

针对三维工件点云分类问题,本文研究了一种基于随机森林的三维工件点云分类方法。首先,将由双目相机获得的工件深度图像和彩色图像转换为彩色工件点云;然后,通过三维点云预处理技术对工件点云进行预处理,从而获得目标工件点云,并提取工件点云特征;最后,使用随机森林模型学习工件点云特征,并进行工件点云分类。通过在T-LESS数据集上的实验,验证了本文研究工作的有效性。在10个测试集场景上的三维工件点云分类中,取得了较优的分类结果。

小样本点云分类的原型分布校正

针对基于度量的小样本学习方法原型网络中因支撑样本较少,出现的类原型容易发生偏差、网络泛化性差等问题,提出一种基于高斯分布的原型校正方法。首先根据原型网络得到类原型,通过类原型对查询样本进行近邻匹配,得到查询样本的伪标签;然后得到伪标签样本特征的高斯分布信息,即均值和方差;最后从这些分布中进行采样,生成足够丰富的样本去扩展支撑集,进而获得更准确的类原型,改善分类性能。同时对于现有的特征提取网络引入正交约束,改善模型的泛化性。本文在常见点云数据集上进行了小样本分类实验,并进一步做了消融实验。在ModelNet40、ModelNet40-C数据集上,所提方法的平均分类精度和现有方法相近;在噪声数据集ScanObjectNN和ScanObjectNN-PB上,平均分类精度优于现有方法1.36%。进一步的消融实验验证了原型校正和网络参数约束的有效性。所提方法能够有效缓解小样本点云分类中的过拟合问题,对于扰动数据具有较强的鲁棒性。

基于双支融合与结构采样的点云分类算法

目的:利用双支融合和结构采样,提取较充分的局部特征并保留不同尺度下的全局结构信息,使得在点云分类任务中获得高精度。方法:首先,提出双支融合模块,并用之提取不同角度的局部特征,再加入融合框架剔除重复的特征,突出显著特征,使得局部特征更具有辨别力。其次,设计了结构采样单元以关注不同尺度下的全局结构信息。该单元通过对每个采样点学习,以增强采样稳定性,并平滑结构信息,从而学习点云的全局结构信息。最后,利用包含局部-全局的特征进行分类,完成点云的分类任务。结果:在ModelNet40和ScanObjectNN基准数据集中分别获得93.6%和86.6%的分类精度。结论:基于双支融合与结构采样网络模型在点云分类任务中具有先进性。