基于PointNet优化网络的铁路站台语义分割

铁路站台点云语义分割是对铁路侵界现象进行检测的关键环节。文中以新型激光扫描测量系统采集的具有三维空间信息的点云数据为基础,在获取初步分割结果的基础上,设计PointNet网络整体结构提取点云数据全局特征,采用多层次金字塔结构对网络进行局部特征提取优化,实现铁路站台点云数据语义分割。研究表明,所提方法对实验点云数据的分割准确率达到84.5%,在铁路工程应用中的点云总体分割精度达到75.34%,在铁路检测中实现了大范围多尺度点云数据的可靠语义分割,满足铁路侵界现象检测分析需求。

基于PointNet的三维点云部件分割的抗干扰研究

三维点云部件分割的训练预测模型是复杂多样的,影响分割结果的因素有很多。针对深度神经网路设置不同的参数对分割精度的影响,提出在经典点云网络模型PointNet上选择不同的激活函数与优化器进行抗干扰研究。首先将网络中数据采样数、学习率、批量大小等参数确定,其次修改激活函数与优化器参数并在ShapeNet数据集上进行实验对比。实验结果表明,在PointNet网络模型中选择ReLU激活函数与SGD优化器测试精确度达到88.39%。

顾及邻域相关关系的改进PointNet++网络点云分类应用

机载扫描系统可以快速准确地获取大范围地物坐标,具有无可比拟的优势。机载点云具有其自身的特点,而采用PointNet++网络处理时未能依据机载点云的特点进行设计,其分类精度仍有待提高。鉴于此,提出了一种改进PointNet++网络,该网络将邻域点特征和邻域点间关系特征进行采集,并采用CRF算法对预测值进行全局优化用以增强空间一致性。通过选用ISPRS三维语义分割数据集对改进模型进行了测试,实验结果表明,改进PointNet++网络丰富了机载点云特征的描述,具有较高的分类精度。该成果可为三维地理信息提取提供有力保障。

基于改进PointNet网络的三维手姿估计方法

针对单幅深度图像三维手姿估计中由于手部复杂结构捕捉困难导致的精度低和鲁棒性较差的问题,提出一种基于改进PointNet网络的三维手姿估计方法。该方法首先采用边界框定位网络预测三维边界框,从而准确裁剪手部区域。然后将手部深度图像表示为点云,模拟手部可见表面,有效地利用深度图像中的三维信息。最后将手部点云数据输入改进的PointNet网络,准确地进行三维手姿估计。改进的PointNet网络通过引入跳跃连接,充分利用不同层次的特征,更好地捕捉手部的复杂结构。在NYU手姿数据集上进行验证,实验结果表明,提出的方法优于现有的大部分方法,并且网络结构简单、易于训练,运行速度快。

基于图卷积神经网络的三维点云分割算法Graph⁃PointNet

三维点云无序不规则的特性使得传统的卷积神经网络无法直接应用,且大多数点云深度学习模型往往忽略大量的空间信息。为便于捕获空间点邻域信息,获得更好的点云分析性能以用于点云语义分割,文中提出Graph⁃PointNet点云深度学习模型。Graph⁃PointNet在经典点云模型PointNet的基础上,结合二维图像中聚类思想,设计了图卷积特征提取模块取代多层感知器嵌入PointNet中。图卷积特征提取模块首先通过K近邻算法搜寻相邻特征点组成图结构,接着将多组图结构送入图卷积神经网络提取局部特征用于分割。同时文中设计一种新型点云采样方法多邻域采样,多邻域采样通过设置点云间夹角阈值,将点云区分为特征区域和非特征区域,特征区域用于提取特征,非特征区域用于消除噪声。对室内场景S3DIS、室外场景Semantic3D数据集进行实验,得到二者整体精度分别达到89.33%和89.78%,平均交并比达到64.62%,61.47%,均达到最佳效果。最后,进行消融实验,进一步证明了文中所提出的多邻域采样和图卷积特征提取模块对提高点云语义分割的有效性。

基于PointNet和长短时记忆网络的三维人体动作预测

人体动作预测是计算机视觉和图形学领域的重要任务。现有的方法主要基于人体骨架和视频图像表示,相较于骨架和视频表示,三维几何数据表示人体动作更加直观和形象化。为此提出了一种基于PointNet和长短期记忆(LSTM)网络的三维点云表示的人体动作预测方法。首先,使用改进的PointNet对人体动作序列中的每帧三维点云进行特征提取;其次,通过LSTM学习动作序列的时间信息融合动作序列的时空特征;最后,将时空特征通过全连接神经网络(FC)进行动作预测;此外,还构造了三维点云表示的人体动作序列数据集。实验结果表明,所提方法在预测下一帧三维人体点云坐标时的平均损失值低于10-3。

基于Feature-pointNet大场景点云分类

大场景下的激光(Lidar)点云数据分类是一个复杂的问题任务,有时需要多种技术的结合,以获得所需的结果。我们提出了一种基于多维特征矩阵和PointNet的深度神经网络模型。实现了大场景点云下的激光Lidar点云分类工作。文章先将提取点云的三维和二维邻域特征,再将特征进行融合转换为特征矩阵,将局部特征矩阵输入到PointNet框架中提取的全局特征。最后返回每个类别的分数并输出点云分类结果。我们使用公开的Oakland 3D数据集,测试了我们的大场景点云分类框架。实验结果表明,我们的总体分类准确率为98.0%,与其他的点云分类框架相比达到了一个更好的分类效果。

基于点云卷积神经网络的蛋白质柔性预测

目的蛋白质的柔性运动对生物体各种反应有着重要意义,基于蛋白质的空间结构预测其柔性运动是蛋白质结构-功能关系领域的重要问题。卷积神经网络(convolutional neural network,CNN)在蛋白质结构-功能关系研究中已有成功应用。方法本研究借鉴计算机视觉研究中PointNet方法的思想,提出了一种蛋白质柔性预测的CNN模型。在该模型中,分别使用池化操作和空间变换网络来处理蛋白质原子三维点云的排列不变性和整体旋转不变性,针对蛋白质分子大小不一的特点,将大小不等的蛋白质小批量输入网络进行训练,并使用Pearson相关系数作为评价指标。此外为提升模型性能,在CNN模型的基础上,通过最大池化和平均池化串联的方法提取体系的全局特征,增强蛋白质全局信息的提取能力。利用243个非冗余蛋白质的B因子对所提出的模型进行训练和测试。结果基于PointNet的CNN模型和改进模型对蛋白质B因子的预测值与实验值的平均Pearson相关系数分别为0.64、0.65,优于广泛应用的高斯网络模型(Gaussian network model,GNM)。尤其,对于天然无序蛋白质柔性的预测,本方法明显优于GNM。结论本研究为蛋白质的柔性预测提供了有效的模型。

一种探讨点云深度学习决策的PointNet++解析网络

针对三维点云数据分类深度学习可解释性研究,提出一种探讨点云深度学习决策的PointNet++解析网络,探索隐藏在PointNet++网络中的特征信息。根据二维图像解译工作中的类激活映射图,提出了三维点云的类激活映射图,并将点云类激活映射图作为探索PointNet++网络分类决策的依据,采用多层感知机取代全连接层,并使用均值池化层来聚合卷积特征。实验数据为ModelNet40数据集,验证了所提出的PointNet++解析网络的可行性。研究结果表明,所提算法达到了较高的分类精度并且能够对PointNet++分类决策进行探讨,提取直接有助于决策制定的特征区域。

改进PU-GAN的点云上采样网络

针对点云分类问题,提出一种改进点云上采样网络,从低密度点云生成密集点云,提高点云分类准确率。针对点云上采样网络PU-GAN细节表示能力不足的问题,在生成器网络中引入Transformer模块,整合提取的特征信息;在特征扩张模块加入门控循环单元和分层上采样单元,重构细粒度特征;以PU-GAN数据集进行训练,构建闽南古建筑数据集作为测试。实验结果表明,改进后网络的上采样效果获得了提升,具有良好的鲁棒性。通过对ModelNet40数据集进行上采样,在PointNet上进行分类实验,验证了该网络对分类准确率的提升。

超轻量级点云分类网络

传统深度学习网络通常具有大量参数和复杂的模型结构,需要大量的计算和存储资源,这给资源受限的应用场景如移动设备和嵌入式系统带来一定的限制。为使点云分类任务更好地应用于资源受限的场景,在保证分类精度的基础上,使用更少的网络层数与神经元个数降低网络的参数量,提出超轻量级点云分类网络—SuperLightPointNet。SuperLightPointNet由2个轻量级旋转对齐网络、3个卷积层、1个池化层和1个全连接层组成,总参数量仅有44337。在ModelNet40与ModelNet10数据集上的实验结果表明,SuperLightPointNet的整体精度(OA)分别为89.04%和92.72%,虽然比传统的PointNet低0.16和0.36个百分点,但参数量降低了98.73%,运算时间缩短了47.50%。与轻量级网络lightNet、lightPointNet相比,SuperLightPointNet与它们精度相当且参数量更少、更轻量化。可见SuperLightPointNet具有良好的分类性能。

基于卷积神经网络的建筑空间改造智能辅助设计研究

针对建筑空间智能改造,提出一种基于卷积神经网络的Pointnet++方案预测模型,以对辅助建筑设计,继而实现对高铁站建筑空间进行智能改造。首先,选用点云作为数据表达形式,收集不同城市高铁站的优秀案例建立数据集,并对数据集进行增强、训练;然后阐述了卷积神经网络结构,搭建基于卷积神经网络和点云的深度网络模型——Pointnet++,并对该模型进行训练与评价;最后以上海-成都高铁换乘站为实验研究对象,采用Pointnet++网络模型对其建筑空间的改造进行预测。实验结果表明:模型对换乘站中位置稳定的功能分区分布合理且具备逻辑性,对位置不稳定且形态变化大的功能分区处理效果较差,需要增加更多数据对模型进行增强优化,同时,模型认为交通核心需要强化,因此,放大了交通核心的体量,表明Pointnet++制定的改造方案更客观与全面。