基于局部感知的点云语义分割方法

点云语义分割技术是点云数据处理、三维场景理解与分析的有效手段之一。针对点云场景中局部形态各异,导致网络模型识别特征困难的问题,提出了邻域分布关系学习和混合尺度融合的方法,来增强局部感知能力。在卷积算子思想的基础上,根据邻域内所有点在三个坐标轴方向上的联合分布,学习其在高维特征层面的关系,从而捕获局部的整体相关性。此外,将包含小范围底层特征和大范围深层特征的邻域进行整体融合,有效保留不同层级的特征,并能够辅助网络修正相似或错误特征。在场景分割数据集S3DIS、ScanNet上进行实验验证,结果表明该方法在总体精度和类均精度的评价指标上均有提升,证明了其有效性。

基于激光雷达点云数据的虚拟室内场景搭建研究

通过搭建虚拟室内场景实现室内视景重构,提出基于激光雷达点云数据的虚拟室内场景搭建技术,采用三维光学面扫描设备采集激光雷达点云数据,采用融合卡尔曼滤波方法实现对虚拟室内场景激光雷达点云数据滤波处理,减少点云数据干扰,提取虚拟室内场景的空间分布域特征量,获取虚拟室内场景中被测量物体的全局标志点,通过逆向设计和三维边界轮廓特征点重构的方法实现对虚拟室内场景散乱点云重组和稀疏性特征点拟合,在拟合曲面采用纹理渲染方法实现对虚拟室内场景重构。仿真结果表明,采用该方法进行虚拟室内场景搭建的激光雷达点云数据重建能力较好,保留原始点云的特征信息较为饱满,能满足较好地重建几何精度场合,重建精度达到了0.98,并且重建时间仅为4.5 h。

基于Transformer的道路场景点云分类与分割方法

针对多目标识别过程中点云分类和分割精度不高的问题,提出了一种基于改进Transformer模型的点云分类与分割方法DRPT(Double randomness Point Transformer),该方法在Transformer模型卷积投影层创建新的点嵌入,利用局部邻域的动态处理在数据特征向量中持续增加全局特征属性,从而提高多目标识别中点云分类和分割的精度。实验中采用了标准基准数据集(ModelNet40、ShapeNet部分分割和SemanticKITTI场景语义分割数据集)以验证模型的性能,实验结果表明:DRPT模型的pIoU值为85.9%,比其他模型平均高出3.5%,有效提高了多目标识别检测时点云分类与分割精度,是对智能网联技术发展的有效支撑。

基于场景流的可变速率动态点云压缩

针对现有的动态点云压缩神经网络需要训练多个网络模型的问题,提出基于场景流的可变速率动态点云压缩网络框架.网络以原始动态点云为输入,利用场景流网络进行运动向量估计,在压缩运动向量和残差的同时,引入通道增益模块对隐向量通道进行评估和缩放,实现可变速率控制.通过综合考虑运动向量损失和率失真损失,设计新的联合训练损失函数,用来端到端地训练整个网络框架.为了解决动态点云数据集缺少真实运动信息标签的问题,基于AMASS数据集制作带有运动向量标签的人体数据集,用于网络的训练.实验结果显示,与现有的基于深度学习动态点云压缩方法相比,该方法的压缩比特率下降了几个数量级,与静态压缩网络单独处理每帧的重构效果相比,该方法有5%~10%的提升.

基于改进超体素与图割的室内场景点云分割

室内场景点云分割是三维场景感知、理解、分析及应用的基础。尽管目前的室内点云分割方法可以应用于很多场景,但缺乏对不同结构分割的适应性,在处理临近平行面的分割时,仍无法避免欠分割,因此,本文提出了一种基于改进超体素与图割的方法。首先通过对超体素的邻域选择、法向量计算、特征距离度量,以及对超体素局部邻接图的空间连通性约束与分割,构建出自适应处理临近平行面关系的机制,实现复杂室内场景点云的有效分割,克服欠分割现象;最后通过4组室内场景点云进行验证,并与现有方法进行对比分析。结果表明,本文方法提高了复杂室内场景点云分割的精确率和召回率,验证了其对不同结构分割的适应性和有效性。

采用边界对比学习的三维激光点云场景分割算法

针对传统三维激光点云场景分割算法容易忽略目标边界模糊的问题,采用边界对比学习算法设计了三维激光点云场景分割网络,旨在通过对比学习提升模型在边界处的预测性能。首先采用PointNet++作为主干网络,通过多尺度的降采样特征编码和上采样特征解码来学习点云中不同类别的语义特征,并逐点预测目标类别,实现场景整体分割;然后引入对比学习算法,采用迭代的方式捕获子场景点云的边界,并挖掘出模糊的边界点;最后在网络训练阶段利用对比学习损失函数实现边界类别增强,大幅提升了对三维激光点云场景分割的精度。在公开的三维激光点云场景分割数据集上进行了大量实验,结果表明:所提分割算法在19个语义类别的点云中有15个的分割性能是最佳的,整体的指标性能均优于对比算法,消融实验和可视化结果也验证了所提算法可以有效改善三维激光点云场景分割任务中边界的预测性能,充分说明了所提算法的优越性。

多视影像三维线云重建技术及其智能化发展展望

三维线云是具有几何结构与语义信息的三维线段集合,可以作为实景三维构建中高效的引导,控制与抽象表达元素,弥补点云的边缘描述缺陷与初始结构的缺失,是改变传统三维模型“一张皮”(不同对象相互粘连,难以指导空间分析与决策)的重要结构化特征。然而,如何从多视影像中重建好用的线云,将线云在实景三维中用好,一直是本领域的难点问题。本文回顾三维线云的发展,介绍相关的重建方法,分析存在的难点与不足;结合从数字化走向智能化的测绘科技转型背景,论述线云在实景三维中建什么,如何建与怎么用,对线云重建和应用的智能化发展予以介绍和展望,希望为实景三维重建与线云研究的相关人员提供参考。

三维点云室内场景的语义实例联合分割网络

针对点云分割网络无法在复杂的室内场景中实现高精度分割的问题,本文设计了一种基于深度学习的语义实例联合分割网络,同时完成三维点云数据的语义分割和实例分割任务,主要包含多任务学习主干网络、特征融合模块和语义实例特征联合模块等。特征融合模块通过跳跃连接融合多个网络层,分别融合2个任务各自不同级别的特征,加强网络对数据中包含的信息的整合,并选取大型室内场景数据集S3DIS和部件分割数据集ShapeNet进行对比实验。实验结果显示,网络在数据集S3DIS的语义分割的总体准确率为86.5%,在数据集ShapeNet的语义分割类别交并比为83.1%,在数据集S3DIS的实例分割的平均精度为60.8%。语义实例特征联合模块通过多任务级的特征联合增加语义和实例的判别特征,提高了点云的语义分割和实例分割的准确率。

融合人工智能技术与AR实景技术的家装平台

本文指出随着信息时代的飞速发展,人们的生活水平不断提高,对于居家环境的要求随之提高。以家装设计行业为研究对象,本文以AR技术、3D建模等理论为支撑,开发了一个虚拟现实家装设计App。该App功能齐全,满足客户需求以及商家运营需求,性能良好,经过测试,达到了预期效果,可用于实际中,帮助更多家装用户规避骗局、提升生活品质。

基于ArcScene三维数字流域建模研究

三维数字流域是对流域周边地理环境、自然环境和生态环境等各种信息的直观显示,对流域内经济建设与资源利用有重要的辅助作用。该研究提出了一种基于Arc Scene的三维数字流域建模方法。利用航空摄影测量获得的高分辨率的DOM影像与DEM数据进行叠加分析,实现了数字流域的建模与多视图的三维飞行动画预览。利用该方法可以对流域内地形地貌与人文特征进行快速直观的预览与分析,为流域内水利设施、交通设施、社会公共设施的设计施工与改建的顺利进行提供重要的技术支持。

城市竣工测绘典型要素语义分割PointNet++深度学习模型适用性分析

处理三维激光扫描仪获取的城市竣工测绘点云场景数据的传统方法存在较多局限性,无法适应信息化社会对产品高效处理的需求。基于此,本文分析了城市竣工测绘点云场景分类需求,研究了利用深度学习网络模型对点云场景进行自动化处理的方法。首先,对输入的城市竣工测绘数据进行预处理,以实现点云降采样、去噪、地面点与非地面点分割;然后,人工标注5个区域场景数据毫米级标签,进行数据增强;最后,测试PointNet++网络在城市竣工测绘点云场景下的语义分割性能和效果。测试结果表明,在少量样本下,PointNet++网络可以较好地实现城市竣工测绘点云场景的激光点云语义分割,总体mIoU达73.06%,能够满足城市竣工测绘点云语义自动化分割需求,为城市竣工测绘点云数据处理提供了新思路。

激光点云数据离群点删除下的多视点场景虚拟重构

单纯的激光扫描技术在现实场景虚拟重构时,有效点云数据过少,坐标均衡性较差,混乱坐标较多。为提高虚拟现实重构精度,设计基于激光点云离群点删除的多视点场景虚拟重构方法。提取多视点场景激光点云数据,包括激光数据角点特征提取,以及视觉数据角点特征提取。设置离群阈值,计算三维坐标轴中非离群点数据集所包含的空间长度,设置离群点坐标栅格结构。通过点激光云数据提取值,计算移除离群点前后点云数据之间的平均距离,完成无用数据移除,实现虚拟重构。实验结果可知:移除前后平均距离差距显著,可见离群点的移除对虚拟现实重构技术有明显作用;在使用所提方法得到的虚拟现实重构场景中,可以得到明显的房间轮廓,且大型物体重构影像也十分清晰。

基于改进3D-NDT机器人自定位算法

针对机器人在自定位过程中,传统3D-NDT点云配准在未给定初始旋转矩阵的情况下,存在配准效果不佳、误差大、配准时间长的缺陷,提出一种相对高效的改进3D-NDT点云配准算法。首先,对输入点云进行ISS特征点提取,并计算这些特征点的特征直方图(FPFH);然后,根据直接对应估计对特征点进行匹配,使用RANSAC去除错误对应关系,得到初始旋转矩阵;最后,将得到的初始旋转矩阵代入3D-NDT算法进行匹配,得到最终的匹配结果。采用室内外场景点云进行测试,实验结果表明,改进后的3D-NDT算法能输出较好的匹配结果,并且精度有所提高,但该算法的复杂度有待进一步优化。

基于融合采样策略的轻量级RGB-D场景3D目标检测

针对室内RGB-D场景中3D目标检测对复杂背景的适应性较差、难以进行有效采样,以及场景推断时间较长等问题,本文提出一种基于融合采样策略的轻量级RGB-D场景3D目标检测方法。该方法以场景RGB-D数据作为输入,首先通过深度相机投影将其转化为三维点云场景;然后利用一种结合距离最远点采样和特征最远点采样的融合采样策略对场景点云进行采样,有效保留了场景各实例代表点,将所有特征代表点汇集在一起形成场景的特征代表点云;最后在代表点云中利用深度霍夫投票机制投票出场景各物体的中心,并对各物体周围的相关特征进行聚类,从而实现场景的3D目标检测。实验结果表明,与传统方法相比,所提框架的目标检测准确率得到有效提升,同一评估指标下的检测准确率平均提升2.1%,且同一环境下每个场景的推断速度仅需要57 ms,远快于传统方法2倍多,从而保证了室内场景3D目标检测的准确性和高效性。

船舶移动路径三维动态场景重建仿真

为保障船舶移动过程中的安全性,提出船舶移动路径三维动态场景重建方法。船舶航行过程中,通过相机等视觉传感器在未知环境下连续获取船舶移动路径图像;采用基于ORB特征提取的算法提取船舶移动路径图像内的特征点,根据汉明距离进行特征点匹配;通过对极几何解算特征点匹配结果获取相机的位姿信息;采用基于特征相关性筛选的关键帧选取机制获取全部关键帧,通过关键帧的点云拼接实现船舶移动路径三维动态场景重建。仿真结果显示,该方法不仅能够有效实现特征点匹配,且正确匹配率达到97%以上,三维场景重建结果的均方误差控制在0.2以下,结构相似性始终高于95%。

地面LIDAR在滑坡灾害三维实景建模中的应用

为快速获取邻近铁路滑坡体表面的三维坐标,实现对滑坡灾害快速响应和及时治理。以宝兰高铁上庄隧道出口滑坡为例,采用地面LIDAR技术,通过优化布设扫描站点,实现最大扫描范围并保证相邻站间的重叠度,以无靶标扫描方式获取滑坡体及周围地物的点云数据。在RiSCAN PRO软件中利用相邻扫描站间重叠点云进行拼接处理,点云拼接精度为6.9 mm,满足三维建模和地形图制作的精度要求。利用扫描站点坐标、测站全景影像,经过配准、坐标转换、纹理贴附、多边形拟合、曲面光滑等,建立可量测的三维实景模型,为辅助地形图制作和铁路滑坡灾害整治提供便利。研究表明,采用地面LIDAR技术以无靶标扫描方式快速建立铁路滑坡体三维实景模型,具有全天时、全天候、高精度、高密度、无接触的优势,打破了传统人工测量的局限性,提高作业效率,降低外业测量风险,可为同类型地质灾害数据获取及整治积累经验。

倾斜摄影Mesh模型与激光点云构建部件级城市三维模型

为构建部件级城市实景三维(3D)模型,本文在倾斜网目(Mesh)模型建模和激光点云建模的技术上,探讨建筑物、部件以及城市场景模型建模的方法,并最终融合构建部件级城市实景3D模型,并应用于国家新型基础测绘北京试点-副中心运河两岸商务区实景3D建模项目中,为北京市新型基础测绘建设提供一份力量。

一种复杂地形场景点云的WOA-CSF自适应性滤波方法

为解决布料模拟滤波算法(CSF)自适应性不高的问题,提出了一种基于鲸鱼优化算法(WOA)和自适应参数调整的改进CSF算法(WOA-CSF)。本文首先构造以误分类点云误差率最小为标准的适应度评价函数,然后采用WOA算法对CSF算法的四个参数进行自适应寻优,构建了WOA-CSF滤波算法,最后开展了WOA-CSF算法与CSF算法滤波实验的对比研究。实验结果表明:WOA-CSF算法在城市、乡镇、村庄和山区等四种复杂环境下平均Kappa系数从68.33%提升到81.54%,平均总误差率从10.54%下降到6.62%,平均I类误差率从25.87%下降到6.77%,在复杂场景下较好地滤除非地面点的同时,又极大程度上保留了地形特征。

基于语义点云的大场景实景三维展示系统研究

在当前自然资源管理部门大力推进三维系统信息化建设的背景下,基于“三维浙江”建设需求,提出了一套基于着色点云的多源空间数据可视化的应用解决方案。基于点云数据串联其他三维数据,实现多源三维数据大场景集成展示的技术路线,设计研发了具有自主知识产权的系统,相关经验对国内类似项目的开展具有重要参考意义。

杂乱场景中多尺度注意力特征融合抓取检测网络

GSNet使用抓取度区分杂乱场景的可抓取区域,显著地提高了杂乱场景中机器人抓取位姿检测准确性,但是GSNet仅使用一个固定大小的圆柱体来确定抓取位姿参数,而忽略了不同大小尺度的特征对抓取位姿估计的影响.针对这一问题,本文提出了一个多尺度圆柱体注意力特征融合模块(Ms-CAFF),包含注意力融合模块和门控单元两个核心模块,替代了GSNet中原始的特征提取方法,使用注意力机制有效地融合4个不同大小圆柱体空间内部的几何特征,从而增强了网络对不同尺度几何特征的感知能力.在大规模杂乱场景抓取位姿检测数据集GraspNet-1Billion的实验结果表明,在引入模块后将网络生成抓取位姿的精度最多提高了10.30%和6.65%.同时本文将网络应用于实际实验,验证了方法在真实场景当中的有效性.