The Integrated 3D As-Built Representation of Underground MRT Construction Sites

This study facilitates the scalability of as-built data from an earlier street level to underground transportation sites from the life-cycle perspective of urban information maintenance. As-built 3D scans of a 6 km street were made at different time periods, and of 3 underground Mass Rapid Transit (MRT) stations under construction in Taipei. A scanned point cloud was used to create a Building Information Modeling (BIM) Level of Development (LOD) 500 as-built point cloud model, with which topographic utility data were integrated and the model quality was investigated. The complex underground models of the transportation stations are proofed to be in correct relative locations to the street entrances on ground level. In the future the 3D relationship around the station will facilitate new designs or excavations in the neighborhood urban environment.

基于多点结构光扫描的工件定位方法

在自动化生产线工业机器人抓取工件作业中,工件定位方法直接影响作业质量、效率及系统成本。传统基于线结构光的工件定位方式通常存在专用性强、成本高等特点,难以在劳动密集型产业中推广应用。针对这一问题,利用KD-tree ICP算法,提出一种基于多点结构光扫描的工业机器人抓取工件定位方法。首先,利用模型点云和多点结构光原始点云进行粗配准;其次,提取待定位工件点云特征点,并拟合出工件边界;最后,利用模型边界点云和拟合出工件边界点云进行精配准。试验结果表明,该方法具有较高的定位精度及识别效率,满足工件抓取要求。

基于摄站点云的巡视器相对定位方法

针对传统特征点法巡视器相对定位受摄站间距离及影像视角变化影响,导致相对定位失效的情况,结合着陆器降落序列影像及巡视器导航影像提出了一种基于点云配准的巡视器相对定位方法。首先,依托降落序列影像恢复着陆区三维点云作为基准底图,并获取着陆点初始位置;其次,利用附加残差模块的多尺度代价聚合立体匹配方法对巡视器摄站区域进行精密三维重建;最后,结合着陆区三维点云与摄站点云利用SAC-IA+ICP方法进行点云配准,并通过RANSAC获取可靠的巡视器相对定位参数。开展了嫦娥四号巡视器相对定位实验。实验表明,所提出的方法较传统光束法平差定位结果在x方向和y方向平均误差优于0.56 m和0.52 m,最大误差优于0.11 m,表明该方法可为巡视器智能感知与长距离导航定位提供一定的参考。

堆石坝压实密度快速检测方法的研究

提出了基于三维激光扫描、图像智能识别与小粒径骨料自动筛分机的堆石坝密度快速检测方法,旨在提高堆石坝检测精度和效率,保障水利工程安全。通过三维激光扫描获取堆石坝测坑表面的三维点云数据,实现测坑体积的快速计算;结合图像智能识别技术,实现对骨料粒径的自动测量;利用小粒径骨料自动筛分机对堆石坝中的骨料进行筛分和测量,定量评价压实状态。该方法具有快速、准确等优点,适用于大规模的堆石坝密度检测,达到了推动碾压施工自动化水平的效果。

基于图像与点云融合的巷道锚护孔位识别定位方法

煤矿掘进巷道锚护位置的精准识别与定位是钻锚机器人实现智能永久支护亟需突破的关键技术。笔者提出一种基于视觉图像与激光点云融合的巷道锚护孔位智能识别定位方法,包括图像目标识别、点云图像特征融合和定位坐标提取3个步骤:①针对煤矿井下低照度、水雾和粉尘等环境因素导致的锚孔轮廓成像模糊的问题,采用IA(Image-Adaptive)-SimAM-YOLOv7-tiny网络对巷道待锚护孔位进行视觉识别,该网络能够自适应地增强图像亮度和对比度,恢复锚孔边缘的高频信息,并使模型重点关注锚孔特征,提高锚孔检测的成功率;②求解激光雷达和工业相机联合标定的外参矩阵,将图像检测的锚孔边界框通过透视投影关系生成锥形感兴趣区域(Region Of Interest,ROI),获得对应的目标点云团簇;③采用点云处理算法提取锚护孔位边界点云,获得孔位中心坐标及其法向量,并通过坐标深度差比较判断锚孔识别的正确性。文中搭建了锚杆台车机械臂钻孔定位系统,对算法自主定位的精度以及准确度进行验证,试验结果表明:IA-SimAM-YOLOv7-tiny模型的平均精度均值(Mean Average Precision,mAP)为87.3%,较YOLOv7-tiny模型提高了4.6%;提出的融合算法定位误差为3 mm,单锚孔情况下系统平均识别时间为0.77 s,与单一视觉方法相比,采用激光与视觉多源融合不仅可以降低环境和小样本训练对定位性能的影响,而且可以获得锚护孔位的法向量,为机械臂调整钻孔位姿实现精准锚固提供依据。

基于结构光场辅助的面阵定位投影标示技术研发

以一套数字光处理面阵投影装置和一个工业相机作为基本硬件平台,研发了三维定位标示原型系统i-Guider,阐述了i-Guider系统的工作原理和关键技术。在数字光处理投影仪中固化一组正弦相移条纹结构光图像,将投影仪作为逆成像装置,在结构光场的辅助下利用一块平面标定板实现相机–投影仪内外参数的精确标定。对于三维数模上的曲线轮廓、操作说明等操作信息,提出一种现场自动生成标示信息定位投影图像的方法,并通过HDMI端口将现场生成的标示信息投影图像传递给面阵投影仪,实现操作信息在三维工件实物上的精确定位标示。以一个机身蒙皮试验件为对象,开展了蒙皮定位钻铆三维标示试验,结果表明,i-Guider系统定位投影标示精度在0.25 mm以内,且具有良好的三维定位标示效果。

水下声呐惯性系统定位研究

为应对传统声呐惯性系统在弱纹理水下环境中定位精度较低的问题,提出将声呐惯性滤波里程计应用于水下声呐惯性系统定位。依据声呐成像原理对声呐图像进行特征提取,运用迭代最近点算法(ICP)进行特征匹配。通过将点云匹配结果与IMU数据融合,提升状态估计的稳定性。这种方法使用IMU数据进行状态预测,并以声呐ICP匹配结果作为观测进行状态更新。最后将该滤波里程计与ICP顺序匹配结果一起纳入图优化框架进行位姿优化。试验表明,相比于传统方法,该方法的定位精度更高,能适应弱纹理环境。

基于3D视觉与深度学习的焊接钢管端部引熄弧板切割点空间定位方法

针对目前焊接钢管端部引熄弧板切割点空间定位精度低、速度慢和环境适应性差的问题,提出了一种基于3D视觉技术和深度学习的高效、高精度的切割点空间定位方法。首先,利用3D视觉技术获取钢管端部的点云数据,通过三维点云处理方法提取有效点云和过滤点云中的离群点,并采用二维图像处理方法将其投影为二维图像;然后通过深度学习中目标检测方法确定二维图像中钢管端部与引熄弧板连接边缘区域;最后计算分析钢管端部与引熄弧板在二维图像中的交点信息并将交点信息映射至原始三维点云,完成钢管端部引熄弧板切割点的空间定位。实验测试了896个不同的钢管端部带有引、熄弧板点云数据(正样本)和104个不带有引熄弧板数据(负样本),统计测试结果:正样本管端和引熄弧板连接边缘定位准确率达到99.56%、误检率为0.15%,负样本检出率为0.29%。使用本文方法测试294次钢管端部引熄弧板切割点空间位置,统计测试结果与实际切割点位综合误差,结果均在±2 mm以内,钢管端部引熄弧板切割点空间定位平均耗时为5.8 s。测试结果表明,该方法可以有效解决上述问题。

基于图像检测的三维激光点云聚类方法研究与应用

针对移动机器人对周围环境障碍物感知的需求,特别是针对激光雷达点云数据的的语义检测和尺寸识别问题,提出基于图像处理和点云数据处理相融合的方法。首先,对3D激光雷达和双目相机进行外参标定;然后,使用YOLOv4深度神经网络将检测出的二维图像实例通过双目相机恢复像素深度,将其检测目标定位到激光点云中;在对点云进行滤波、几何约束后,采取基于KD树的搜索方法对点云欧式聚类分割,最终将识别出的语义信息输出到点云聚类结果中。实验结果表明,设计的方法可以准确、快速地识别并分割聚类出点云,可以应用于移动机器人导航避障。

猪三维点云体尺自动计算模型Pig Back Transformer

[目的/意义]为了提高体尺关键点定位准确率,猪三维点云体尺自动测量方法会采用点云分割,在各个分割后局部点云定位测量关键点,以减少点云之间相互干扰。然而点云分割网络通常需要消耗较大计算资源,且现有测量点定位效果仍有待提升空间。本研究旨在通过设计关键点生成网络从猪体点云中提取出各体尺测量所需关键点。在降低显存资源需求的同时提高测量关键点定位效果,提高体尺测量的效率和精度。[方法]针对猪三维表面点云进行体尺测量,提出了一种定位猪体尺关键点的模型Pig Back Transformer。模型分为两个模块,分别设计了两种改进的Transformer自注意力编码器,第一模块为全局关键点模块,首先设计了一种猪背部边缘点提取算法用于获取边缘点,再使用edge encoder编码器以边缘点集合作为输入,edge encoder的edge attention中加入了边缘点和质点的偏移距离信息;第二模块为关键点生成模块,使用了back attention机制的back encoder,其中加入了与质心和第一模块生成的全局关键点的偏移量,并将偏移量与点云注意力通过按位max pooling操作结合,最后通过生成猪的体尺测量关键点和背脊走向点。最后设计了使用关键点和背脊走向点作为输入的体尺算法。[结果和讨论]对比关键点和背脊走向点生成任务上Pig Back Transformer表现最佳,并对比体尺计算结果与人工测量结果,体长相对误差为0.63%,相对PointNet++、Point Transformer V2、Point Cloud Transforme、OctFormer PointTr等模型有较大提升。[结论] Pig Back Transformer能相对准确地生成猪体尺关键点,提高体尺测量数据准确度,并且通过点云特征定位体尺关键点节省了计算资源,为无接触牲畜体尺测量提供了新思路。

一种基于地面特征与树木位置关系的无人机和地基LiDAR点云配准方法

【目的】无人机激光雷达与地基激光雷达的工作方式不同,导致无人机点云缺乏林内信息,地基点云缺乏林冠信息,单一平台的LiDAR点云难以完整描述森林三维垂直结构,将这两者点云融合有利于消除各自的扫描盲区,估测更为准确的森林结构参数。基于此,提出了一种基于地面特征与树木位置关系的无标识自动化配准方法。【方法】选取哈尔滨城市林业示范基地内的蒙古栎和樟子松作为研究对象,采用大疆禅思L1激光雷达设备与FARO Focus3D X330三维激光扫描仪分别获取样地内的无人机和地基LiDAR点云。首先,利用改进的渐进式加密三角网滤波算法分别从无人机点云和地基点云中提取地面点云,基于两者相似的快速点特征直方图(FPFH)特征,使用随机采样一致性算法得到初始配准参数,完成初始配准。然后,从初始配准后的无人机点云和地基点云中提取相同高度处的树干点云的水平投影位置作为配准基元,分别构建不规则三角网,并基于三角形的角度相似性原理寻找同名三角形对。最后,使用奇异值分解法得到旋转平移参数,从而完成精细配准。【结果】蒙古栎样地内对应树木水平偏移距离的平均值为0.173 m,樟子松样地内对应树木水平偏移距离的平均值为0.283 m,2个样地的树木点云均取得了较高的配准精度。【结论】提出的点云配准方法有效实现了林区无人机点云数据和地基点云数据的配准,二者的融合可为快速完整地获取林木构型信息提供数据基础,从而推动多源激光雷达技术联合应用于林木三维重建和森林资源精细调查等方面。

GNSS拒止环境下基于Puzzle描述符的无人机点云匹配自主定位

针对GNSS拒止环境下无人机基于点云匹配自主定位中存在的搜索时间长、误配率高等问题,提出了一种基于Puzzle描述符的二视点云全局配准算法。该算法采用改进的ScanContext点云描述符,对点云进行分割与编码,设计出新的Puzzle描述符。通过SIFT匹配和模板匹配确定预搜索区域,并利用ICP匹配实现无人机的精确定位。仿真结果表明,算法有效降低了搜索时间和误配率,且具备良好的噪声抑制能力,三维定位误差控制在±20 cm以内,单次匹配耗时小于1 s。挂飞实测数据进一步验证了算法的性能,无人机自主定位的平均误差为19.94 cm,单次匹配平均耗时0.59 s,充分满足了精度和实时性要求。

采用点云分区统计的成捆棒材端面定位方法

针对成捆棒材端面贴标过程中出现的端面中心位姿测量难度大、效率低等问题,提出一种基于点云分区统计的成捆棒材端面定位方法.首先对端面点云进行预处理操作;然后使用改进的聚类分割算法对端面点云进行分割,并以分区统计为依据提出完整单根棒材端面中心定位方法和残缺单根棒材端面中心定位方法,实现端面中心定位;最后以端面法向量表征端面中心姿态重建端面中心位姿.采集200组不同姿态的单根棒材端面点云进行实验的结果表明,单根棒材端面定位时间不超过0.5 s,位置误差小于3 mm,姿态误差小于2°;所提方法是高效的,可准确地定位棒材端面中心.

基于激光雷达SLAM的三维点云自适应算法

SLAM(Simultaneously Localization And Mapping)同步定位与地图构建作为移动机器人智能感知的关键技术。但是,大多已有的SLAM方法是在静止环境下实现的,当环境中存在移动频繁的障碍物时,SLAM建图会产生运动畸变,导致机器人无法进行精准的定位导航。同时,激光雷达等三维扫描设备获得的三维点云数据存在着大量的冗余三维数据点,过多的冗余数据不仅浪费大量的存储空间,同时也影响了各种点云处理算法的实时性。针对以上问题,本文提出一种SLAM运动畸变去除方法和一种基于曲率的点云数据分类简化框架。它通过激光插值法优化SLAM运动畸变,将优化后的点云数据分类简化。它能在提高SLAM建图精度,同时也很好的消除三维点云数据中特征不明显区域的冗余数据点,大大提高计算机运行效率。

基于机器视觉的无序堆放西瓜识别与定位技术

【目的】研究一种基于机器视觉的西瓜识别与定位技术,满足西瓜搬运设备的自动化要求,为自动搬运设备的视觉部分提供技术支持。【方法】采集西瓜的二维图像数据与三维点云数据。调用OpenCV函数库分割西瓜二维图像,提取出西瓜的外轮廓;采用PCL函数对三维点云数据进行预处理,并与二维图像作图形特征匹配,提取出顶层西瓜的质心点。【结果】单轮次的西瓜轮廓总识别率为97.62%,正确识别率为95.58%,质心识别率为92.72%。20轮测试的总轮廓识别率为98.02%,总正确识别率为96.53%,总质心识别率为94.17%,总质心个数和总西瓜个数之间的误差率为2.36%;西瓜图像处理的总用时为101.8s,效率提高了77.8%。【结论】基于机器视觉的西瓜识别与定位技术识别率较高且误差率较低。

可学习动态分组卷积神经网络的大规模点云分割

针对现有大规模点云语义分割算法提取特征时冗余干扰信息过多,导致神经网络分割性能较差的问题,提出可学习动态分组卷积神经网络架构,高效准确地实现大规模点云分割。对输入点云以分组的方式进行局部几何特征提取,并通过动态筛选和修剪冗余特征通道来减少无用特征信息对神经网络特征识别的干扰,进一步提高网络模型语义分割精度。构建位置编码模块,将点云位置特征映射到高维频域空间,使神经网络充分挖掘点云频域特征信息,增强特征的丰富性。对提取到的局部几何特征和全局单点位置特征进行融合,并构建可学习动态分组卷积神经网络,完成解码得到最终分割结果。实验结果表明,该算法在大规模点云分割数据集S3DIS和SemanticKITTI上的mIoU分别为69.6%和58.3%。与现有点云语义分割方法相比,所提出的网络模型具有更高的分割准确率和较低的参数量。

融合图像与点云的曲面工件涂胶质量检测方法

提出了一种融合图像与点云的曲面工件涂胶质量检测方法,解决了基于图像的涂胶质量检测精度低、鲁棒性差的问题。方法包括利用圆形Mark点进行粗定位,引入法矢一致性约束的改进迭代最近点算法完成精定位,并提取图像中的胶线骨架信息转化为3D胶线轨迹点。通过等距有序采样方法获取采样点进行胶线质量参数检测。根据采样点的法向约束和胶线轨迹切向约束,获得采样点胶线截面模型,将点云映射到截面中得到胶线截面轮廓模型,进一步分析截面轮廓以计算胶线质量参数。实验证明,测量得到的胶线宽度误差小于0.35 mm,厚度误差小于0.25 mm,满足工业场景中的胶线质量评估要求。

基于位置编码和双距离注意的点云分割方法

近年来,卷积和图运算被广泛用于从点云中捕获特征信息的研究中,在语义分割任务中表现出良好的性能。然而,这些方法在表示点云的局部信息方面存在局限性,并且采用对称池化操作而丢失了大量的特征信息。为了解决这些问题,提出DualRes-Net网络。该网络采用位置编码模块对局部坐标特征进行编码,使网络能够专注于点云位置信息,获得更好的局部特征表示。利用双距离注意力池将中心点与邻近点的差异与注意力相结合,增强了注意力对局部点云信息的自适应聚合能力。在网络的每个阶段使用去分化残差结构来提取点云的深层特征。由于不同的输入类型具有显著的分布差异,为了稳定模型训练,提高模型性能,对每种类型的特征分别应用MLP。在S3DIS Area5的语义分割实验中,所提方法的分割性能mIoU达到了63.7%,超过了许多现有的网络,证明了所提方法的有效性。

融合MKF的Pointnet++优化算法研究

移动机器人能够在陌生环境中实现全局定位是目前很多研究的重点和热点问题之一.移动机器人在陌生环境中会受到环境结构变化、障碍物等多种复杂因素的影响,为了使移动机器人能够在陌生环境中实现全局定位需要以机器人能够对环境中的障碍物体进行识别分类以及对环境进行局部分割为基础.为此,本文采用了Pointnet、Pointnet++以及融合了MKF的Pointnet++优化算法等方法,并采用基于深度学习的方法处理点云数据,实现障碍物体的识别分类和环境的局部分割.实验结果表明,基于MKF的Pointnet++优化算法在物体识别分类和环境分割应用上比Pointnet和Pointnet++效果更好,并且在点云低密度的环境下仍有良好的效果.

基于数字孪生技术的变电站快速建模点云分割方法

针对点云分割结果完整度和逼真度较低的问题,研究基于数字孪生技术的变电站快速建模点云分割方法。使用三维激光扫描技术采集变电站点云数据,依据特征点的密度初步分割变电站点云数据,运用随机森林深入分割难以确定分类的边缘点云数据,引入数字孪生技术实现变电站快速建模。实验结果表明,该方法能很好地保留变电站各区域的边缘轮廓和纹理特征,模型完整度和逼真度较高,且对结构简单的单一设备,以及大规模、结构复杂的变电站均具有优良的快速建模效果。