基于轻量化PointNet网络的林果园喷雾作业靶标实时识别方法

为了进一步提高喷雾机器人靶标检测的精准性、实时性和应用部署的实用性,该研究提出一种基于轻量化PointNet网络的林果园喷雾作业靶标实时识别方法。首先通过区域提取降采样、地面分割和改进DBSCAN聚类等点云预处理方法提取原始点云中的靶标;然后通过移动最小二乘上采样将靶标点云转化为满足点云识别网络输入要求的点云数据;最终通过在PointNet网络中引入残差模块和改进循环剪枝算法轻量化PointNet网络,完成林果树靶标的实时识别。试验结果表明,在ModelNet40数据集上,轻量化PointNet网络可达89.7%的准确率;在实际苗圃环境的试验中,该研究方法对靶标的识别准确率可达92.49%,同时误识率与拒识率分别为13.4%和6.47%,相较PointNet网络识别准确率提升了4.38个百分点,误识率和拒识率分别降低了7.2和4.07个百分点;轻量化PointNet网络识别准确率仅比PointNet++网络低1.14个百分点,误识率和拒识率分别高了0.9和1.12个百分点。但是轻量化PointNet网络的模型参数量较PointNet网络和PointNet++网络的模型参数量显著减少,仅为PointNet网络的11.5%,PointNet++网络的27.02%;运算量相较PointNet网络、PointNet++网络分别减少13.3和76.79个百分点。该研究提出的轻量化PointNet网络具有较高的实时性、精确性和鲁棒性,能够满足林果园喷雾作业的靶标识别需求,可为林果园喷雾作业靶标实时识别提供参考。

图像引导和点云空间约束的公路洒落物检测定位方法

公路洒落物是影响交通安全的重要因素之一,为了解决中小尺度公路洒落物检测中的漏检、误检以及难以定位等问题,本文提出了一种图像引导和点云空间约束的公路洒落物检测定位方法。该方法使用改进的YOLOv7-OD网络处理图像数据获取二维目标预测框信息,将目标预测框投影到激光雷达坐标系下得到锥形感兴趣区域(region of interest,ROI)。在ROI区域内的点云空间约束下,联合点云聚类和点云生成算法获得不同尺度的洒落物在三维空间中的检测定位结果。实验表明:改进的YOLOv7-OD网络在中尺度目标上的召回率和平均精度分别为85.4%和82.0%,相比YOLOv7网络分别提升6.6和8.0个百分点;在小尺度目标上的召回率和平均精度分别为66.8%和57.3%,均提升5.3个百分点;洒落物定位方面,对于距离检测车辆30~40 m处的目标,深度定位误差为0.19 m,角度定位误差为0.082°,实现了多尺度公路洒落物的检测和定位。

基于多线激光雷达的井下斜坡道无人矿卡定位与建图方法

井下斜坡道的定位与建图是实现井下斜坡道无人驾驶的关键技术之一,矿山井下斜坡道区域为典型非结构化环境特征,且道路具有一定倾斜角度,采用传统SLAM算法无法获得精确里程计信息,导致定位与建图精度难以满足无人矿卡行驶需求。针对上述问题,通过研究激光SLAM(Simultaneous Localization And Mapping)算法LeGO-LOAM,笔者提出一种适用于矿山井下斜坡道环境的定位与建图方法。首先,针对井下斜坡道口两侧均为光滑水泥墙壁,特征点稀少问题,设计了基于人工路标的辅助增强定位方法,有效增加点云特征数量,从而优化位姿估计结果,避免建图漂移现象;然后在特征预处理阶段,提出了一种基于激光点云高度差与坡度信息融合的提取地面点高效算法,通过改善地面地点的选取策略,针对倾斜坑洼路面仍能有效识别地面点,解决了井下斜坡道定位与建图倾斜角度大、误差大等问题;其次,基于CVC(Curved-Voxel Clustering)聚类算法设计了一种斜坡道点云曲率体素聚类算法,采用曲率体素和基于哈希的数据结构对点云进行分割,大幅提高在井下稀疏、噪声环境下点云聚类的鲁棒性;最后,运用Scan-To-Map进行点云匹配,同时兼顾点云配准的性能与速度。在中钢集团山东某井下斜坡道的现场实验证明:与原算法相比精度提升13.15%,Z轴误差降低22.3%,地图质量明显提升,能有效解决井下无人驾驶建图及定位的难题。

丘陵果园自然环境下柑橘采摘机器人设计与试验

智慧果园是未来果园行业发展的趋势,智能化果实采摘是发展智慧果园的关键问题。为实现智能化果实采摘,本文搭建了一种适用于丘陵果园矮化栽培模式下的柑橘采摘机器人系统。针对丘陵果园垄间地面凹凸不平,存在地形倾斜角0°~20°,设计了一种自适应调平平台保持机械臂基座水平;通过视觉系统获取多幅点云图像建立果树的三维点云模型,获取果实位置信息;为避免采摘时造成果实损伤,结合柑橘类水果的采摘特点,设计了一种剪切夹持一体化的末端执行器完成柑橘采摘。针对果园自然环境的主要扰动因素(风和光照)进行分级,设置10组对比试验,结果表明:在低光照或正常光照条件下,平均果实定位准确率为82.5%,末端执行器夹取成功率为87.5%,平均采摘时间最短为12.3 s/个;高光照条件下平均果实定位准确率为72%,末端执行器夹取成功率为80%,平均采摘时间最短为12.5 s/个。

采用混合策略联合优化的模糊C-均值聚类信息熵点云简化算法

针对传统聚类算法处理点云简化问题时精度低、耗时长且易丢失特征信息等问题,提出了一种基于动态精英自适应混合策略的鹈鹕算法(DEAMPOA)与加权熵法联合优化的模糊C-均值聚类(FCM)信息熵点云简化算法。采用动态自适应种群混合策略,同时融合了精英反向化思路,显著提升了鹈鹕优化算法(POA)的收敛趋势和全局寻优能力,提高了寻找FCM最优聚类中心的成功率;利用DEAMPOA结合加权熵法对FCM进行优化,提高鲁棒性的同时增强了搜索精度,得到较好的聚类结果;在8种UCI标准数据集上与4种算法对比进行聚类性能评估实验,验证了所提方法综合性能优越;将所提方法与信息熵融合,并应用在三维点云KITTI数据集简化中。实验结果表明:与包围框简化法、随机采样简化法和特征选择简化法对比,所提方法全局误差简化前后点集之间平均欧式距离(MED)指标分别降低了2.25%、6.93%、5.74%,点云简化效果最优且运行速度满足要求。

基于激光雷达扫描的料仓原料储料量测量方法

为提高仓内原料储料量测量自动化和智能化水平,设计了一种基于二维激光雷达扫描的储料量测量装置与系统。本系统采用RPLIDARS1型二维激光雷达扫描获取不同储料量物料的原始点云数据,通过坐标变换、重叠点提取、滤波、分割等方法对原始点云进行预处理,采用贪婪投影三角化算法将预处理后的点云进行三维重建,获得仓内原料的三维模型,结合物料三维模型和物料的容重获得仓内原料的储料量,从而实现储料量的自动测量。以玉米为试验对象,测量小型储料塔内玉米储料量并对玉米不同储料量进行扫描测量,验证模型的准确性,结果显示:测量结果的平均绝对误差为8.05kg,平均相对误差为1.52%。研究结果表明,基于二维激光雷达扫描的储料量测量方法是可行的,具有较好的稳定性和测量精度,能够满足实际生产需求。

改进的3D-BoNet算法应用于点云实例分割与三维重建

为了更好地利用点云数据重建室内三维模型,本文提出了一种基于3D-BoNet-IAM算法的室内场景三维重建方法。该方法通过改进3D-BoNet算法提高点云数据的实例分割精度。针对点云数据缺失问题,提出了基于平面基元合并优化的拟合平面方法,利用拟合得到的新平面重建建筑表面模型。在S3DIS和ScanNet V2数据集上验证3D-BoNet算法的改进效果。试验结果表明,本文提出的3D-BoNet-IAM算法比原始算法分割精度提高了3.3%;对比本文建模效果与其他建模效果发现,本文方法的建模效果更准确。本文方法能够提高室内点云数据的实例分割精度,同时得到高质量的室内三维模型。

基于点云分割网络的雷达信号分选方法

针对现有基于图像分割的端到端雷达信号分选方法存在的像素点重叠与处理效率不高的问题,该文提出一种基于点云分割网络的端到端分选方法。首先将雷达脉冲流的脉冲描述字(PDW)映射为点云;之后利用点云分割网络(PointNet++)对该点云中各点依据其所属辐射源进行分割;最后将具有相同标签的点聚类形成脉冲集合,分别提取各脉冲集合所包含的辐射源并形成相应的辐射源描述字。仿真结果表明:所提方法能够有效对未知雷达信号进行分选,在脉冲丢失和虚假脉冲干扰的分选环境下也表现出较强的可靠性与稳定性,并且由于采用具有轻量化特点的模型使得该方法的执行效率更高。

智航无人机载LiDAR系统在轨道交通建设中的应用分析

为了减少轨道交通建设外业勘测的工作量,提高制图的效率和精度,本文首先基于实际项目,选用智航SF1650六旋翼无人机载LiDAR系统对济南新东站片区进行航摄,利用获取的LiDAR点云和影像数据制作DEM、DOM,然后再进行大比例尺地形图和片区断面图的制作。通过外业勘测核实,DEM和DOM精度完全满足轨道交通建设工程制作大比例尺地形图的要求,且相较于传统立体航测,精度和数据利用率得到很大的提升,极大减少了外业勘测工作量,验证了智航SF1650无人机载LiDAR系统的可行性,为今后的工程应用提供了参考方案。

异常点云干扰下的车身构件鲁棒性配准方法

点云配准是大型车身构件位姿参数测量的关键方法,但现有算法在大量异常点云干扰下难以配准至有效位姿,从而导致匹配失真,进而无法保证后续机器人作业质量。针对此问题,提出一种能够有效抑制异常点云干扰的车身构件鲁棒性配准算法——鲁棒函数加权方差最小化(RFWVM)算法。建立鲁棒函数加权目标函数,通过施加随迭代次数可变的动态权重来抑制配准过程中异常点云的影响,并由高斯-牛顿法迭代完成刚性转换矩阵的求解。以高铁白车身侧墙、汽车车门框为研究对象的试验结果表明,较经典的最近点迭代(ICP)算法、方差最小化(VMM)算法、加权正负余量方差最小化(WPMAVM)算法和去伪加权方差最小化(DPWVM)算法,所提出的RFWVM算法配准精度更高,能够有效抑制各种异常点云对配准结果的影响,并具有更好的稳定性和鲁棒性,能够有效实现各类车身构件点云的精确配准。

基于RS-Conv的多尺度神经网络LiDAR点云断裂带提取方法

断裂带与地震、滑坡等自然灾害的发生有着密切关系,精准提取断裂带不仅可为地震断层的定量化研究提供指导,还可为地震灾害风险评估及防震减灾决策的制定提供科学依据。针对现有方法中LiDAR点云断裂带提取不完整、连续性差及错误率高等问题,文中提出了一种基于RS-Conv的多尺度神经网络LiDAR点云断裂带提取方法,以便更好地解决复杂地形区域的断裂带自动提取问题。该方法首先构建不同空间尺度的邻域点集,从而更全面地考察点云的局部几何结构特征。考虑到RS-Conv算子能够很好地表征中心点与邻域点的空间关系,文中以RS-Conv算子作为卷积模块构建了多尺度神经网络模型,以提取出LiDAR点云不同尺度的深层次特征,对其进行堆叠并输入到全连接层,以完成对断裂带点的提取。最后,在ISPRS点云数据集、川滇点云数据集和鲜水河数据集上对文中所述方法与张量分解方法和Deep Neural Networks(DNN)方法进行了对比实验,结果表明,文中方法的分类精度最高,分类总误差最低仅为0.3%,较其他方法降低了0.91%~2.79%,证实了该方法在点云断裂带提取方面的优越性。

基于残差优化的综采工作面煤壁点云补全方法

煤矿综采工作面巷道的数字化三维重建过程中需要完整且密集的煤壁点云数据。受遮挡、视角限制等因素影响,采集的综采工作面煤壁点云数据往往不完整且稀疏,影响下游任务,需进行煤壁点云修复和补全。目前缺少针对井下点云补全任务的数据集和网络模型,现有模型用于煤壁点云补全时存在点云密度分布不均匀、点云特征信息丢失等情况。针对上述问题,设计了一种基于残差优化的煤壁点云补全网络模型,采用监督学习方式学习点云特征信息,通过最小化密度采样和残差网络迭代优化输出完整点云。采集煤矿井下真实综采工作面煤壁点云数据,预处理后筛选可用数据,通过模拟随机空洞制作煤壁点云缺失数据集,并用缺失数据集训练基于残差优化的煤壁点云补全网络模型。实验结果表明:与经典的FoldingNet,TopNet,AtlasNet,PCN,3D-Capsule点云补全网络模型相比,基于残差优化的煤壁点云补全网络模型针对构造的缺失煤壁点云和稀疏煤壁点云补全的倒角距离、地移距离及F1分数均能达到最优水平,整体补全效果最佳;针对实际缺失的煤壁点云,该模型能够实现有效补全。

基于线结构光扫描的工件高精度三维测量方法

为了提高工业中对复杂轮廓工件的测量精度和效率,设计了一套高精度非接触三维测量系统,并提出了一种基于线结构光扫描的工件轮廓三维测量方法。首先,利用高精度相机和三轴移动平台采集线结构光图像。然后,通过基于差分区间的灰度质心算法,精确而高效地提取出线结构光中心线,并生成原始点云模型。接着,对采集到的点云数据进行必要的点云滤波和精简预处理。最后,将预处理后的点云数据与CAD模型精确配准,进行工件表面轮廓的测量与误差评定。实验结果表明:测量工件轮廓高度的绝对误差小于0.07 mm,相对误差小于0.5%。所提出的三维测量系统及方法测量误差较低,能够实现工件的高精度三维测量,具有一定的工业应用价值。

改进Mask RCNN的盾构隧道渗漏水检测方法

渗漏水是盾构隧道结构存在潜在损伤或缺陷的重要表征,快速、准确检测出渗漏水位置,对隧道安全运营和维护具有重要意义。现有的方法大多采用光学影像对隧道渗漏水进行检测,受隧道内空间和光线条件限制,难以获得高质量病害图片。因此,本文提出了一种基于激光点云数据与改进Mask RCNN相结合的渗漏水检测方法。首先对激光点云反射强度进行修正;然后生成灰度图像并建立渗漏水病害数据集;最后在Mask RCNN算法中引入空洞卷积和变形卷积,实现了隧道渗漏水病害的快速检测。利用某地铁采集的数据进行验证,结果表明,本文提出的改进Mask RCNN算法相较于原始算法和FCN算法检测精度均有明显提升,在盾构隧道渗漏水识别方面性能表现较好。

露天矿无人机遥感边坡地表形变提取方法研究

针对当前露天矿边坡监测过程中存在的设备留有监测死角、点位布控缺乏依据、地质隐患解译困难、无人机(Unmanned Aerial Vehicle,UAV)影像点云重构复杂度高等问题,提出了一种基于无人机遥感的边坡地表形变提取方法。首先,通过分析UAV激光点云与影像特点构建点云序列;其次,利用融合尺度不变特征变换(Scale Invariant Feature Transform,SIFT)与圆柱形邻域搜索的改进迭代最近点(Iterative Closest Point,ICP)算法,实现点云序列的精准高效配准,提高边坡形变提取精度;最终,借助数字高程模型(Digital Elevation Model,DEM)叠加分析与可视化,精准定位边坡重点形变区域,直观提取边坡形变位置和大小,并结合正射影像图像特征进行形变区域分析与解译。以南芬露天矿为工程应用实例,研究表明:边坡形变模型标准偏差为0.032 m,对比全球定位系统-实时动态差分(Global Positioning System-Real Time Kinematic,GPS-RTK)实测形变值,形变中误差为0.012 m,能够快速实现大尺度复杂边坡地表扫描与形变提取,从而为地质灾害隐患分析、盲区边坡形变监测与地面监测设备科学布控提供技术支撑。

点云加权迭代线拟合室内平面图自动生成方法

提出了一种基于三维激光点云加权迭代线拟合的室内平面图自动生成方法,根据线特征对三维点云沿高程方向的投影点云进行分割,采用加权迭代直线拟合方法进行分段直线拟合,并进一步对拟合直线进行融合和轮廓补全,实现室内平面图的自动生成。基于手持SLAM系统获取的典型室内场景激光点云自动生成室内平面图,结果表明,该方法能有效抑制室内点云噪声,结构提取完整性可达94.4%,制图精度优于3 cm,可快速生成室内平面结构图。

基于“十字”标志物的红外图像与三维点云融合方法

红外热成像技术广泛应用于多个领域,建立含有空间和温度信息的三维温度场模型具有十分重要的意义,可以将该技术扩展到更多应用领域.为此,本文提出一种异源空间数据融合方法,融合红外图像和三维点云,得到三维温度场模型.针对红外相机与可见光相机成像原理存在差异,难以通过常用标定板进行内参标定的问题,基于红外相机成像特性设计并制作镂空圆孔标定板用于内参标定,所得内参平均重投影误差为0.03像素.针对红外相机与结构光相机的成像原理不同,现有标志物制作复杂、外参精度低的问题,基于不同材料的辐射度差异,设计制作“十字”标志物并将其用于联合标定.为解决同名特征点难以识别的问题,针对红外图像和三维点云分别设计了同名特征点提取方法,配合“十字”标志物进行同名特征点提取.红外图像和三维点云特征点提取方法的检测重复率分别为75%和92%,与传统方法相比两者的检测重复率均有所提升.利用该方法建立纸杯、工件和人脸的三维温度场模型.实验结果表明,使用镂空圆孔标定板能实现红外相机的内参标定,对“十字”标志物采用同名特征点提取方法能完成红外相机与结构光相机的联合标定.最终所得三维温度场模型的平均重投影误差为1.70像素,与现有方法相比模型精度有所提升.

基于无人机点云与BIM模型的桥梁施工进度识别方法

为准确实现桥梁施工进度监控自动化,提出一种基于无人机(unmanned aerial vehicle,UAV)点云和BIM模型的桥梁施工进度识别方法。该方法基于UAV路径规划及三维重建获取实际进度点云,通过BIM模型转点云的方式将BIM模型转化为计划进度点云,配准实际与计划进度点云,基于最近邻搜索及颜色区域生长分割桥梁构件,获得桥梁各构件的完成度。以山西临猗黄河大桥为研究对象,采集实际与计划点云数据,计算所得的各构件完成度准确度均在95%以上。该方法可快速采集进度数据并实现构件级别的桥梁施工进度识别,提高桥梁施工进度监控的自动化。

隧道轮廓激光雷达点云线特征共面约束标定方法

地铁隧道断面轮廓参数测量过程中,需要对高速激光雷达点云进行高精度系统标定。特别是大场景隧道环境,对标定模板要求高,标定过程复杂,检测精度影响大。针对此问题,本论文提出了一种新颖的适用于地铁隧道轮廓点云的标定方法,并基于双激光雷达测量系统,进行了算法研究。本方法设计了专用的手推行便携式标定系统,利用由点云数据提取的标定板线特征,建立目标函数,通过混合了遗传算法和Levenberg-Marquardt算法的非线性优化方法,寻找全局最优解从而实现对激光雷达的标定。实验结果表明:本方法对于两侧钢轨顶轨的标定误差在±1.5 mm以内;静态测量精度X误差在±1 mm内、Y误差在±4 mm内;当采集系统以5 km/h的速度进行数据采集时,动态测量精度X误差在±4 mm内、Y误差在±6 mm内。本方法能够实现激光雷达的高精度标定,算法鲁棒性强,具有易操作、环境适应性强的特点。

基于自蒸馏框架的点云分类及其鲁棒性研究

与2D图像数据集相比,3D点云数据集的规模较小且表征性较差,容易导致神经网络出现过拟合和泛化能力差的问题。为此,提出一种点云自蒸馏(PointSD)框架,通过对表征形式不同的数据样本进行学习,使网络提取到原始点云数据中的更多特征信息,实现样本之间的知识交互,在不增加额外计算负荷的情况下提升网络的泛化能力,适用于不同规模的分类网络模型。基于该框架提出一种点云抗腐败训练方法TND-PointSD,解决了当前点云训练方法抗腐败能力不足的问题。实验结果表明:在ScanObjectNN数据集上,应用PointSD框架的PointNet++和RepSurf-U 2X基准网络的平均准确率(MA)相比于应用标准训练(ST)方法提高了8.22和4.86个百分点;在ModelNet40-C数据集上,在15种腐败类型上分类网络的平均整体准确率(MOA)均有所提升,证明了TND-PointSD方法能够有效地增强网络模型的腐败鲁棒性。