CNN-Transformer结合对比学习的高光谱与LiDAR数据协同分类

针对高光谱图像(hyperspectral images,HSI)与LiDAR数据多模态分类任务中的跨模态信息表达和特征对齐等问题,提出一种基于对比学习CNN-Transformer高光谱和LiDAR数据协同分类网络(Contrastive Learning based CNNTransformer Network,CLCT-Net)。CLCT-Net通过由ConvNeXt V2 Block构成的共有特征提取模块,获得不同模态间的共性特征,解决异构传感器数据之间语义对齐的问题。构建了包含空间-通道分支和光谱上下文分支的双分支HSI编码器,以及结合频域自注意力机制的LiDAR编码器,以获取更丰富的特征表示。利用集成对比学习进行分类,进一步提升多模态数据协同分类的精度。在Houston 2013和Trento数据集上的实验结果表明,相较于其他高光谱图像和Li‐DAR数据分类模型,本文所提模型获得了更高的地物分类精度,分别达到了92.01%和98.90%,实现了跨模态数据特征的深度挖掘和协同提取。

Autonomous Vehicle Control Using Lidar and Camera with CAN Network

An autonomous vehicle operates in a dynamically changing environment,where multiple sensors must work in a cooperative mode. In these scenarios reliability of the communication protocol carries a lot of importance in real time data transfer. In this paper, CAN communication is used to demonstrate sensor integration using a LIDAR and a camera. Also demonstrated is a novel method for object detection, obstacle avoidance and navigation of an autonomous RC vehicle.

基于三角面元的海岸带机载/船载LiDAR点云配准方法研究

机载LiDAR系统与船载LiDAR系统是获取海岸带点云数据的常用方式。两种测量系统所测数据具有空间差异性和互补性,对这两类非同源点云数据进行配准具有重要意义。本研究提出一种基于三角面元的LiDAR点云配准算法,根据空间分布将目标点云分割成若干不规则的三角面元作为配准基元,利用点-面变换模型,最小化源点云中的测量点与其平面位置处的三角面元间的距离,最终实现海岸带区域点云配准。实验结果表明,配准前后的样本点距离平均误差和点-面距离均方根误差分别从3.30和1.51 m降低到0.76和0.17 m,本研究基于三角面元的点云配准方法可以有效消除海岸带非同源点云数据测量空隙、角度偏差等现象。

机载LiDAR点云数据的组合滤波算法研究

针对采用渐进式形态学滤波算法进行机载LiDAR点云滤波时存在的滤波效果不佳、地形特征保留不明显的问题,本文提出了一种改进不规则三角网的后处理滤波算法,构建组合式机载LiDAR点云滤波算法。该组合算法有效地结合了渐进式形态学滤波算法与改进TIN滤波算法的优势,首先采用渐进式形态学滤波算法对原始机载LiDAR点云数据进行处理,提取得到初始地面点;其次优化传统TIN滤波算法,以初始地面点及种子点构建TIN,通过连续迭代提取得到精细化地面点。为验证本文提出滤波算法的可靠性与优越性,选取宁波市某地2组机载LiDAR点云数据进行实验,结果表明,与较单一的渐进式形态学滤波算法、TIN滤波算法地面点提取结果相比较,本文改进滤波算法提取地面点的Ⅰ类误差、Ⅱ类误差及总误差均更低,且不受地形条件限制,具有较高的适应性,验证了本文提出改进滤波算法的可靠性与优越性。

机载LiDAR姿态角稳定装置的神经网络逆系统解耦控制研究

机载激光雷达(LiDAR)工作过程中,机载平台姿态角波动会造成激光扫描点云的密度分布不均匀,导致后续数字表面模型重建时精度降低,因此设计了一种推转式姿态角稳定装置,可实现机载平台姿态角波动的实时补偿。设计的姿态角稳定装置具有非线性和强耦合的运动控制特点,为消除其运动耦合关系、提高运动控制精度,基于神经网络逆系统解耦控制策略对姿态角稳定装置进行解耦处理,取得了满意的控制效果。首先,建立了姿态角稳定装置动力学系统的多变量神经网络逆系统模型;其次,采用PID闭环反馈控制器与神经网络逆系统前馈补偿器组合的前馈-反馈复合控制器,实现控制系统的实时解耦,改善动态控制性能;最后,进行了实验验证。结果表明,设计的神经网络逆系统解耦控制方法可有效提高姿态角稳定装置控制精度,并对误差干扰具有优良鲁棒性。

机载LiDAR点云数据滤波方法研究

为了改善地形复杂区域机载激光雷达点云滤波效果,本文提出了一种结合布料模拟滤波与改进不规则三角网的机载LiDAR点云滤波方法。该方法实现机载LiDAR点云滤波的主要步骤为:首先,使用KD树算法将原始点云数据中的粗差剔除;其次,使用CSF对粗差剔除后点云数据进行滤波,滤除建筑物等高大地物点得到初始地面点;最后,使用改进的TIN算法对初始地面点进行进一步精滤波,得到最终地面点结果。为了对本文提出方法的有效性与优越性进行检验,使用两组实验数据进行滤波实验,结果表明本文点云滤波方法可有效降低Ⅰ类、Ⅱ类误差,对不同地形条件进行点云滤波均有较高的准确性。

原始机载LiDAR点云中建筑物激光点的自动提取

提出了一种基于原始离散LiDAR点云的多层结构建筑物激光点自动提取方法。首先对原始离散Li-DAR点云进行不规则三角网构建,然后利用分阶段区域生长的原理逐阶段遍历TIN中的各三角面。依据三角面的法向量方位角判定建筑物的各层结构,依次提取出多层建筑物的墙面及各级屋顶面,最后将提取出的各层屋顶面数据进行分类存储,确保提取出的各栋建筑物激光点之间相互独立且包含各层屋顶结构等细部特征信息,便于后续各建筑物的三维重建。

基于LiDAR数据的流域水系网络提取方法研究

LiDAR技术能够提供高分辨率DEM数据,可用于准确提取流域水系网络信息。研究中针对LiDAR系统提供的高精度DEM数据中存在的噪声,提出采用各向异性扩散滤波算法进行噪声平滑,与常用的DEM滤波算法比较,该方法既能有效去除噪声,同时又能保留高梯度的地形信息。在DEM噪声去除的基础上,采用基于局部地形曲面几何分析的Peuker&Douglas算法初步提取水系网络原型,进一步利用改进的基于坡面流物理模拟分析的加权D8算法提取水系网络,构建了基于LiDAR数据水系网络提取的技术流程。通过鹤壁市某小流域的LiDAR数据水系网络提取试验证明了该方法准确提取水系网络的有效性。

POS辅助机载LiDAR无地面控制点DEM,DOM制作

DEM和DOM已成为航空遥感生产的重要产品,机载Li DAR系统获取的具有三维坐标信息的点云数据,经系统误差校正和滤波分类后,结合机载POS数据和数码影像,可进行无地面控制点的DEM和DOM制作。经实践分析,成果精度满足1∶2 000比例尺DEM和1∶5 000比例尺DOM精度指标,该方法产品制作周期短,成果质量较高,满足了无人区和应急情况下的测绘需求。

知识引导下的城区LiDAR点云高精度三角网渐进滤波方法

针对城区LiDAR点云特点,提出一种基于知识的三角网渐进滤波方法:①对格网内插后的栅格数据进行面向对象分割;②采用迭代Otsu聚类手段对地面对象与非地面对象自动分离;③针对分类结果构建初始三角网,并自适应调整地面点判据参数,达到提高滤波质量目的。选用ALS50系统真实数据进行滤波试验,并与传统方法滤波结果进行精度评价,评价结果表明基于知识的滤波方法能进一步提高点云滤波质量。

基于高光谱影像和LiDAR点云的城市地物分类实验方案设计

为更好地进行数据融合实现地物分类,设计了一种基于卷积神经网络(CNN)的高光谱与激光雷达数据融合分类实验方案。首先通过构建CNN模型实现高光谱及激光雷达数据的特征提取;然后分别在特征级和决策级上实现两种数据的融合,其中特征级融合采取求和与最大化策略,决策级融合采取加权融合策略;最后在休斯顿与特伦托数据集上使用标准训练集与测试集验证该模型的有效性。结果表明,相较于SVM和ELM两种对比方案,此方案总体分类精度分别提升了10.18%和8.75%。证实了新方案能够实现更高精度的城市地物分类。

基于LiDAR点云的建筑物检测方法研究

提出了一种基于三角面元的LiDAR数据建筑物检测方法.首先对点云数据构建不规则三角网,然后根据三角面元的特征信息对其进行分类,接着利用面元之间的邻接关系对其进行聚类,最后对聚类点云进行跟踪得到建筑物的轮廓.以国际摄影测量与遥感学会(ISPRS)提供的城区LiDAR点云为实验数据进行建筑物检测试验.与以点云或分割块为处理基元的检测方法相比,该方法能够更加准确地提取建筑物轮廓,正确率可达96%,完整率可达85%.

基于高光谱和机载LiDAR技术的云南松受云南切梢小蠹危害程度分类诊断研究

以石林县黑龙潭片区常受云南切梢小蠹危害的云南松为研究对象,人工调查120株云南松冠层枯稍率,并记录其坐标位置。利用无人机搭载高光谱成像仪采集研究区云南松高光谱数据,根据样本位置提取其冠层光谱反射率,分析冠层光谱,并利用小波变换法提取了16个光谱特征。基于样本冠层枯稍率与光谱特征数据,采用BP神经网络法训练分类诊断模型,以此作为研究区云南切梢小蠹对云南松危害程度分类诊断模型。利用无人机搭载LiDAR系统采集研究区云南松LiDAR数据,根据归一化切割方法,对云南松单株树冠进行分割提取,将分割提取结果与高光谱数据融合提取单株云南松冠层光谱。最终利用训练好的诊断模型分类诊断研究区云南松受云南切梢小蠹危害程度并将结果可视化。结果表明:共分割提取出11 029株云南松,分类结果为健康10 142株、轻度危害490株、中度危害266株、重度危害131株。选用120株样本对分类结果进行精度验证,总体分类精度为90.83%,分类精度较高。

基于集成卷积神经网络的LiDAR数据分类

针对人工设计的中低层特征难以对LiDAR数据进行高精度分类以及泛化性能较低等问题,提出了一种基于集成卷积神经网络的LiDAR数据分类方法。它是基于深度学习模型与随机子空间的集成学习框架。通过有放回的随机抽取LiDAR训练集构成子集,以深度卷积神经网络模型为单个子分类器,最后采用多数投票法确定最终样本的类别,以获得更好的分类精度。实验结果表明,所提方法在Bayview Park和Houston两个数据集上分别取得了93.31%和80.95%的总体分类精度,与其他3种分类算法相比具有更好的分类效果,由此证明该网络在拥有较高分类精度的同时还具有良好的泛化能力。

神经网络技术在LIDAR测高数据处理中的应用

介绍了先进的激光雷达测量技术,其缺点之一是LIDAR测高数据存在系统偏差。介绍了系统偏差补偿的传统方法思路,如附加系统参数法和最小二乘配置法等。论述了神经网络BP算法的思想及其补偿系统偏差的原理,并列出了BP算法的具体网络模型结构与计算步骤。结合一个具体工程实例,在系统偏差利用神经网络方法补偿之后,LIDAR测高精度有较大提高。最后,得出了一些有益的结论。

基于机载LiDAR点云滤波的矿区DEM构建方法

机载Li DAR数据是进行矿山高植被覆盖区地面塌陷调查的有效工具。利用湖南某矿区的机载Li DAR点云数据,提出了一种基于区域分割的渐进三角网滤波构建DEM的方法。首先,对原始机载Li DAR点云数据进行重新组织,以提高邻域点计算效率;其次,结合高程差计算区域统计值,按照地形情况分割测区内的地面点和非地面点,利用地面点构建初始稀疏TIN模型;然后,通过计算其他点与TIN的距离,渐进加密三角网,提取地面点;最后,剔除孤立点,生成格网间距为1 m的DEM。研究结果表明:基于区域分割的渐进三角网滤波构建的DEM能够较为精细地表达地形信息,特别在高植被覆盖区域,能够提取出高精度的真实地表DEM,可更加准确地表达出矿区高植被覆盖区的地表塌陷位置和范围等信息。

基于深度残差网络的机载LiDAR点云分类

机载LiDAR点云的分类是利用其进行城市场景三维重建的关键步骤之一。为充分利用现有的图像领域性能较好的深度学习网络模型,提高点云分类精度,并降低训练时间和对训练样本数量的要求,本文提出一种基于深度残差网络的机载LiDAR点云分类方法。首先提取归一化高程、表面变化率、强度和归一化植被指数4种具有较高区分度的点云低层次特征;然后通过设置不同的邻域大小和视角,利用所提出的点云特征图生成策略,得到多尺度和多视角点云特征图;再将点云特征图输入到预训练的深度残差网络,提取多尺度和多视角深层次特征;最后构建并训练神经网络分类器,利用训练的模型对待分类点云进行预测,经后处理得到分类结果。利用ISPRS三维语义标记竞赛的公开标准数据集进行试验,结果表明,本文方法可有效区分建筑物、地面、车辆等8类地物,分类结果的总体精度为87.1%,可为城市场景三维重建提供可靠的信息。

联合LiDAR、高光谱数据及3D-CNN方法的树种分类

【目的】探究三维卷积神经网络(3D-CNN)在高光谱数据支持的树种分类中的有效网络构建方式,以提高树种分类精度。【方法】以美国加利福尼亚州内华达山脉南部为研究区,LiDAR数据获取的森林冠层高(CHM)进行单木分割并以此为补充建立样本,改进一种结构更简单、分类精度更高且无需对高光谱数据进行预处理的3D-CNN网络结构用于森林树种识别。【结果】相较于常规机器学习分类方法【支持向量机(SVM),随机森林(RF)】、传统二维卷积神经网络模型(2D-CNN)及最新多光谱分辨率三维卷积神经网络(MSR 3D-CNN)模型,本研究提出的3D-CNN模型对树种总体分类精度为99.79%,平均交并比(MIoU)为99.53%。与SVM和RF分类结果相比,本研究构建的3D-CNN模型总体分类精度提高5%左右,且具有对树种边界提取更加准确、椒盐现象更少发生的特点;与2D-CNN相比,总体分类精度提高10%左右,MIoU提高7%左右;与MSR 3D-CNN相比,总体精度相差不大,但在训练和测试过程中,本模型耗时远远小于MSR 3D-CNN模型。【结论】本研究改进的3D-CNN模型结构能够高效对原始高光谱影像进行树种分类并制图,可有效提高树种分类的精度。

基于径向基函数神经网络的机载LiDAR点云空洞填补方法

机载LiDAR技术为地表三维数据的获取和DEM、DSM的构建提供了有利的条件.由于建筑物和植被遮挡等原因,造成了点云的缺失,形成区域的空洞,给地表建模带来不便,需要对LiDAR点云数据进行插值处理以修复缺失的数据.对径向基函数(RBF)神经网络构建插值模型进行了研究,利用该模型对点云中缺失的空洞区域进行修复.通过利用一部分采样点对RBF神经网络进行学习训练,得到模型中参数的具体值,然后利用这些参数值对空洞区进行插值.实验验证了RBF神经网络模型的有效性及插值精度.

基于3D深度胶囊网络的高光谱和LiDAR数据融合分类

针对高光谱和LiDAR成像优势,通过构建三维深度胶囊网络(3D-deep capsule network,3D-DCN)探索了这两种遥感数据源在城市地物分类上的应用。该网络通过使用两层3D-CNN结构实现融合后数据的非线性特征映射,然后紧跟胶囊网络生成代表特征的矢量并实现卷积、封装和分类;针对胶囊网络层间的非线性激活函数提出一种称为e-squash的非线性激活函数用于特征学习。在城市数据集上的分类实验表明,使用LiDAR高程特征数据极大地改善了高光谱图像分类精度,采用提出激活函数的3D-DCN在城市数据分类方面比经典分类方法和未采用e-squash的胶囊网络具有更大的应用潜力。