采用独立分支网络的多源遥感数据自适应融合地物分类

针对现有基于深度学习的地物分类方法大多面向遥感影像,而对点云数据的空间信息利用不足,特别是对点云和影像这种异源特征融合不够充分的问题,提出了一种采用独立分支网络结构的多源遥感数据自适应融合地物分类方法。首先,对配准好的LiDAR点云和遥感影像分别采用三维网络和二维网络提取各模态的空间几何特征和语义特征;其次,在点云空间对影像特征进行交叉模态采样和特征对齐得到基于点的多源特征;最后,采用一种基于注意力机制的非线性自适应特征融合方法实现二、三维语义特征的融合。实验结果表明,本文方法通过网络训练能够实现自适应数据特征的多源遥感数据融合分类,针对ISPRS多源遥感数据集的植被、建筑物和地面三类地物平均分类精度达到85.87%,相较三维点云语义分割的分类精度提高了10.12%。本文提出的独立分支融合网络能够实现二、三维数据的交互学习与深度融合,为遥感多源数据地物分类提供了一种新的思路。

遥感影像与LiDAR点云多尺度深度特征融合的地物分类方法

针对基于深度学习的多源数据融合地物分类方法存在的特征考虑不全面、多尺度结构不明显等问题,提出一种遥感影像与LiDAR点云多尺度深度特征融合MSDFF的地物分类方法。首先通过Vgg16网络分别提取影像和点云数据3个不同分辨率的深度特征,利用特征连接(Concat)与1×1卷积相结合的方式实现两种数据相同分辨率特征的融合;其次借助反卷积完成了多尺度融合特征之间的交互,还引入了迁移学习与加权交叉熵损失函数以进一步提高分类精度;最后利用ISPRS提供的Vaihingen数据集进行了地物分类实验。实验结果验证了该方法的正确性和有效性,相较于基于单源数据和浅层特征融合的地物分类方法,树木、建筑物和地面的分类精度均有提高,其树木的分类精度提高了约10%。

多特征融合与几何卷积的机载LiDAR点云地物分类

目的点云分类传统方法中大量依赖人工设计特征,缺乏深层次特征,难以进一步提高精度,基于深度学习的方法大部分利用结构化网络,转化为其他表征造成了3维空间结构信息的丢失,部分利用局部结构学习多层次特征的方法也因为忽略了机载数据的几何信息,难以实现精细分类。针对上述问题,本文提出了一种基于多特征融合几何卷积神经网络(multi-feature fusion and geometric convolutional neural network,MFFGCNN)的机载LiDAR(light detection and ranging)点云地物分类方法。方法提取并融合有效的浅层传统特征,并结合坐标尺度等预处理方法,称为APD模块(airporne laser scanning point cloud design module),在输入特征层面对典型地物有针对性地进行信息补充,来提高网络对大区域、低密度的机载Li DAR点云原始数据的适应能力和基础分类精度,基于多特征融合的几何卷积模块,称为FGC(multi-feature fusion and geometric convolution)算子,编码点的全局和局部空间几何结构,实现对大区域点云层次化几何结构的获取,最终与多尺度全局的逐点深度特征聚合提取高级语义特征,并基于空间上采样获得逐点的多尺度深度特征实现机载Li DAR点云的语义分割。结果在ISPRS(International Society for Photogrammetry and Remote Sensing)提供的3维标记基准数据集上进行模型训练与测试,由于面向建筑物、地面和植被3类典型地物,对ISPRS的9类数据集进行了类别划分。本文算法在全局准确率上取得了81.42%的较高精度,消融实验结果证明FGC模块可以提高8%的全局准确率,能够有效地提取局部几何特性,相较仅基于点的3维空间坐标方法,本文方法可提高15%的整体分类精度。结论提出的MFFCGNN网络综合了传统特征的优势和深度学习模型的优点,能够实现机载LiDAR点云的城市重要地物快速分类。