联合光谱和空间双尺度细节注入的遥感图像融合

设计了一种基于引导滤波增强的联合光谱尺度和空间尺度细节注入的自适应遥感图像融合方法。首先,将全色图像作为引导图像,利用引导滤波对多光谱图像分区域处理,锐化纹理丰富区域、平滑光谱丰富区域,得到增强多光谱图像。其次,利用经典成分替换法和多尺度分析法分别提取光谱尺度和空间差异的细节信息,通过互信息整合得到包含双尺度的细节图像。再次,以原始多光谱图像和亮度分量的光谱相关关系、增强光谱图像的边缘信息作为细节图像的注入约束条件,得到细节注入图像。最后,将多光谱图像与联合空间和光谱双尺度的细节注入图像相加得到融合的高分辨率多光谱图像。分别利用IKONOS、QuickBird、WorldView4和高分二号四类遥感数据进行实验,结果表明,与其他融合方法相比,所提方法在主观视觉效果和客观量化指标上均表现出良好的性能,验证了所提方法的有效性。

高光谱影像小样本分类的图卷积网络方法

现有的基于卷积神经网络的高光谱影像分类方法通常对影像的规则正方形区域进行卷积,无法普遍适应具有不同地物分布和几何外观的影像局部区域,因此在小样本情况下的分类性能较差,而图卷积网络能对图拓扑信息所代表的不规则影像区域进行卷积。为此,本文提出基于图卷积网络的高光谱影像分类方法。该方法在构建拓扑图的过程中考虑了影像的空间光谱信息,并利用图卷积网络聚合邻居节点的特征信息。在Pavia大学、Indian Pines和Salinas 3个数据集上的试验结果表明,该方法能在训练样本较少的情况下取得较高的分类精度。

高光谱影像分类的深度少样例学习方法

针对高光谱影像分类面临的小样本问题,提出了一种深度少样例学习算法,该算法在训练过程中通过模拟小样本分类的情况来训练深度三维卷积神经网络提取特征,其提取得到的特征具有较小类内间距和较大的类间间距,更适合小样本分类问题,且能用于不同的高光谱数据,具有更好的泛化能力。利用训练好的模型提取目标数据集的特征,然后结合最近邻分类器和支持向量机分类器进行监督分类。利用Pavia大学、Indian Pines和Salinas 3组高光谱影像数据进行分类试验,试验结果表明,该算法能够在训练样本较少的情况下(每类地物仅选取5个标记样本作为训练样本)取得优于传统半监督分类方法的分类精度。

利用深度卷积循环神经网络的高光谱影像空谱特征分类方法

针对高光谱影像分类问题,提出了基于深度卷积循环神经网络的高光谱影像空谱特征分类方法。首先将高光谱数据立方体看作一组特征序列;然后利用深度卷积循环神经网络构建特征序列的依赖关系,并采用"预训练+微调"的训练策略对深层网络模型进行训练,从而使得所设计的深层网络在训练样本较少的情况下也能得到更加充分的优化。在Pavia大学和Indian Pines数据集上的试验结果表明,构建的深度卷积循环神经网络的分类精度比RNN方法分别提升了9.49%和5.8%。

基于蚁群算法的高光谱影像波段选择

针对高光谱影像数据量大、冗余度高、相关性强的特点,根据蚁群算法的生物学模型,设计了基于蚁群算法的波段选择方法。该方法在初始化参数的基础上,经过状态概率转移、信息素更新、迭代循环三个步骤,利用信息素的正反馈原理输出最优波段子集;在波段选择的基础上采用以径向基为核函数的支持向量机算法进行分类;利用IndianPines和PaviaUniversity两组影像进行分类实验。试验结果表明,与基于遗传算法的波段选择和基于粒子群算法的波段选择相比,该算法能有效提高影像的分类精度。

考虑局部方差互信息和梯度一致性的改进SFIM遥感图像融合方法

全色图像和多光谱图像由于光谱和空间尺度上的差异,融合结果容易出现光谱失真或空间失真。如何同时实现两个尺度上的对齐,是提高融合效果的关键。传统的SFIM(Smoothing Filter-based Intensity Modulation)遥感图像融合方法可以保证光谱尺度上的一致,但在衡量空间尺度一致上还不够精确。针对此问题,本文提出了一种基于局部方差互信息的空间尺度对齐方法,并在平均梯度一致性的约束下进一步改进SFIM方法。该方法首先对多光谱各波段线性拟合生成多光谱强度图像,并对高分辨率全色图像进行高斯低通滤波,改变滤波参数循环计算2幅图像的局部方差图像间的互信息,当互信息最大时,高斯滤波参数为最佳滤波估计参数;然后,用该高斯滤波器卷积高分辨率全色图像,得到与多光谱图像空间尺度一致的低分辨率全色图像;之后,高低分辨率全色图像间比值处理得到细节图像,以高分辨率全色图像平均梯度为基准,引入调节系数控制细节图像的注入量;最后,细节图像、调节系数与多光谱图像相乘得到融合图像。为验证本文方法的有效性,在IKONOS和Quickbird两种数据集的植被区、建筑区和混合区3个不同场景六组图像开展融合实验。实验结果表明,对于KONOS数据,本文方法3组实验在光谱保持指标SAM上均位于第二,信息量EN有2组第一,对于Quickbird数据,本文方法3组实验在SAM、EN和AG3个指标上均为最优,具有较好的光谱保持能力和信息丰富程度;空间信息保持指标SCC值虽非最佳,但与SCC值最佳的AGSFIM方法相比,4组实验的SAM、EN和AG这3个指标整体明显优于对方,而与SCC值相近的GSA或SFIM方法对比,本文方法在6组实验中其他3个指标的也均优于对方,平均提升了13.39%、39.52%和34.03%。同时,本文方法在目视效果上也有较为不错的表现,融合真彩色图像与原始真图像彩色差异较小,图像清晰度基本近似全色图像。融合场景方面,本文方法对于植被为主或混合区域,光谱保持优势明显,图像信息量较为丰富;以建筑为主的场景,融合结果的光谱、信息的丰富程度和清晰度也具有不错效果。

应用多尺度融合策略和改进YOLOV5的道路病害无人机检测

结合无人机和深度学习目标检测算法自动检测道路病害具有范围广、成本效益高等优势。然而,道路病害的形状和大小变化剧烈,很难完整检测它们。此外,受限于计算资源,通用的目标检测算法只适用于小尺寸影像(512像素×512像素或640像素×640像素),很难直接应用于大尺寸的无人机影像(5 472像素×3 648像素或7 952像素×5 304像素)。使用传统方法检测大尺寸影像中的多尺度目标会出现大尺寸目标切分、小尺寸目标漏检等问题。针对上述问题,本文提出了一种结合全局-局部多尺度融合策略和YOLOv5-RDD的创新解决方案。(1)构建了YOLOv5-RDD模型,在现有YOLOv5模型的基础上,设计多尺度C3(MSC3)模块和上下文特征金字塔网络(CFPN),增强了对多尺度目标的检测能力。(2)提出了一种全局-局部多尺度融合策略,利用下采样和切分手段获取大尺寸无人机影像的全局和局部信息,然后叠加全局和局部多尺度信息以获取整个大尺寸影像的多尺度信息,并采用中心非极大值抑制算法优化检测结果。(3)为验证所提方法的有效性,创建了一个专门用于无人机道路病害检测的UAV-RDD数据集。实验结果显示,与原始的YOLOv5模型相比,新模型YOLOv5-RDD在mAP上提升了5.8%,而全局-局部多尺度融合策略相比传统方法在mAP上提升了9.73%,充分证明了本文方法的有效性和优越性。

多分支双任务的多模态遥感影像道路提取方法

光学影像和SAR影像具有丰富的互补属性,有效的融合策略可为地物解译提供夯实的信息基础。道路作为条状地物,其拓扑结构、分布规律和应用场景往往会对解译效果带来挑战。基于此,本文提出一种多分支双任务的多模态遥感影像道路提取方法。首先,构建结构相同但参数独立的编码—解码网络分别对光学和SAR影像进行特征提取,并利用道路表面分割标签监督训练;其次,引入SAR影像的编码层特征进行道路边缘检测,并将其中间特征输入至SAR影像的解码层特征,从而优化道路与背景的切割效果;最后,利用设计的通道—条状空间注意力(Channel Attention-Strip Spatial Attention,CA-SSA)充分融合光学影像和SAR影像的浅层和深层特征,从而预测最终的道路提取结果。为验证本文方法的有效性,利用Dongying数据集进行实验,在定量精度评价指标中,本文方法的IoU相比单模态对比方法至少提升1.04%,相比多模态对比方法至少提升1.95%;在定性效果分析中,本文方法在道路交叉口以及低等级道路等重难点区域具有明显优势。此外,在光学影像受云雾影响时,本文方法的道路提取效果最佳。

面向高光谱影像小样本分类的全局-局部特征自适应融合方法

高光谱影像标记样本的获取通常是一项费时费力的工作,如何在小样本条件下提高影像的分类精度是高光谱影像分类领域面临的难题之一。现有的高光谱影像分类方法对影像的多尺度信息挖掘不够充分,导致在小样本条件下的分类精度较差。针对此问题,本文设计了一种面向高光谱影像小样本分类的全局特征与局部特征自适应融合方法。该方法基于动态图卷积网络和深度可分离卷积网络,分别从全局尺度和局部尺度挖掘影像的潜在信息,实现了标记样本的有效利用。进一步引入极化自注意力机制,在减少信息损失的同时提升网络的特征表达,并采用特征自适应融合机制对全局特征和局部特征进行自适应融合。为验证本文方法的有效性,在University of Pavia、Salinas、WHU-Hi-LongKou和WHU-Hi-HanChuan4组高光谱影像基准数据集上开展分类试验。试验结果表明,与传统分类器和先进的深度学习模型相比,本文方法兼顾执行效率和分类精度,在小样本条件下能够取得更为优异的分类表现。在4组数据集上的总体分类精度分别为99.01%、99.42%、99.18%和95.84%,平均分类精度分别为99.31%、99.65%、98.89%和95.49%,Kappa系数分别为98.69%、99.35%、98.93%和95.14%。本文方法对应的代码开源于https://github.com/IceStreams/GLFAF。

面向遥感影像场景分类的类中心知识蒸馏方法

卷积神经网络已广泛应用于遥感影像场景分类任务,然而优秀的模型体量大,无法部署到资源受限的边缘设备中,直接应用现有的知识蒸馏方法压缩模型,忽略了场景数据的类内多样性和类间相似性。为此,本文提出一种类中心知识蒸馏方法,旨在获得一个紧凑高效且精度高的遥感影像场景分类网络。首先对预训练的教师网络进行微调,然后基于设计的类中心蒸馏损失将教师网络强大的特征提取能力迁移到学生网络,通过约束师生网络提取的同类特征分布中心的距离完成知识的转移,同时在蒸馏过程中结合真值标签训练,最后学生网络单独用于预测。实验在4个数据集上与8种先进的蒸馏方法在不同训练比率、不同师生架构下进行了比较,本文方法均达到最高分类精度。其中,在训练比率为60%的RSC11、UCM、RSSCN7及AID数据集中,相比于性能最好的其他蒸馏方法,师生网络属同系列时分类总体精度分别提升了2.42%、2.74%、2.95%和1.07%。相似技术对比实验及可视化分析进一步证明了本文方法优异的性能。本文所提出的类中心知识蒸馏方法更好地传递了复杂网络所提取的类内紧凑、类间离散的特征知识,提高了轻量网络分类的性能。