基于注意力机制辅助的空谱联合残差网络的高光谱图像分类

卷积神经网络(convolutional neural network,CNN)是高光谱图像分类中一种常用的方法,有着较好的分类表现。然而,CNN不可避免地会提取出一些冗余特征,这对高光谱图像分类的准确率造成干扰。此外,高光谱图像分类还面临着同谱异物、同物异谱问题。为了解决以上这些问题,提出了一种基于注意力机制辅助空谱联合残差网络的高光谱图像分类方法。一方面,通过使用注意力机制辅助的3-D、2-D残差网络,同时从光谱维度和空间维度提取空谱联合特征,克服同谱异物、同物异谱问题;另一方面,引入通道注意力机制和空间注意力机制,有效降低了冗余空谱特征的干扰。在2种高光谱数据集上的实验结果表明,相比同类对比算法,所提出的方法具有更优越的分类性能。

基于多元GMM的机载多光谱LiDAR点云空谱联合分类

针对传统机载多光谱激光雷达(multispectral light detection and ranging,MS-LiDAR)土地覆盖分类方法空谱信息协同利用能力不足或多类型特征联合利用时特征维数过高的缺陷,提出一种基于多元高斯混合模型(Gaussian mixture model,GMM)的机载MS-LiDAR点云空谱联合分割算法。该算法首先对原始多波段独立点云进行辐射校正、异常剔除及融合,形成同时表达空间位置及其对应多波段光谱信息的多光谱点云;然后,提取各激光点的多光谱、高程等特征构建空谱特征矢量,并通过特征标准化及离散化消除不同类型特征间的单位和尺度差异;再次,构建多元GMM建模目标在空谱特征空间呈现的多峰分布,获取激光点属于各类目标的响应度并按照最大响应度原则确定类属;最后,设计3D多数投票法优化分割结果。实验基于实测的Optech Titan MS-LiDAR数据验证提出算法的有效性和可行性。实验结果表明:联合多波段强度特征及高程特征的多元GMM的分割总体精度可达93.57%,Kappa系数可达0.912,仅联合四维特征即可实现MS-LiDAR点云的高精度分割。该项研究可为综合利用MS-LiDAR数据的多光谱及空间信息提供新途径。

基于空谱联合的高光谱图像分类方法现状与展望

高光谱成像技术在近十几年里实现了飞跃式的发展。高光谱图像分类的应用受到广泛关注,其分类精度的提升是当前研究的重点。高光谱图像分类是利用不同地物的诊断性吸收特征区分地物类别。传统的高光谱图像分类仅利用图像的光谱特征,分类效果不明显。近些年的研究表明,同时分析地物光谱特征和空间分布能有效提升分类精度。首先总结了众多空谱联合分类方法,依据空谱信息融合阶段的不同,将空谱联合分类分为预处理的分类、综合处理的分类和后处理的分类,简要介绍了深度学习在空谱联合分类中的实现方法,最后对空谱联合分类的研究前景进行了展望。

一种新的空谱联合探测高光谱影像目标探测算法

高光谱遥感影像不但具有高分辨率的空间信息还包含连续的光谱信息,因此在目标探测领域具有独特的应用优势。传统的高光谱遥感影像目标探测侧重于光谱信息的应用,形成了确定性算法和统计学算法。确定性算法通过计算目标光谱与待检测光谱之间的距离来查找目标,不能检测亚像素目标,而且容易受到噪声的影响;统计学目标检测计算背景统计特性,通过探测异常点来检测目标,可以检测亚像素目标和小目标,但容易受到目标尺寸的影响,不能很好的检测大目标。随着高光谱遥感影像的空间分辨率的增加,探测目标已有亚像素目标逐步转换为单像素及多像素目标,此时,在高光谱图像中,相同类别的地物在空间分布上呈现聚类特性,因此,在利用高光谱遥感影像进行目标探测时,需要将其空间信息融入算法中。将空间特征引入传统目标探测算法。提出了一种新的空谱结合的高光谱目标探测算法,将传统的基于统计的目标探测算子与空域邻域聚类算法相结合,首先利用目标探测算子将影像划分为潜在目标区域与背景区域;通过计算潜在目标区域的质心,以质心为中心进行邻域聚类,剔除潜在目标区域中的背景区域,通过迭代计算获取最终目标探测结果。传统的基于统计的目标探测算子,将整个探测区域定义为背景区域,实现对背景区域的统计特征提取,而该方法将背景区域与潜在目标区域分离,剔除了目标区域对背景区域的统计干扰。将本算子与传统的约束能量最小化算子和自适应余弦探测算子进行分析比较可知,该算子的大目标探测性能优于传统的统计算子。

空谱联合预测高光谱图像无损压缩rice算法

针对rice算法低维预测不能有效降低高光谱数据冗余问题,提出基于空谱联合预测的低复杂度rice算法,应用于高光谱图像无损压缩。根据高光谱图像三维数据特征建立三维预测模型,利用相邻波段谱间相关系数进行联合预测系数分配,有效地减少了高光谱图像空间和谱间冗余。提出基于预测误差均值的最优编码参数选择算法,计算复杂度由O(N)降为O(1)。实验结果表明,本文方法提高无损压缩比5%～40%,编码时间较经典rice算法缩短了4%以上,有利于实时处理和工程实现。

基于空谱联合的多假设预测高光谱图像压缩感知重构算法

为充分利用高光谱图像的空间相关性和谱间相关性,该文提出一种基于空谱联合的多假设预测压缩感知重构算法。将高光谱图像分组为参考波段图像和非参考波段图像,参考波段图像利用光滑Landweber投影算法重构,对于非参考波段图像,引入空谱联合的多假设预测模型,提高重构精度。非参考波段图像中每个图像块的预测值不仅来自非参考波段图像未经预测的初始重构值的相邻图像块,而且来自参考波段重构图像相应位置及其邻近的图像块,利用预测值得到测量域中的残差,然后对残差进行重构并对预测值进行修正,此残差比原图像更稀疏,且算法采用迭代方式提高重构图像的精度。借助Tikhonov正则化方法求解多假设预测的权重系数,并基于结构相似性判断是否改变多假设预测搜索窗口大小,最后利用交叉验证计算重构算法终止迭代的判据参数。实验结果表明,所提算法优于仅利用空间相关性或谱间相关性进行预测和不预测的重构算法,其重构图像的峰值信噪比提高2 d B以上。

空谱联合的核光谱角异常检测及GPU实现

针对高光谱图像空间信息利用不充分影响检测性能的问题,本文提出结合高光谱图像空间信息与光谱信息的异常目标检测算法。该算法无需假设背景模型,通过计算待检测像元与其空间邻域像元的核光谱角累加和,初步得到每个像元的异常程度。利用扩展形态学的腐蚀操作进行异常修正,有效去除噪声干扰,并降低虚警率,从而得到最终的异常检测结果。为提高算法的执行效率,本文进一步提出了基于GPU/CUDA模型下的并行优化处理方法。通过仿真实验证明,该算法在保证较高检测精度的同时,充分利用GPU的并行特性,明显缩减了检测时间。

基于局部边缘预测的空谱联合高光谱图像无损压缩

利用高光谱图像丰富的边缘特性和很强的谱间结构相似性,提出一种基于局部边缘预测的空谱联合高光谱图像无损压缩方法。该方法利用谱间最小方差算法的编码框架,在原有谱内、谱间预测模式的基础上,增加了第三种"无预测"的预测模式,以更好地适应高光谱图像的相关特性。在谱内预测时,针对图像中普遍存在的局部斜边缘,将对角边缘检测引入到中值预测中,提出了改进的对角边缘预测算法。在谱间预测时,通过分析局部边缘存在时上下文的特点,提出简单有效的上下文选择策略,在此基础上,提出了基于局部边缘结构相似性的谱间预测算法,在上下文模板内自适应地选择最佳预测上下文进行谱间预测。实验结果表明,本文方法有效利用了图像的局部边缘特性,更好地去除了谱内和谱间的相关性,改善了预测性能,提高了无损压缩比。

基于空谱联合特征的壁画稀疏多光谱图像颜料分类方法

由于受到现场条件和保护要求限制,对壁画进行光谱成像数据采集时需要快速完成,利用稀疏通道成像能够提高数据采集的效率,但其像元颜料光谱反射率曲线呈现非线性,影响壁画多光谱图像颜料分类精度。针对该问题,提出了基于空谱联合特征的壁画稀疏多光谱图像颜料分类方法,采用长短期记忆神经网络中的双曲正切激活函数提取非线性光谱特征,减小对分类精度的影响;针对多光谱成像空间分辨率较高导致相邻像元相关性较强的问题,利用卷积神经网络中线性整流函数把特征图映射到非线性空间,提高模型非线性特征的表达能力;最后使用多尺度融合策略将空间特征和光谱特征相加,消除光谱非线性和空间相关性的问题对分类结果的影响。实验结果表明,OA和Kappa系数分别达到了97%和0.97以上,有效提高了壁画稀疏多光谱图像的颜料分类精度。

基于空谱联合和波段分类的高光谱压缩感知重构

卫星在获取地面信息时会受到大气、电磁波的干扰,导致高光谱影像本身产生坏线和噪声。针对这一问题,本文结合高光谱遥感影像的特性提出了一种基于空谱联合和波段分类的影像重构方法。首先,根据噪声影响程度将影像波段分为坏线强干扰波段和非干扰低噪声波段;其次,对波段进行分组,确定每组参考波段,并对参考波段进行独立重构;然后,根据参考波段构建双模式空谱联合预测模型,利用正则化交叉投影得到非参考波段重构影像;最后,对坏线强干扰波段,先进行独立重构,然后对重构影像进行小波分解,通过高频校正得到了干扰波段最终重构影像。实验表明,本文方法对重构高光谱影像的平均信噪比较传统方法提高了1~2dB。

基于本征图像分解的高光谱图像空谱联合分类

高光谱图像分类是许多应用的第一步,也是极其重要的一步。针对目前分类方法存在误分现象,尤其是在地物边缘附近区域,以及现有空谱联合分类方法计算复杂度高的问题,提出一种基于本征图像分解以及导向滤波的高光谱图像空谱联合分类方法:利用AP聚类进行波段选择,提高计算效率;利用基于局部稀疏约束的本征图像分解方法进行高光谱本征图像分解,获取反射率本征图;利用导向滤波器对初始分类结果进行优化。实验结果表明:文章提出的空谱联合分类方法在分类精度与计算时间方面优势明显。

基于CCSDS的高光谱压缩空谱联合FPGA设计与实现

分析了CCSDS-123.0-B压缩规范,对空域和谱间联合预测模型进行模块划分,提出了一种现场可编程逻辑阵列(FPGA)设计与实现方法。对局部和与局部差的计算方法进行改进,简化了原计算方法的实现过程。对权重更新过程进行了优化,用DSP48E进行乘法计算,缩短了更新过程内部延时。给出了空谱联合预测器的逻辑结构,实现过程采用流水线设计。实验结果表明:无损压缩平均码率5.14b/p,与二维JPEG-LS相比码率减少2.38b/p,工作时钟80 MHz,预测器平均吞吐率1.69Gb/s。

基于3D-CAE的高光谱图像端到端空谱联合压缩与重建

高光谱图像压缩模型对图像压缩后进行存储和传输,从而减小通信设备的压力。然而,目前绝大多数高光谱图像压缩模型只考虑压缩或者重建的优化,构建压缩和重建端到端优化的压缩模型对于模型性能的提升至关重要。文章提出了一种基于3D卷积自编码器的高光谱图像压缩模型实现高光谱图像端到端空谱联合压缩。实验结果表明,相比2D卷积自编码器,3D卷积自编码器能够将高光谱重建图像的光谱角映射、峰值信噪比和结构相似度分别改进33.1%、11.5%和2.2%。

联合多种空间信息的高光谱半监督分类方法

高光谱影像分类在遥感学科中具有重要的地位,针对传统高光谱图像分类忽略图像空间特征以及分类过程中有标签样本数目少的问题,本文提出了联合多种空间信息的高光谱半监督分类方法。该方法在高光谱图像处理的各个环节均引入了空间信息。此外,该方法对训练样本集进行扩充时,针对高光谱图像的特点,将教与学算法应用于图像分类中,并且将差分算法与教与学算法结合,平衡了搜索能力与时间复杂度之间的关系。经过实验验证,在有标签样本少的情况下,本文方法相比于经典算法SVM和几种性能优异的算法,在分类性能OA、AA以及Kappa系数上均有提升,证明了本文方法引入空间信息提高分类精度的有效性。

利用空间-光谱双分支特征和动态选择的高光谱影像农作物分类

高光谱遥感可以捕获地表近乎连续的光谱曲线,以较高的光谱诊断能力对地表农作物进行精细分类与识别。传统基于深度学习的高光谱分类算法中空间、光谱特征捕捉利用困难、冗余特征筛选能力不足、模型约束过于单一等问题,导致农作物类型复杂且样本分布不均区域分类模型性能下降。该研究提出一种基于空间-光谱双分支动态特征选择的高光谱分类算法,在结合通道注意力机制和空间注意力机制进行空间-光谱特征提取的基础上,通过门控卷积层对提取到的特征进行相关性的计算和处理,实现空间维度和通道维度上的特征动态选择,并分别从空间、光谱和联合特征3个角度对分类结果约束,结合分类损失函数实现高光谱影像的分类任务。结果表明,在JAAS(Jiangsu academy of agricultural sciences,江苏省农业科学院)高光谱农作物分类数据集上,该研究算法总体精度、Kappa系数分别为99.35%和99.20%,相较于专为高光谱分类设计的算法CDCNN(contextual deep convolution network,上下文深层卷积网络)、WCRN(wide contextual residual network,广义上下文残差网络)、DBDA(double-branch dual-attention mechanism network,双分支双注意力机制网络)、DCNN(dual-channel convolution network,双通道卷积网络)分别提升了4.91%和6.12%、6.82%和8.53%、2.12%和2.63%、2.04%和2.54%;在公开数据集WHU-Hi-HanChuan区域,总体精度、Kappa系数分别为99.49%、99.41%,相较于CDCNN、WCRN、DBDA、DCNN分别提升了1.67%和1.96%、3.23%和3.80%、2.00%和2.35%、1.10%和1.29%;在WHU-Hi-Longkou区域,总体精度、Kappa系数分别为99.8%、99.74%,相较于CDCNN、WCRN、DBDA、DCNN分别提升了1.30%和1.71%、0.59%和1.74%、0.71%和0.93%、0.57%和0.76%。所提方法在样本分布不均的不同作物识别上均具有较高的识别准确率,可为基于高光谱影像的地物复杂且样本分布不均地区的农作物分类提供指导。

一种利用空谱联合特征的高光谱图像分类方法

高光谱图像分类已被公认为是高光谱数据处理的基础性和挑战性任务,丰富的光谱信息和空间信息为有效描述和识别地表物质提供了契机。卷积神经网络(CNN)中的参数较多,为了避免过拟合问题,需要大量的训练样本。Log-Gabor滤波器可以有效地提取包括边缘和纹理在内的空间信息,降低CNN特征提取的难度。为了充分利用CNN和Log-Gabor滤波器的优点,提出了一种将Log-Gabor滤波器和CNN相结合的高光谱图像分类方法,并利用两个真实的高光谱图像数据集进行了对比实验。实验结果表明,所提方法比传统的支持向量机和CNN方法具有更高的分类精度。

空-谱协同正则化稀疏超图嵌入的高光谱图像分类

传统依据图嵌入的高光谱图像维数约简算法多数仅利用光谱信息表征像元间单一关系,忽视了数据间的多元几何结构。本文提出了一种面向高光谱图像分类的空-谱协同正则化稀疏超图嵌入算法(SSRSHE)。该算法首先利用稀疏表示揭示像元之间的相关性,自适应选择近邻,并构建稀疏本征超图和惩罚超图,以有效表征像元间的复杂多元关系,并进行正则化处理。然后利用遥感图像空间一致性原则,计算局部空间邻域散度来保持样本局部邻域结构,并引入样本总体散度来保持高光谱数据的整体结构。在低维嵌入空间中,尽可能使类内数据聚集、类间数据远离,提取鉴别特征用于分类。在Indian Pines和PaviaU高光谱遥感数据集上试验结果表明,本文算法总体分类精度分别达到86.7%和 92.2%。相比传统光谱维数约简算法,该算法可有效改善高光谱图像地物分类性能。

面向高光谱图像分类的空谱判别分析

针对传统的基于特征提取的高光谱图像地物分类算法大多只考虑光谱信息而忽略空间信息的问题,提出了一种面向高光谱分类的半监督空谱全局与局部判别分析(S3 GLDA)算法。该算法首先利用少量标记样本保存数据集的线性可分性和全局判别信息,再依靠较多的无标记的空间局部近邻像元来揭示局部判别信息和非线性局部流形,使高光谱遥感图像的光谱域全局判别结构和空间域局部判别结构在低维特征空间同时得以保留,并在输出特征中自动融入了空间信息,构成了半监督的空谱判别分析。在Indian Pines和PaviaU数据集的实验表明,总体分类精度分别达到76.24%和82.96%。与现有几种算法比较,该算法有效提高了输出特征在低维空间的判别能力,更好地揭示了数据集的内在非线性多模本质,有效提升了高光谱图像数据集的地物分类精度。

面向高光谱图像分类的半监督空谱判别分析

为充分利用高光谱图像蕴藏的空间信息提升分类精度,提出了面向高光谱图像分类的半监督空谱判别分析(S3 DA)算法。考虑高光谱图像数据集的空间一致性,首先利用少量标记样本定义类内散度矩阵,保存数据集同类像元的光谱近邻结构;再利用无标记样本定义空间近邻像元散度矩阵,揭示像元间的空间近邻结构和地物的空间分布结构信息。S3 DA既保持数据集在光谱域的可分性,又保存了无标记样本蕴藏的空间域近邻结构,增强了同类像元和空间近邻像元在投影子空间的聚集性,从而提升分类性能。在PaviaU和Indian Pines数据集的试验表明,总体分类精度分别达到81.50%和71.77%。与传统的光谱方法比较,该算法能有效提升高光谱图像数据集的地物分类精度。

基于Swin Transformer和三维残差多层融合网络的高光谱图像分类

卷积神经网络(CNNs)具有出色的局部上下文建模能力,被广泛用于高光谱图像分类中,但由于其固有网络主干的局限性,CNNs未能很好地挖掘和表示光谱特征的序列属性。为了解决此问题,提出了一种基于Swin Transformer和三维残差多层融合网络的新型网络(ReSTrans)用于高光谱图像分类。在ReSTrans网络中,为了尽可能地挖掘高光谱图像的深层特征,采用三维残差多层融合网络来提取空谱特征,然后由基于自注意机制的Swin Transformer网络模块近一步捕获连续光谱间的关系,最后由多层感知机根据空谱联合特征完成最终的分类任务。为了验证ReSTrans网络模型的有效性,改进的模型在IP,UP和KSC 3个高光谱数据集上进行实验验证,分类精度分别达到了98.65%,99.64%,99.78%。与SST方法相比,该网络模型的分类性能分别平均提高了3.55%,0.68%,1.87%。实验结果表明该模型具有很好的泛化能力,可以提取更深层的、判别性的特征。