基于双字典的高光谱与多光谱图像融合

在遥感领域,高分辨率高光谱图像(high-resolution hyperspectral images,HR-HSI)的获取极具挑战,通过融合低分辨率高光谱图像(low-resolution hyperspectral images,LR-HSI)与高分辨率多光谱图像(high-resolution multispectral images,HR-MSI)获得HR-HSI是较为经济的方式。基于光谱字典的传统融合算法在保持光谱连续性上效果优异,但空间信息的表现力仍有增强的潜力。为此,文章提出一种基于双字典的图像融合算法。首先利用LR-HSI和HR-MSI分别训练出光谱字典和空间字典,然后基于光谱字典和空间字典分别在光谱域和空间域得到光谱型高分辨率高光谱图像(spectral high-resolution hyperspectral images,Spc-HR-HSI)和空间型高分辨率高光谱图像(spatial high-resolution hyperspectral images,Spa-HR-HSI),并利用双域图像在迭代更新中相互约束,彼此促进,直至收敛,最终融合出HR-HSI。由于高光谱图像本身存在较强的低秩特性,该文利用局部低秩与非局部低秩约束,进一步增强目标图像的融合质量。实验结果表明,该文提出的算法融合结果优于其他对比算法。

基于高光谱图像特征融合的榛子水分含量测定

采用高光谱图像技术对榛子水分含量进行快速无损检测。采集200个榛子在400~1 000 nm波段的高光谱图像,提取榛子图像区域的平均光谱信息。利用K-S算法划分样品验证集和预测集,使用四种预处理方法对光谱进行预处理。通过竞争自适应加权算法(Competitive Adaptive Reweighted Sampling,CARS)和逐次投影法(Successive Projection Algorithm,SPA)进行光谱特征的提取;灰度共生矩阵法(Gray Level Co-occurrence Matrix,GLCM)提取图像的纹理特征;分别建立基于光谱特征,图像纹理特征以及两者串联融合的偏最小二乘回归(Partial Least Squares Regression,PLSR)和支持向量回归(Support Vector Regression,SVR)模型对榛子水分进行预测。结果表明,CARS和SPA算法能够有效选择特征波长并提升预测性能;图像特征能够对榛子水分进行预测,基于主成分图像提取的图像特征信息建立的模型预测效果更好。光谱图像特征融合能明显提高对榛子水分含量预测的准确率,CARS提取的特征波段结合主成分图像的纹理特征显示出了更好的效果,SVR模型的RMSECV为0.03,RC 为0.97,RMSEP为0.04,RP为0.96。利用高光谱图像和纹理特征能够对榛子水分进行有效预测,为榛子水分含量检测提供了新的方法。

一种波段聚类和多尺度结构特征融合的高光谱图像分类模型

高光谱图像包含丰富的地物信息,在农业、工业和军事等领域应用广泛。因此,高光谱图像的识别与分类是一项重要的研究课题。然而,高光谱图像存在光谱维度高、噪声大、标记样本有限等问题,并未取得很好的分类效果。针对以上问题,提出一种波段聚类和多尺度结构特征融合的高光谱图像分类模型(ASPS-MRTV)。该方法主要包括以下几个步骤,首先,对高光谱数据进行归一化处理,将归一化后的三维图像按光谱维等分为n个子空间;其次,采用粗细划分策略构造自适应子空间光谱特征提取框架,将每个空间波段拉伸为一维向量后用信息散度构造波段的相似性矩阵,按照聚类的思想对n个子空间进行自适应;然后,将每个自适应子空间的光谱波段平均值进行叠加,形成光谱特征;最后,对所得到的光谱特征数据利用多尺度相对全变分技术提取结构特征。为了增强样本的线性可分性,在数据堆叠之后进行核主成分分析,最终形成空谱特征。对比实验中统一使用惩罚参数C和核参数σ都为24.5的SVM进行分类。经测试,ASPS-MRTV网络模型在Indian Pines、 University of Pavia两个数据集上分别以5%, 1%的训练样本达到了97.06%、 98.98%的总体分类精度。实验结果表明,该模型与SVM、 ASPS(ED)、 ASPS(ID)、 ASPS-LBP、 ASPS-GlCM、 ASPS-BF模型相比,在分类性能和计算效率方面都取得了更优的效果,有效提高小样本下高光谱图像的分类精度。

基于高光谱图像波段融合的猕猴桃软腐病早期分类检测

软腐病是猕猴桃采后贮藏和销售过程中危害最严重的真菌病害,其潜伏期长,在染病早期还未表现出明显病状时,依靠人工筛选很难将其分类。为此应用高光谱成像技术(470~900 nm)对软腐病的早期分类检测展开研究。采集了健康猕猴桃以及感染软腐病的早期和晚期猕猴桃共295个高光谱图像,并采用Kennard-Stone算法将样本按照7∶3划分为训练集和测试集样本。首先对样本进行感兴趣区域的选择,然后取该区域的平均光谱作为样本的原始光谱曲线。对原始光谱曲线采用主成分分析(PCA)、连续投影算法(SPA)和竞争性自适应重加权算法(CARS)进行光谱特征的提取。与此同时,对SPA求解过程中的8个特征波段使用非下采样轮廓波变换(NSCT)进行波段融合获得融合图像,然后使用灰度共生矩阵法(GLCM)提取融合图像的纹理特征。最后将光谱特征和纹理特征进行融合并分别建立最近邻算法(KNN)、随机森林(RF)以及支持向量机(SVM)分类模型进行猕猴桃软腐病的早期分类检测。此外,还与其他文献中使用主成分图像或特征波段提取的纹理特征进行了对比。该研究主要创新点为:使用NSCT对特征波段图像进行融合后再提取其纹理特征,既降低了特征维度,减少了特征冗余,又融合了不同波段图像的互补信息,提高了分类准确率。实验结果表明,SVM是最适合该研究的分类器,单独使用光谱特征或纹理特征进行分类的结果都不够理想,但两种特征融合后分类准确率最高可达到92.05%,多数猕猴桃软腐病早期样本得到了正确识别,这说明两种特征的融合获得了高光谱图像中光谱和图像的差异性信息,体现了高光谱图像的“空谱合一”。该研究对软腐病早期猕猴桃进行了快速、准确的无损检测,可为猕猴桃的采后品质分级提供一定的参考和指导意义。

卷积神经网络与视觉Transformer联合驱动的跨层多尺度融合网络高光谱图像分类方法

高光谱图像(HSI)分类是地球科学和遥感影像处理任务中最受关注的研究热点之一。近年来,卷积神经网络(CNN)和视觉Transformer相结合的方法,通过综合考虑局部-全局信息,在HSI分类任务中取得了成功。然而,HSI中地物具有丰富的纹理信息和复杂多样的结构,且不同地物之间存在尺度差异。现有的二者结合的方法通常对多尺度地物目标的纹理和结构信息的提取能力有限。为了克服上述局限性,该文提出CNN与视觉Transformer联合驱动的跨层多尺度融合网络HSI分类方法。首先,从结合CNN与视觉Transformer的角度出发,设计了跨层多尺度局部-全局特征提取模块分支,其主要由卷积嵌入的视觉Transformer和跨层特征融合模块构成。具体来说,卷积嵌入的视觉Transformer通过深度融合多尺度CNN与视觉Transformer实现了多尺度局部-全局特征信息的有效提取,从而增强网络对不同尺度地物的关注。进一步地,跨层特征融合模块深度聚合了不同层次的多尺度局部-全局特征信息,以综合考虑地物的浅层纹理信息和深层结构信息。其次,构建了分组多尺度卷积模块分支来挖掘HSI中密集光谱波段潜在的多尺度特征。最后,为了增强网络对HSI中局部波段细节和整体光谱信息的挖掘,设计了残差分组卷积模块对局部-全局光谱特征进行提取。Indian Pines, Houston 2013和Salinas Valley 3个HSI数据集上的实验结果证实了所提方法的有效性。

基于空谱融合和随机多图的高光谱遥感图像农作物分类

针对高光谱遥感图像复杂农作物分类问题,提出了一种基于空谱融合和随机多图的高光谱遥感图像农作物分类方法。通过使用一种潜在特征融合和最优聚类(Latent Features Fusion and Optimal Clustering Framework,LFFOCF)的波段选择方法和分段主成分分析(Segmented Principal Component Analysis,SPCA)进行光谱降维,采用多尺度二维奇异谱分析(2-D-Singular Spectrum Analysis,2-D-SSA)应用于降维图像,以提取不同尺度的空间特征。将多尺度空间特征与主成分分析(Principal Component Analysis,PCA)得到的全局光谱特征融合送到随机多图(Random Multi-Graphs,RMG)中进行分类。在印度松树、萨利纳斯和龙口数据集上,所提出的方法与一些现有的方法进行了对比实验。实验结果表明,该方法的类别精度(Class Accuracy,CA)、总体分类精度(Overall Accuracy,OA)、平均分类精度(Average Accuracy,AA)和Kappa系数优于这些方法。

基于Bi-GRU和空-谱信息融合的油菜菌核病侵染区域高光谱图像分割方法

[目的/意义]油菜菌核病是一种全球性的植物病害,可严重影响油菜的产量和品质,造成巨大的经济损失。为解决传统化学检测方法存在的操作复杂、污染环境、破坏样品及检测效率低等问题,构建了一种基于空-谱信息融合的双向门控循环网络(Bi-directional Gate Recurrent Unit,Bi-GRU)模型,实现油菜菌核病侵染区域的高光谱图像分割。[方法]首先提取7×7像素邻域作为目标像素的空间特征,同时考虑全波段光谱特征,实现空间信息和光谱信息的有效融合。在此基础上结合Bi-GRU架构,实现序列数据中任意位置上特征的同时提取,避免了空-谱数据融合顺序对模型结果的影响。[结果和讨论]与卷积神经网络模型和长短时记忆网络模型相比,基于空-谱信息融合的Bi-GRU模型在平均精度、平均交并比、Kappa系数和Dice系数等评价指标上均获得显著提升。该模型的油菜菌核病检测平均精度达到93.7%,同时可以有效提取早期感染阶段的病斑区域。[结论]本研究可为油菜菌核病的高通量无损检测奠定基础,也为油菜菌核病的早期感染检测提供参考依据。

基于空间‑光谱级联差分网络的病理学高光谱图像融合方法

高分辨率高光谱病理学图像包含细粒度的二维空间信息和光谱维信息,对于精确诊断具有重要意义。现有方法存在空间光谱信息提取不充分和边缘信息利用不足的问题,为此,提出一种基于空间-光谱级联差分网络的病理学高光谱图像融合方法,通过级联空间-光谱模块重建高分辨率高光谱病理学图像,其中,每个空间-光谱模块都采用差分的方法分别设计了空间边缘损失和光谱边缘损失来分阶段约束和优化模型,从而实现病理学高光谱图像和多光谱图像的有机融合。该模型在病理图像数据集上进行实验,融合图像的4项评价指标RMSE,PSNR,ERGAS,SAM分别达到4.5937,32.3280,4.6683和3.6354,研究表明,基于空间-光谱级联差分网络的融合方法能够对细节较为丰富的病理学图像实现精细融合,为多光谱图像融合提供了参考依据。

面向误差补偿的高光谱与多光谱图像融合

目的在高光谱和多光谱融合领域,光谱字典学习是一种常用的方法,但是这种算法获得的融合结果不可避免地会损失一部分空间信息。针对这一问题,本文提出了一种面向误差补偿的高光谱和多光谱融合框架,即先利用低分辨率图像构建出误差,再将构建的误差对字典学习所得初步结果进行补偿,从而捕获更多的空间信息和光谱信息。方法设计了一种基于局部区域的注入系数,使得到的系数能够根据局部区域的光谱特性自适应地调整误差信息的注入权重,从而避免注入过多或者过少的空间信息而导致光谱失真。为了保证融合结果在提升空间分辨率的同时不发生光谱畸变,在梯度域提取多光谱图像的空间结构,构造变分模型,并将光谱字典学习得到的初步结果与计算出的系数相结合构成优化项并将该优化项与变分模型结合,构建出一个新的模型,通过迭代更新,逐步提升补偿系数的精度和融合结果的质量。结果分别在两个公开数据集上与其他算法进行对比,实验结果表明,本文算法在评价指标和视觉效果上都取得明显提升。从主观分析来看,本文方法可以得到融合质量高、视觉效果自然清晰的目标图像。从客观评价指标来看,在Pavia University数据集上的实验结果在ERGAS(relative dimensionless global error in synthesis)、SAM(spectral angle mapper)、RMSE(root mean square error)指标上与次优方法相比,分别提升了4.2%、4.1%和2.2%;在AVIRIS(airborne visible infrared imaging spectrometer)数据集上分别提升了2.0%,4.0%和3.5%。结论本文算法在有效提升融合结果空间分辨率的同时,很好地保持了光谱信息。且在不同数据集上取得了较优的表现,具有一定的鲁棒性。

基于空谱多特征融合的高光谱遥感图像分类

高光谱遥感图像分类已被公认为是高光谱数据处理的基础性和挑战性任务之一,其最终目标是给影像中的每个像元赋予唯一的类别标识。针对传统高光谱遥感图像分类方法只依靠单一特征进行分类的问题,提出一种基于空谱多特征融合的分类策略。首先在光谱域上利用主成分分析法PCA降维,得到前3个主成分数据,然后通过多视图策略对PCA降维后的数据分别提取局部二值模式LBP、方向梯度直方图HOG与Gabor特征,将其输入到多视图支持向量机进行分类。所提方法在Indian Pines数据集上进行验证,实验结果表明,所采用的分类策略相较于传统只利用单一特征进行分类的方法分类精度更高。

应用高光谱图像技术对林下作物质量等级鉴别方法——以黄芪为例

黄芪作为一种林下多年生草本,具有极高的经济和药用价值。黄芪粉是黄芪的重要消费形式,不同质量等级的黄芪粉由于内部成分差异,在近红外光谱下具有不同的特性,而肉眼却难以区分。针对不同质量等级间黄芪粉难以鉴别的问题,利用高光谱成像技术对312组黄芪粉样本进行数据采集,再对光谱信息采用标准正态变化(SNV)、多元散射校正(MSC)和卷积平滑(SG)3种预处理,再利用竞争性自适应重加权采样(CARS)、变量组合集群分析(VCPA)和区间变量迭代空间收缩法(IVISSA)对全波段光谱进行特征提取,以优选的特征波长作为输入,建立K-近邻判别(KNN)和支持向量机(SVM)分类模型。结果表明:经过竞争性自适应重加权采样的支持向量机模型分类效果最好,训练集和测试集准确率分别达到100.00%和98.94%,能够实现黄芪粉的准确分类,为林下作物的等级鉴别提供了新的研究思路。

基于自适应深度先验的高光谱图像超分辨率

为了解决现有的高光谱超分辨率方法依赖于手工先验和数据驱动先验会导致参数选择困难或可解释性差的问题,采用一种基于自适应深度先验正则的高光谱图像超分辨率方法,进行了理论分析和实验验证。首先设计基于卷积神经网络的多阶段特征提取网络,提取退化图像的空间和光谱信息;其次将提取到的空-谱先验输入基于transformer模型的特征融合模块;然后自适应交互空域和谱域的互补信息,以捕获图像的全局先验特征;最后在退化模型中插入深度先验正则项,将超分辨率问题表述为一个优化问题,其解可以通过交替方向乘子法获得并降低求解复杂度。结果表明,所提出算法在信噪比均为35 dB时,重建信噪比分别达到了34.16 dB和29.35 dB,比次优算法高出2.78 dB和2.17 dB,重建的高分辨率高光谱图像与其固有结构具有较高的一致性。该研究为综合利用手工先验和数据驱动先验增强高光谱图像空间分辨率提供了参考。

基于多尺度非对称密集网络的高光谱图像分类

近年来,基于有限标记样本的高光谱图像(HSI)分类方法取得了重大进展。然而,由于高光谱图像的特殊性,冗余的信息和有限的标记样本给提取强判别特征带来了巨大挑战。此外,由于各类别像素分布不均,如何强化中心像素的作用,减弱不同类别的周围像素的负面影响也是提高分类性能的关键。为了克服上述局限性,该文提出一种基于多尺度非对称密集网络(MS-ADNet)的高光谱图像分类方法。首先,提出一个多尺度样本构建模块,通过在每个像素周围提取多个尺度的图像块,并进行反卷积和拼接以构建输入样本,使其既包含详细的结构区域,又包含较大的同质区域;然后,提出一个非对称密集连接结构,在空间和光谱特征联合提取中实现核骨架增强,即增强了方形卷积核的中心十字区域部分提取的特征,有效地促进了特征重用。此外,为了提高光谱特征的鉴别性,提出一种精简的元素光谱注意力机制,并将其置于密集连接网络的前端和后端。在每类仅采用5个样本进行网络训练的情况下,该方法在Indiana Pines, Pavia University和Salinas数据集上的总体准确率分别达到了77.66%, 84.54%和92.39%,取得了极具竞争力的分类结果。

基于深度图像先验的高光谱图像去噪方法

为了避免现有的高光谱图像去噪优化模型仅考虑有限的高光谱内在结构特点、并未实现图像特征的精确表征的问题,采用了一种基于空谱深度图像先验与平滑的高光谱图像去噪方法,将紧框架变换与具有高表达与强学习能力的深度学习模型进行结合,构建基于深度学习的噪声去除模型。首先在低秩矩阵分解的基础上,利用特定的深度图像先验学习潜在的空谱特征;然后分别构建端元与丰度矩阵的紧框架稀疏正则探究空谱局部平滑,并解决深度图像先验的半拟合问题;最后设计高效迭代算法实现模型求解。结果表明,基于空谱深度图像先验的方法在各种复杂的噪声干扰下均表现出较好的视觉恢复性能,峰值信噪比至少有1 dB以上的提升,得到了高质量的恢复图像。该方法为高光谱图像去噪提供了参考。

多光谱图像融合的IC器件表面缺陷检测

针对单可见光或单红外条件下的IC器件表面缺陷对比度不足,缺陷检测精度低的问题,提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题,引入拉普拉斯金字塔和特征描述符重组策略改进ORB(Oriented FAST and Rotated BRIEF)图像配准算法。在图像配准的基础上,提出NSST_VP图像融合方法,以非下采样剪切波变换(Non-Subsample Shearlet Transform, NSST)得到红外图像和已配准可见光图像的低频和高频子带,对低频子带采用视觉显著图(Visual Significance Map, VSM)加权融合规则,高频子带则采用自适应脉冲耦合神经网络(PA-Pulse Coupled Neural Network, PA-PCNN)决策融合规则,进而通过NSST逆变换得到高质量多光谱融合图像。最后,将融合图像输入YOLOv8s模型进行检测。实验结果表明,改进ORB的图像配准平均精度为87.8%,比ORB图像配准精度提高了62%,NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中,NSST_VP融合方法的均值平均精度(mean Average Precision, mAP)达到83.15%,比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%,28.31%,比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%,15.01%,20.35%。

基于改进SE-Net和深度可分离残差的高光谱图像分类

针对目前常见的用于高光谱图像分类的卷积神经网络参数数量多,训练时间长,对样本数量依赖性大的问题,提出一种适用于有限训练样本条件下基于改进压缩激活网络和深度可分离残差的分类网络MDSR&SE-Net.首先使用主成分分析对原始高光谱图像进行通道降维,然后通过三维卷积神经网络连接多特征残差结构,同时嵌入改进的SE模块提取高光谱图像的空间和光谱细节特征,最后将提取到的特征数据输入Softmax分类器激活分类.为了使网络更加轻量,通过在残差结构中使用深度可分离卷积和引入全局平均池化减少参数数量.实验结果显示,使用有限训练样本在三种常见高光谱数据集上总体分类精度均达到99%以上.

基于虚拟样本伪标签生成的高光谱图像分类

半监督高光谱图像分类的精度一般随着标记像素数的增加而提高.然而,标签样本的获得费时费力,且依赖于专家知识.针对这个问题,提出了一种通过少量标签样本生成具有伪标签的虚拟样本新方法.基于数学中的凸集理论,所提出的方法利用少量的训练样本可以生成任意多的带有伪标签的虚拟样本,有效地扩大了训练样本集,明显改善了半监督分类器的分类结果.为了验证所提方法的有效性,在Indian Pines和Pavia University两个常用的实际高光谱数据集上进行了广泛测试.实验结果表明,利用所提出的方法在分类具有少量标签样本的高光谱图像时,3个评价分类结果的指标值均有明显提升.

基于多分支空谱特征增强的高光谱图像分类

为了解决高光谱图像自身及分类过程中噪声干扰大、空间-光谱特征信息提取不足以及有限样本下分类性能不佳等问题,提出一种基于多分支空谱特征增强的高光谱图像分类模型SSFE-MBACNN。首先,利用多分支特征提取模块分别提取浅层空谱特征和深层空间特征信息,并引入注意力机制抑制噪声干扰。其次,设计一种改进多尺度空谱特征提取融合模块及结合双池化和空洞卷积的空间特征增强模块实现空谱特征增强,减少模型参数量和提高分类性能。最后,用全局平均池化层代替全连接层,进一步降低参数量,缓解模型过拟合问题。实验结果表明,在Indian Pines(10%训练样本)、Pavia University (5%训练样本)和Salinas(1%训练样本)数据集分别取得了0.990 7、0.997 5和0.994 7的总体分类精度。SSFE-MBACNN不仅能充分利用空谱特征信息,而且在有限样本下也取得了优秀的分类性能,明显高于其他对比方法。

基于自适应矩阵的核联合稀疏表示高光谱图像分类

针对高光谱图像丰富的空间信息和光谱信息未充分利用的问题,提出了基于自适应矩阵的核联合稀疏表示高光谱图像分类的方法。在特征表示阶段,定义了自适应矩阵特征,通过结合自适应邻域块策略与非线性相关熵度量构成的特征来描述原始光谱像素,充分融合了形状可变的空间信息与非线性光谱信息。在分类阶段,考虑自适应矩阵和高光谱图像非线性,采用对数欧式核函数,构建了核联合稀疏表示模型,以获得重构误差。同时利用字典空间信息构建了矩阵相关性,引入平衡参数实现了稀疏重构误差与矩阵相关性的联合分类。在两个数据集上的实验结果表明,该算法充分利用了高光谱图像的空间信息、光谱信息,能够有效提高分类精度。

基于伪孪生网络的高光谱图像分类

基于深度学习架构的高光谱图像分类近年来一直是遥感领域研究的热点之一.然而,如何提出新的分类框架,对具有少量标签样本的高光谱数据进行有效分类仍是一个挑战性的问题.设计了一种改进伪孪生网络的高光谱图像分类架构.该方法首先将一幅高维的高光谱图像划分为2幅低维的图像,分别利用卷积神经网络和图卷积网络进行特征提取.然后通过级联操作,将提取到的谱信息进行有效集成.最后输入全连接神经网络进行分类.所提出的方法改进了经典的伪孪生网络并应用于高光谱图像分类.在2个实际的高光谱数据集上的实验结果和比较结果验证了方法的有效性.