基于深度展开和双流网络的高光谱图像融合

针对基于深度学习的高光谱图像融合算法通常堆积多个卷积以学习映射关系、没有充分利用问题的特性以及缺乏可解释性等问题,提出一种结合深度展开与双流网络的深度网络。首先使用卷积稀疏编码建立融合模型,该模型将低分辨率高光谱图像(Low-resolution hyperspectral images,LR-HSI)和高分辨率多光谱图像(high-resolution multispectral images,HR-MSI)映射到低维子空间中。在融合模型设计中,考虑了LR-HSI和HR-MSI的共有信息以及LR-HSI的独有信息,并将HR-MSI作为辅助信息加入模型中。其次将该融合模型展开为可学习的可解释深度网络。最后,使用双流网络获取更精确的高分辨率高光谱图像(High-resolution hyperspectral images,HR-HSI)。实验表明,该网络在高光谱图像融合中可以获得出色的效果。

基于sc-NMF的高光谱图像融合

将高光谱图像与全色图像融合,所得融合数据对于后续的其它高光谱图像处理非常有帮助。区别于传统方法,针对高光谱图像特点,引入了光谱约束项,改进并建立基于光谱约束的非负矩阵分解(spectral-constrained nonnegative matrix factorization,sc-NMF)。改进后,该模型首先在光谱约束前提下,对高光谱图像进行非负矩阵分解,对分解所得基底进行增强,再重建高光谱图像。这样,所得到的融合图像在空间细节和光谱保持性均有比较好的效果。最后,进行了仿真和实际数据的实验验证,通过主观和客观的评价结果,所改进的融合方法性能较好,比传统方法更适用于高光谱图像融合。

基于极大后验概率估计的高光谱图像融合算法研究

本文研究了基于PCA和极大后验估计的高光谱图像融合算法。该算法首先挖掘影像内在的观测模型,建立极大后验估计的目标函数。针对高光谱影像数据量大的特点,通过简化观测模型获得参数估计。融合实验结果表明,基于极大后验估计的高光谱影像融合算法不仅理论严密,而且图像融合效果较其他的增强方法的效果好。

双判别器深度残差GAN高光谱图像融合

目的 为了解决高空间分辨率多光谱图像与高光谱图像融合时的多波段对多波段问题,以及高空间分辨率多光谱图像波谱范围不能完全涵盖高光谱图像波谱范围而导致的光谱失真问题,本文利用深度学习的数据驱动优势,基于高分5号(GF-5)高光谱数据和Sentinel-2多光谱数据,提出一种基于生成对抗网络(generative adversarial network,GAN)的高光谱图像空谱融合方法——双判别器深度残差GAN网络(two discriminator deep residual GAN,2DDRGAN)。方法 考虑待融合图像间的波谱范围关系,采用分组融合策略,利用波段间的相关性,将多对多的融合问题转变为多个一对多的融合问题。使用深度残差模块深度提取图像的光谱和空间特征,用两个判别网络对融合图像的空间和光谱质量分别进行判断,改善生成网络生成的融合图像质量。另外,本文的深度学习网络不需要制作额外的融合结果标签,待融合图像本身就是标签,这大大降低了高光谱融合的工作量,也是目前深度学习遥感图像融合的根本改变。结果 与常用传统空谱融合方法和经典深度学习方法比较的实验结果表明,对于不同地物类型数据,该网络得到的融合结果在提升空间分辨率的同时,有较高的光谱保真度。光谱曲线评价也验证了该网络对于高空间分辨率图像波谱范围以外的高光谱图像波段进行融合时有良好的光谱保真度。结论 本文方法通过深度残差模块提取高光谱图像光谱特征和高空间分辨率图像空间特征,同时引入双判别网络,使得融合结果在保持光谱信息的同时更好地提升空间信息。

一种改进PCA与IHS融合的高光谱图像异常检测算法

高光谱图像空间分辨率不足容易导致异常检测虚警率过高,针对此提出了一种新的异常检测算法。算法首先利用主成分分析PCA对低分辨率高光谱图像进行主成分提取,然后对所提取的主成分和高分辨率图像分别进行IHS变换,分别得到各自的强度分量。运用IHS变换的可逆性,将高光谱数据新的强度分量与原色度分量H和饱和度分量S进行IHS逆变换,得到空间信息增强的高光谱图像数据,最后使用改进的KwRX算法对空间信息增强的高光谱图像数据进行异常检测。仿真实验表明,与KRX算法、PCA-KRX算法相比,本算法在检测目标像素数和虚警个数上都有较大的改善,说明了本算法的的有效性和可行性。

基于高光谱融合图像的小麦不完善粒识别

在小麦不完善粒识别中,高光谱图像的光谱特征信息与高分辨率图像的空间结构信息对不同类别小麦的识别有着各自的优势。单纯地利用一种图像源进行小麦识别,无法解决单种数据源的信息局限性。首先通过将高光谱图像进行波段选择和分段主成分分析(PCA)数据降维,然后与高分辨率图像进行配准融合,用新的融合图像作为数据源来进行小麦分类识别。最后新的数据源在结合特征金字塔改进的VGG卷积网络识别算法中,平均识别率相较于高光谱图像和高分辨率图像分别提高6.08%以及3.34%。新数据源有效地融合两种信息源识别小麦的优势,提升识别准确率,进一步推进小麦不完善粒检测技术的发展。

基于DWT和生成对抗网络的高光谱多光谱图像融合

低分辨率的高光谱图像与高分辨率的多光谱图像融合是提高高光谱图像空间分辨率的一种重要技术。卷积神经网络(Convolutional Neural Networks,CNN)在多光谱和高光谱图像融合中取得了一定的进展,然而,如何有效地挖掘高光谱图像的光谱信息和多光谱图像的空间信息仍然是一个具有挑战性的问题。针对此问题,提出了一种基于离散小波变换和生成对抗网络来融合高光谱图像和多光谱图像。生成器网络包括特征提取和融合重建2个部分,特征提取部分通过小波变换下采样和上采样模块提取高光谱图像的特征,同时获得光谱信息和频域信息;融合重建部分,通过多次上采样过程中融合多尺度的多光谱图像信息,重建出高分辨率高光谱图像。判别器网络以最终的融合重建图像和真值图像作为输入,使生成的高分辨率高光谱图像与真值图像尽可能地相似。损失函数中加入焦点频率损失,以缩小频域差距。在3个数据集上的实验结果表明,该方法与现有的深度学习方法相比有更好的性能。

面向误差补偿的高光谱与多光谱图像融合

目的在高光谱和多光谱融合领域,光谱字典学习是一种常用的方法,但是这种算法获得的融合结果不可避免地会损失一部分空间信息。针对这一问题,本文提出了一种面向误差补偿的高光谱和多光谱融合框架,即先利用低分辨率图像构建出误差,再将构建的误差对字典学习所得初步结果进行补偿,从而捕获更多的空间信息和光谱信息。方法设计了一种基于局部区域的注入系数,使得到的系数能够根据局部区域的光谱特性自适应地调整误差信息的注入权重,从而避免注入过多或者过少的空间信息而导致光谱失真。为了保证融合结果在提升空间分辨率的同时不发生光谱畸变,在梯度域提取多光谱图像的空间结构,构造变分模型,并将光谱字典学习得到的初步结果与计算出的系数相结合构成优化项并将该优化项与变分模型结合,构建出一个新的模型,通过迭代更新,逐步提升补偿系数的精度和融合结果的质量。结果分别在两个公开数据集上与其他算法进行对比,实验结果表明,本文算法在评价指标和视觉效果上都取得明显提升。从主观分析来看,本文方法可以得到融合质量高、视觉效果自然清晰的目标图像。从客观评价指标来看,在Pavia University数据集上的实验结果在ERGAS(relative dimensionless global error in synthesis)、SAM(spectral angle mapper)、RMSE(root mean square error)指标上与次优方法相比,分别提升了4.2%、4.1%和2.2%;在AVIRIS(airborne visible infrared imaging spectrometer)数据集上分别提升了2.0%,4.0%和3.5%。结论本文算法在有效提升融合结果空间分辨率的同时,很好地保持了光谱信息。且在不同数据集上取得了较优的表现,具有一定的鲁棒性。

基于光谱梯度角的改进SREM融合方法

针对多光谱图像光谱分辨率增强方法(Spectral Resolution Enhancement Method,SREM)在重采样以及空间配准过程中出现的像元位置和信息量偏差,利用同名点匹配的思想,计算高光谱影像上像元光谱,与多光谱影像上对应位置及其邻域内像元光谱的光谱梯度角,获得最具相似特性的一对像元光谱组成光谱数据集,作为模型的输入数据,提出改进后基于光谱梯度角的ISREM-SGA光谱融合方法(Improved Spectral Resolution Enhancement Method-Spectral Gradient Angle,ISREM-SGA)。以开源图像Chikusei、Pavia U为基础实验数据,通过空间与光谱降维模拟高光谱和多光谱图像进行融合研究,并对融合结果进行质量评价。实验结果表明,改进后的ISREM-SGA提高了融合图像质量,具有较强的稳健性。Chikusei数据的相关系数R与通用质量评价指标UIQI值分别提高了0.03,相对无量纲全局误差ERGAS值降低了3.33;Pavia U数据R值提高了0.24,UIQI值提高了0.30,相对无量纲全局误差ERGAS值降低了35.82,说明了本研究改进后ISREM-SGA高光谱-多光谱遥感图像融合方法的有效性。

基于线性光谱混合模型的城市下垫面分类影响因素分析

基于Hyperion高光谱与ALOS全色波段的融合图像,运用线性波谱分离模型,对影响城市下垫面分类的因子进行定量分析。结果显示:随着空间分辨率的递增,融合图像光谱保真性呈下降之势,并呈现出阈值现象,但所有相关系数值都大于0.90,表明以融合图像进行线性波谱分离提取城市下垫面具有可靠性;下垫面分类总精度则整体明显下降,Kappa系数值也几乎单调减少。大气校正后下垫面分类的总精度和Kappa系数都明显高于大气校正前;当丰度分割值由10%增至60%时,生成的下垫面分类图像的精度单调降低,表明应慎用50%阈值分割法。