一种基于对象意识多编码生成器网络的遥感场景分类方法

论文引入了一种对象意识多编码生成器网络的遥感场景方法,从多示例对象定位以及生成式对抗网络图像生成两个方面研究遥感场景分类方法。首先利用原始图像以及生成式对抗网络生成的伪图输入联合定位模块,利用两者特征上的差异性和互补性以定位多个信息性对象部件。然后提出一种多编码生成器网络,每个潜在编码用以恢复图像的特定区域,同时在生成器的中间层通过通道重要性权重组合这些潜在编码,合成足够细节的伪图。最后,论文联合对象部件级分类以及图像全局级分类作为最终的分类结果,用于遥感场景分类。该方法主要在两个公开的大规模场景数据集AID和NWPU-RESISC45上进行了验证。与现有的方法相比,该方法有效定位到了多个信息性对象部件并且提高了遥感场景分类性能。

不同上下文比例对损毁建筑遥感场景图片样本集构建的影响

基于深度学习的遥感影像场景分析是震后进行损毁评估的重要手段。在损毁建筑影像资源相对稀缺的情况下,构建高质量的遥感场景图片样本集,对提高场景识别和分类精度具有重要意义。作为遥感分析的重要参考依据,上下文信息在场景图片中所占比例是影响样本集构建效果的一个关键因素。目前,样本集构建方法中缺乏对上下文信息合适比例的探索。该文以构建高质量样本集为目标,设计一种调整场景图片上下文信息比例的方法,研究不同上下文信息占比对场景样本集构建的影响,探索上下文信息比例的最佳设置范围。文章构建6组不同上下文信息占比的场景图片样本集,使用5种经典卷积神经网络(convolutional neural network,CNN)进行训练和测试,并依次对每个模型的分类结果和不同上下文信息的分类结果进行分析。研究表明,当上下文信息占比为80%时,CNN网络达到了最佳的分类准确率(92.22%),当上下文信息占比为95%时,则降到89.03%;在所有的CNN模型中,GoogLeNet的分类表现最好,平均准确率达到93.13%。该研究可以找到场景样本集中合理的上下文信息比例设置范围,有效提高遥感场景图片分类的准确率,为损毁建筑遥感场景图片样本集的制作提供指导。

基于融合注意力机制的小样本遥感场景分类方法

针对遥感场景图像样本获取困难,数据量受限以及遥感图像目标对象和背景高度混杂的问题,提出一种基于融合注意力机制的小样本遥感场景分类方法。该方法采用RepVGG作为基准模型,并利用ECANet网络的ECA通道注意力机制改进RepVGG网络的RepVGGBlock模块,使得网络有效过滤无用信息并聚焦于关键场景区域,从而增强模型的特征判别能力,并确保在不增加模型参数的情况下提高分类准确率;同时通过随机数据增强方法在线增强训练数据,在不占用额外内存的情况下增加模型训练数据量,使得训练数据更多样化,提高模型的泛化能力。在UC Merced LandUse数据集上分类平均准确率为94.52%,相较于ResNet50、RepVGG-B1-SE网络,准确率分别提高4.52%和2.93%。实验结果表明,该方法能有效聚焦关键场景区域并提升小样本遥感场景分类的准确率,对实现遥感影像快速分类具有一定的参考意义。

基于DCNN深度特征融合和MMRVM的遥感场景分类

传统的高分辨率遥感图像的语义解析大多面向中低层次的图像语义解释,不能很好地满足更高层次的图像语义需求。针对这一问题,提出DCNN特征融合的方式进行特征处理以提高特征描述力,再通过寻求优秀核函数结合的方式构建分类器。通过实验证明,特征融合结合构建的多核多类相关向量机的方式能够提高分类效果。该方法应用于构建的实际场景LSV数据集,能够准确实现遥感场景分类。

联合一二阶池化网络学习的遥感场景分类

目前大多数池化方法主要是从一阶池化层或二阶池化层提取聚合特征信息,忽略了多种池化策略对场景的综合表示能力,进而影响到场景识别性能。针对以上问题,提出了联合一二阶池化网络学习的遥感场景分类模型。首先,利用残差网络ResNet-50的卷积层提取输入图像的初始特征。接着,提出基于特征向量相似度的二阶池化方法,即通过特征向量间的相似度求出其权重系数来调制特征值的信息分布,并计算有效的二阶特征信息。同时,引入一种有效的协方差矩阵平方根逼近求解方法,以获得高阶语义信息的二阶特征表示。最后,基于交叉熵和类距离加权的组合损失函数训练整个网络,从而得到富于判别性的分类模型。所提方法在AID(50%训练比例)、NWPURESISC45(20%训练比例)、CIFAR-10和CIFAR-100数据集上的分类准确率分别达到96.32%、93.38%、96.51%和83.30%,与iSQRT-COV方法相比,分别提高了1.09个百分点、0.55个百分点、1.05个百分点和1.57个百分点。实验结果表明,所提方法有效提高了遥感场景分类性能。

基于词向量融合的遥感场景零样本分类算法

零样本分类算法无须标注要识别的类别样本,因而能大幅度降低实际应用成本,近年来受到广泛关注。遥感场景类别的语义词向量与图像特征空间原型的结构不一致问题,严重影响了遥感场景零样本的分类效果。利用不同词向量间的互补性,文中提出一种基于语义词向量融合的遥感场景零样本分类算法,即耦合式解析字典学习(Coupled Analysis Dictionary Learning,CADL)方法。首先,采用稀疏编码效率较高的解析字典学习方法获取各语义词向量的稀疏系数,以减少冗余信息;然后,将对应的稀疏编码系数串接后作为融合语义词向量表示,并将融合语义词向量线性映射到图像特征空间,与图像特征空间场景类别原型表示进行结构对齐,以降低结构差异性;最后,计算得到要识别的场景类别的图像特征原型,并采用最近邻分类器在图像特征空间完成分类。在UCM和AID数据集上对多种语义词向量的融合进行定量实验,同时将RSSCN7数据集作为已知场景类别的数据集来对两幅实际遥感图像进行定性实验。在UCM和AID上的定量实验分别获得了最高总体分类准确度48.40%和60.23%,相比于典型零样本分类方法的总体分类准确度分别提升了4.80%和6.98%。对两幅实际遥感图像的定性实验,同样获得了最佳零样本的分类效果。实验结果表明,多种语义词向量融合,可以获得与图像特征空间原型结构更一致的语义词向量,且显著提升了遥感场景零样本分类的准确度。

弱监督多示例子概念学习的遥感场景分类

遥感场景分类是近年来计算机视觉和表示学习领域的热门研究课题,其主要工作是基于学习到的特征信息自动分类图像场景.传统上场景分类方法忽略了场景中多个子概念的学习,进而影响到场景语义识别.为了解决上述问题,文中提出一种弱监督多示例子概念学习(Weakly Supervised Multi-Instance Sub-concept Learning)的遥感场景分类方法.首先,基于弱监督定位网络从逐类响应图中预测峰值坐标,以定位感兴趣的示例区域;其次,将峰值坐标信息回溯到卷积层,自动截取多个示例特征组成示例袋作为多示例聚合网络的输入.然后,在多示例聚合网络上嵌入一个子概念层,迭代学习子概念与示例之间的匹配分数,再将所有的示例进行聚合生成示例袋概率分数;最后,组合两个损失函数,联合训练整个网络,得到富于判别的分类模型.在AID、NWPU-RESISC45和CIFAR10/100数据集上进行了分类实验,结果表明,所提方法有效提高了遥感场景分类性能.

基于自训练卷积神经网络的遥感场景图像异常探测方法

遥感场景图像异常探测可确保含遥感场景图像标签的准确性,为地物识别、变化检测、迁移学习等提供有效的数据支撑。针对遥感场景图像异常探测方法通常需要大量标注的训练样本的问题,本文结合自训练算法和卷积神经网络提出一种自训练卷积神经网络方法,在少量标注样本下实现快速高效地对遥感场景图像中标签和实际类别不匹配的异常情况进行探测。首先,仅根据少量真实标签训练卷积神经网络;其次,对含异常标签的伪标签数据集进行异常探测;最后,将探测结果为正类和异类的标签分别加入真实标签与伪标签进行下一轮训练,直至探测完毕。实验采取SIRI-WHU和RSSCN7两种遥感场景数据集,均选取10%的准确标签为卷积神经网络初始训练数据,对含有不同异常标签占比的遥感场景图像进行异常探测。结果表明,三种自训练卷积神经网络(自训练GoogLeNet、自训练ResNet和自训练DenseNet)在含5%~30%异常标签的SIRI-WHU数据集、RSSCN7数据集中均取得较好的效果,其准确率、召回率和F1分数均能达到93.8%以上,精确率能够保持97.8%以上。

基于多尺度特征融合的中分辨率遥感场景分类算法

在对中分辨率遥感图像进行场景分类时,传统的特征提取方法无法提取全面的特征,若使用卷积神经网络进行场景分类,同一大小的卷积核无法提取尺寸大小各异的地物特征,导致分类精度降低.为了提取不同尺寸的地物特征,提高分类精度,本文提出一种基于多尺度特征融合的中分辨率遥感场景分类算法.对传统的卷积神经网络进行改进以适应中分辨率遥感数据集,并在其基础上添加多尺度池化,将连接多层次的特征图谱输入到全连接层进行分类.实验表明,多层特征融合方法提取的特征信息比单层多尺度池化方法提取的特征信息更全面,分类效果更优.与其他的传统分类方法相比,本文方法获得更好的分类结果.

GKPA-联合全局与关键区域的光学-SAR中分辨率遥感影像场景分类

遥感影像场景分类是自然灾害检测和城市功能规划等实际应用的基础,因此研究遥感影像场景分类具有重要意义。基于深度学习的方法由于其强大的特征提取能力已经成为遥感影像场景分类领域最常用的方法,此类方法强烈依赖数据集的质量。现阶段场景分类领域的数据集大多为高分辨率的光学影像,易于提取有效的语义特征。在面对中分辨率场景时,影像中细节信息更匮乏,有效特征不够显著,场景分类具有更大难度,相较于高分辨率场景分类精度不够理想。在此情况下,利用其他模态的数据如合成孔径雷达(SAR)提供互补特征可以有效改善场景分类精度。考虑到以上现状,本文构建光学-SAR遥感影像场景分类数据集(OS-RSISC),基于此数据集进一步提出了一个联合全局与关键区域的感知注意力双模态场景分类框架(GKPA-RSSC)。实验结果显示GKPA-RSSC相较于对比方法具有最高的分类精度,总体精度达81.97%。光学-SAR数据与单模态数据的对比试验结果突显双模态数据的优势,进而验证了本文提出的光学-SAR场景分类数据集的重要意义。

基于忆阻卷积神经网络的遥感场景分类

遥感影像场景类别多、类内变异大、类间相似度高,而卷积神经网络等传统的深度网络在目标对象特征表示能力,以及遥感场景图像中的对象信息和背景信息鉴别力弱,参数量大,从而导致分类精度不高、训练效率低,针对上述问题,提出了一种用于遥感场景分类的忆阻卷积神经网络。通过上下文感知增强Transformer模块融合共享权值和上下文感知权值捕获高频和低频的特征信息,将多尺度选择性内核单元构建模块融入卷积块中,根据不同层次的特征图选择不同的卷积核,提取不同尺度的特征信息,提升模型对复杂场景的处理能力。进一步,通过忆阻十字交叉阵列的权重映射构建出低功耗高速率的忆阻卷积网络。对公共数据集UCMercedLandUse的21类目标数据和NWPU-RESISC45的45类目标数据进行实验,分类精度分别达到94.76%、87.54%,比原模型分别提高了5.95百分点、5.07百分点,模型参数量大幅度减少。基于改进模型的忆阻神经网络精度损失分别仅为0.24百分点和0.23百分点,促进了边缘计算的发展。

跨域遥感场景解译研究进展

遥感对地观测中普遍存在多平台、多传感器和多角度的多源数据,为遥感场景解译提供协同互补信息。然而,现有的场景解译方法需要根据不同遥感场景数据训练模型,或者对测试数据标准化以适应现有模型,训练成本高、响应周期长,已无法适应多源数据协同解译的新阶段。跨域遥感场景解译将已训练的老模型迁移到新的应用场景,通过模型复用以适应不同场景变化,利用已有领域的知识来解决未知领域问题。本文以跨域遥感场景解译为主线,综合分析国内外文献,结合场景识别和目标识别两个典型任务,论述国内外研究现状、前沿热点和未来趋势,梳理总结跨域遥感场景解译的常用数据集和统一的实验设置。本文实验数据集及检测结果的公开链接为:https://github.com/XiangtaoZheng/CDRSSI。

融入注意力机制的小样本遥感图像场景分类

遥感图像场景分类是计算机视觉领域的热点研究方向,对遥感图像场景及其语义理解意义重大。目前,基于深度学习的遥感图像场景分类方法在该领域占据主导地位。然而实际应用场景面临着样本数据较少、模型泛化能力较差的问题,致使基于深度学习的遥感图像场景分类方法实现难度较大,性能大幅下降。针对上述难点,提出了基于注意力机制的小样本遥感图像场景分类方法,设计了一种双分支判别结构进行相似性度量。该方法基于元学习训练策略对数据集进行任务制划分;为最大限度保留遥感图像中的特征分布,对输入图像进行重叠分块;在特征提取网络中引入轻量级注意力模块,降低过拟合风险并保证判别性特征的获取;在EMD(earth mover’s distance)距离的基础上设计添加双分支相似性度量模块,提升分类器的判别能力。实验结果表明,相较于经典小样本学习方法,所提出的小样本遥感图像场景分类方法能够显著提升分类性能。

知识图谱约束深度网络的高分辨率遥感影像场景分类

得益于深度网络理论与方法的快速发展,深度网络逐渐成为遥感影像场景分类任务的主流技术。然而,现有基于深度网络的遥感影像场景分类方法高度依赖大量人工标记的训练样本,且无法有效融合利用遥感领域丰富的先验知识。为了提升领域知识利用率同时降低标记样本依赖,本文提出了一种知识图谱引导深度网络学习的高分辨率遥感影像场景分类方法。首先,构建了一个包括领域内多种来源知识的土地覆盖概念知识图谱来更灵活便捷地应用领域先验知识。然后,通过知识图谱表示学习方法将土地覆盖概念知识图谱中的遥感场景语义类别表达为语义向量,形成遥感场景类别语义基准。在知识引导学习阶段,通过施加场景类别语义向量与深度网络浅层视觉特征向量的跨模态对齐约束引导深度网络的浅层部分更有效地学习不同类别遥感影像场景的共享特征,在深度网络深层部分则仍然通过场景类别标签引导学习不同遥感场景的判别特征。在测试阶段,完成优化的深度网络模型可以在不依赖任何先验知识的情况下完成高精度遥感影像场景分类。在目前公开的最大的遥感影像场景分类数据集上的试验结果表明,本文提出的知识引导学习方法相比现有方法在10%、30%、50%等不同训练样本比率下均可以获得最佳分类性能。在10%这一比率条件下,本文提出的知识引导学习方法相比基线深度网络在总体精度指标(OA)上能够得到5.11%的提升。

基于多尺度特征融合的遥感影像场景分类方法

针对遥感场景影像存在类间相似性高、类内多样性大、且不同尺度下遥感影像差异大等问题,导致场景分类任务精确度受限,提出一种基于多尺度特征融合的遥感影像场景分类算法。首先利用轻量级网络MobileNetV2作为主干网络,以更少的网络参数实现更高的分类准确率。网络通过一维卷积提升输入通道,设计的多尺度特征融合模块能够捕获遥感影像的高级特征和低级特征,融合影像的多尺度特征,能够有效缓解不同尺度下遥感影像差异大的问题。通过在三个公开遥感数据集上进行实验对比,验证了所提方法的有效性。

基于神经认知计算模型的高分辨率遥感图像场景分类

通过大脑对外界环境感知的神经结构与认知功能的相关研究,构建仿脑的媒体神经认知计算(multimedia neural cognitive computing,MNCC)模型。该模型模拟了感官的信息感知、新皮层功能柱的认知功能、丘脑的注意控制结构、海马体的记忆存储和边缘系统的情绪控制环路等大脑基本的神经结构和认知功能。在此基础上,构建基于MNCC的高分辨率遥感图像场景分类算法。首先,图像经仿射变换后切分为若干图块,通过深度神经网络提取图块的稀疏激活特征,采用概率主题模型获取图块初始场景类别,并利用图块分类错误信息反馈控制场景显著区特征的提取;其次,根据图块的上下文获取场景语义的时空特征,并在此基础上进行图块分类和场景预分类;最后,用场景预分类误差构造奖惩函数,控制和选择深度神经网络中场景区分度较大的稀疏激活特征,并通过增量式强化集成学习,获得最后的场景分类。在两个标准的高分辨率遥感图像数据集上的实验结果表明,MNCC算法具备较好场景分类结果。

基于图像特征融合的遥感场景零样本分类算法

利用不同图像特征之间的互补性,可提升遥感场景零样本分类性能。将图像特征的融合与零样本分类结合,提出一种基于图像特征融合的遥感场景零样本分类算法。采用解析字典学习方法,计算各图像特征的稀疏系数,并串接起来作为融合后图像特征,以减少冗余信息且保留各图像特征自身特点;引入监督信息,提高融合特征的鉴别性;将融合特征与场景类别词向量进行结构对齐,提升对新类别场景的迁移识别效果。在UC-Merced和航拍图像数据集两种遥感场景集上,对相同层次及不同层次的场景图像特征分别进行融合实验。实验结果表明:对于总体分类准确度和运算耗时,所提算法均优于其他零样本分类算法及通用的特征融合算法,证明了方法的有效性。

基于有监督对比学习的遥感图像场景分类

针对遥感场景图像中复杂背景以及类内多样性和类间相似性影响场景分类性能的问题,提出一种基于有监督对比学习的遥感场景分类方法。该方法包含判别性特征学习和线性分类两个阶段。在判别性特征学习阶段,引入有监督对比损失以拉近同类场景间的距离并增大不同类场景间的距离,提高类内多样性和类间相似性场景的判别能力;然后引入门控自注意模块对无用的背景信息进行过滤且聚焦关键场景区域,提高复杂背景的场景识别;最后引入一个预训练的Inception V3语义分支,把语义分支和原始模型提取的特征进行融合增强特征判别能力,以提高场景分类的整体性能。线性分类阶段通过对特征学习阶段训练的模型进行微调获得分类结果。在AID和NWPU-RESISC45数据集上的综合实验证明了所提方法的有效性。

直推式遥感图像场景零样本分类算法

针对遥感图像场景零样本分类算法中的空间类结构不一致以及域偏移问题,提出基于Sammon嵌入和谱聚类方法结合的直推式遥感图像场景零样本分类算法。首先,基于Sammon嵌入算法修正语义特征空间类原型表示,使其与视觉特征空间类原型结构对齐;其次,借助结构迁移方法得到视觉特征空间测试类原型表示;最后,针对域偏移问题,采用谱聚类方法修正视觉特征空间测试类原型,以适应测试类样本分布特点,提高场景零样本分类准确度。在两个遥感场景集(UCM和AID)上分别获得52.89%和55.93%的最高总体分类准确度,均显著优于对比方法。实验结果表明,通过显著降低视觉特征空间和语义特征空间的场景类别结构不一致性,同时减轻了域偏移问题,可实现语义特征空间类结构知识到视觉特征空间的有效迁移,大幅提升遥感场景零样本分类的准确度。

基于局部选择Vision Transformer的遥感场景分类算法

遥感场景分类旨在为航空图像指定特定的语义标签,是遥感图像解译中一个基础且重要的任务。现有的研究主要利用卷积神经网络(CNN)学习全局和局部特征,提高网络的判别性表达。然而基于CNN的方法的感受野在建模局部特征的远程依赖性方面存在局限性。近年来,Vision Transformer(ViT)在传统的分类任务中表现出了强大的性能。Transformer的自我注意力机制将每个Patch标记与分类标记连接起来,捕捉图像像素之间的上下文关系,考虑空间域中的全局信息。提出一个基于局部选择ViT的遥感场景分类网络。首先将输入图像分割成小块的Patch,将其展开转换成序列,并进行位置编码添加到序列中;然后将得到的序列输入编码器中;除此之外,为了学习到局部判别特征,在最后一层输入前加入局部选择模块,选择具有判别性的Token作为输入,得到最后用于分类的输出。实验结果表明,所提方法在两个大型遥感场景分类数据集(AID和NWPU)取得不错的效果。