基于内容的遥感图像检索综述

随着遥感图像数量的急剧增加,基于内容的遥感图像检索系统逐渐成为了一个研究热点。系统地介绍了该领域各个方面研究的现状。首先给出了遥感图像内容检索系统的基本结构和查询策略。其次,结合遥感图像的特点,着重介绍了基于纹理、形状、结构特征相似性比较等方面的内容,针对这些方面的研究所存在的问题提出了见解,介绍了所研究成果,并对今后的工作进行了展望。

基于注意力机制和软匹配的多标签遥感图像检索方法

针对卷积神经网络对于多标签遥感图像特征提取能力弱、不能准确反映遥感图像多标签复杂性的问题,提出基于注意力机制和软匹配的多标签遥感图像检索方法。在特征提取阶段,以密集卷积神经网络模型为基础,在每个密集块(Dense Block)后添加CBAM(Convolutional Block Attention Module)层,实现对多标签图像区域特征提取。在模型训练时,利用区分硬匹配与软匹配的联合损失函数,学习图像的哈希编码表示。通过评估遥感图像哈希编码间的汉明距离,实现相似图像的检索。实验结果表明,所提方法在数据集NUS-WIDE和多标签遥感图像数据集DLRSD上与其他基于全局特征的深度哈希方法相比,明显提升了检索准确率。

基于深度旋转不变特征图哈希的遥感图像检索

哈希技术采用紧致哈希码表示数据,因其高效性被广泛应用于大规模遥感图像检索任务。受卫星观测影响,同一地物在不同遥感图像中呈现不同角度,导致检索性能下降。为解决该问题,该文提出深度特征图旋转不变哈希方法(DRIFMH),包括特征提取、哈希量化2个模块。特征提取模块对特征图进行不同角度旋转,提出特征一致性损失,使不同旋转角度的图像特征保持一致,克服旋转带来的不利影响。哈希量化模块对图像特征进行二值量化,生成哈希码,引入分类交叉熵损失,提升哈希码的鉴别能力。该文选取经典遥感图像数据集AID、UCMD作为实验数据集,将DRIFMH与多个哈希方法进行实验对比,结果表明DRIFMH能够生成旋转不变的遥感图像特征,提升大规模遥感图像检索性能。

面向遥感图像检索的自适应样本类型判别研究

遥感图像内容复杂,类别丰富,存在较多难以判别的图像,导致遥感图像检索性能不佳。为此,提出自适应样本类型判别方法(ASTD),将样本类型动态地分为简单样本、普通样本和困难样本,网络依据样本的类型进行不同程度的学习,从而有效提高特征的判别能力。设计了一个SHash网络,该网络以Swin Transformer为骨干,在网络的最后加上哈希层,该网络能够在全局上捕获图像的语义信息,提高特征的表达能力和检索效率;为了让同一类别图像更加聚集,并更好地区分不同类别的图像,给每个类别定义一个哈希中心,规定输入样本自身类别所对应的中心为该样本的正中心,其他中心为该样本的负中心;提出样本类型判别损失STDLoss,根据样本与正负中心的距离关系自适应判别样本的类型,从而提高网络对各类型样本的学习能力。在UC-Merced和AID两个遥感数据集上与DSH、CSQ、SHC等五种哈希方法进行了比较,实验结果表明,基于ASTD方法训练的网络可以更好地学习样本的特征,提高检索性能。

面向遥感图像检索的无监督哈希融合方法

遥感图像数据规模庞大,且大部分数据没有标注,因此能够独立于数据标注的无监督哈希算法更适用于遥感图像检索。本文提出了一种针对无监督哈希的融合方法,首先,通过随机游走算法得到遥感图像预训练特征之间的流形相似度,并结合特征之间的余弦相似度构造相似指示矩阵,该矩阵可以度量无监督哈希码的有效性。然后,将哈希码的有效性作为节点,哈希码之间的排序相关性作为边来动态地构建关联图,并将图中的连通分量作为哈希码的组合,避免可能产生退化结果的哈希码组合,进而降低计算复杂度。最后,将哈希码的归一化有效性作为权重,对每种组合方案进行自适应的晚期融合,生成判别能力更强的哈希码。在2个数据集上的一系列实验表明,该方法能自适应地选择出合适的融合方案,有效提升融合哈希码的检索性能,并且在付出更小训练代价的情况下,获得接近穷举方法检索性能的融合方案。

基于内容解译的遥感图像推荐方法

随着遥感技术的不断发展,遥感数据呈现出海量增多的趋势,如何提供精准及时的遥感信息推荐服务成为亟待解决的问题。现有的遥感图像推荐算法大多针对用户画像进行设计,忽视了图像内容的语义信息对推荐结果的影响。针对上述问题,提出一种基于内容解译的遥感图像推荐方法。首先,通过基于YOLOv3的目标检测模块对遥感图像进行目标提取;然后,整合关键目标的位置分布向量作为图像内容信息;同时,构建多元素的用户兴趣画像,并根据用户主动搜索历史进行动态调整,以提高推荐结果的个性化程度;最后,将图像内容信息与图像自带属性信息、用户画像模型进行匹配,实现遥感数据的精准智能推荐。在真实订单数据上与较新的仅基于图像属性信息的推荐方法进行对比实验,实验结果表明,所提方法在实验数据上取得的正负样本区分度比考虑用户画像的推荐方法提高了70%;在耗时基本相近的情况下,在使用10%训练数据时,推荐错误率与对比方法相比下降了4.0~5.6个百分点,而在使用100%训练数据时推荐错误率则下降了0.6~1.0个百分点,验证了所提方法的可行性与有效性。

基于图像内容检索的主题爬虫设计

为有效提高网络图像信息的检索效率与准确性,首先,介绍了图像内容检索的基本概念与方法;其次,详细分析与探讨了主题爬虫的架构设计,涵盖主要功能模块及主题爬虫工作流程;最后,基于图像内容检索对主题爬虫平台进行设计,包括系统编程与数据库设计、图像处理与特征分析、爬虫性能优化等。该设计一方面有效丰富了图像内容检索领域的技术手段,另一方面为图像搜索引擎与数据挖掘的发展提供了技术支撑与实践指导,显著提升了爬虫平台整体的检索效率与稳定性。

一种新的基于内容遥感图像检索的图像分块策略

对常用的图像分块方法进行了说明,提出了平均块覆盖率、冗余数据比率等概念,以及平均块覆盖率和冗余数据比率是衡量CBRSIR系统分块方法优劣的重要标准这一论断。在此基础上,针对Quin-树存在的主要问题,提出了一种新的分块策略———Quin+-树,并将Quin+-树和Quad-树、Quin-树和Nona-树进行了分析和比较。实验证明,Quin+-树是最实用可行的CBRSIR图像分块方法。

基于布局化-语义联合表征遥感图文检索方法

遥感图文检索可以从类别繁多、内容复杂的遥感数据中检索到有价值的信息,对环境评估、城市规划以及灾害预测具有重要意义。但是,遥感图文跨模态检索存在一个关键问题,即遥感图像的空间布局信息被忽略。其主要体现在2个方面:①遥感目标的远距离建模困难;②遥感相邻次要目标被淹没。基于以上问题,提出了一种基于布局化-语义联合表征的跨模态遥感图像文本检索(SL-SJR),主要包括主导语义监督的布局化视觉特征提取(DSSL)模块、布局化视觉-全局语义交叉指导(LV-GSCG)模块和多视角匹配(MVM)模块。DSSL模块实现主导语义类别特征监督下图像的布局化建模。LV-GSCG模块计算布局化视觉特征与文本中提取的全局语义特征的相似度来实现不同模态特征的交互。MVM模块建立跨模态特征指导的多视角度量匹配机制以消除跨模态数据之间的语义鸿沟。在4个基线遥感图像文本数据集上的实验验证,结果表明所提方法在大多数跨模态遥感图像文本检索任务中可以达到最先进的性能。

基于深度多相似性哈希方法的遥感图像检索

哈希方法由于低存储、高效率的特性而被广泛应用于遥感图像检索领域。面向遥感图像检索任务的无监督哈希方法存在伪标签不可靠、图像对的训练权重相同以及图像检索精度较低等问题,为此,提出一种基于深度多相似性哈希(DMSH)的遥感图像检索方法。针对优化伪标签和训练关注度分别构建自适应伪标签模块(APLM)和成对结构信息模块(PSIM)。APLM采用K最近邻和核相似度来评估图像间的相似关系,实现伪标签的初始生成和在线校正。PSIM将图像对的多尺度结构相似度映射为训练关注度,为其分配不同的训练权重从而优化深度哈希学习。DMSH通过Swin Transformer骨干网络提取图像的高维特征,将基于语义相似矩阵的伪标签作为监督信息以训练深度网络,同时网络在两个基于不同相似度设计的模块上实现交替优化,充分挖掘图像间的多种相似信息进而生成具有高辨识力的哈希编码,实现遥感图像的高精度检索。实验结果表明,DMSH在EuroSAT和PatternNet数据集上的平均精度均值较对比方法分别提高0.8%~3.0%和9.8%~12.5%,其可以在遥感图像检索任务中取得更高的准确率。

一种大尺寸遥感图像基于内容检索的纹理特征提取算法

针对50万像素以上的大尺寸遥感图像基于内容检索的需要,通过将大尺寸图像按照区域类别分块,用灰度共生矩阵法对各子块提取出纹理特征,并利用类似Hu的不变矩的方法对各子块纹理信息进行统计,从而提取出与大尺寸图像中各纹理的空间位置相关的一组纹理特征值。该方法对传统的共生矩阵法进行了改进,使其适用于大尺寸图像多区域类别的纹理特征提取,可用于大尺寸遥感图像的基于内容的检索和初分类研究。

基于组合优化的遥感图文检索轻量化

针对现有基于图网络的遥感图文检索模型存在的海量参数、模型时效性低、存储空间需求大等问题,提出一种基于组合优化的遥感图文检索轻量化方法。从模型架构角度,设计基于跨阶段融合的轻量化卷积模块精简图文检索模型的参数;从数值量化角度,设计图网络混合精度训练与量化推理策略提升模型推理速度。在多个遥感检索数据集上的实验结果表明,该方法在检索精度基本不下降的条件下,总参数量、浮点运算量相比于典型方法降低60%以上。

基于内容的遥感图像数据库城市区域检索

对于大型遥感图像数据库,如何快速准确地检索到需要的图像数据,是一个关键问题。该文在以综合区域匹配算法为图像相似度度量标准的前提下,提出了根据平均高频信号强度降序为排序标准的遥感图像数据库城市区域检索方法。首先,用综合区域匹配算法对图像进行相似度度量;然后,依据这些图像的平均高频信号强度,按降序对这些图像进行重新排序从而得到含有城市区域这一高级语义特征的最终检索结果。实验表明:该方法将检索查准率提高了27%,而且检索效率高,可以满足用户需求。

基于内容的检索技术在遥感图像中的应用

随着遥感图像数量的急剧增加,基于内容的遥感图像检索系统逐渐成为了一个研究热点。系统地介绍了该领域各个方面研究的现状;给出了遥感图像内容检索系统的基本结构和查询策略;对该领域可深入研究方向进行了展望。

基于内容的图像检索在土壤侵蚀遥感调查中的应用

土壤侵蚀调查由于技术的限制,目前利用遥感图像判别土壤侵蚀强度主要是人工判读或人机交互式勾绘.为减轻人工判读勾绘的负担,从图像分析角度,利用基于内容的图像检索技术辅助人工目视解译,实验初步表明这种思路是可行的.

基于三元采样图卷积网络的半监督遥感图像检索

该文提出了一种基于三元采样图卷积网络的度量学习方法,以实现遥感图像的半监督检索。所提方法由三元图卷积网络(TGCN)和基于图的三元组采样(GTS)两部分组成。TGCN由3个具有共享权重的并行卷积神经网络和图卷积网络组成,用以提取图像的初始特征以及学习图像的图嵌入。通过同时学习图像特征以及图嵌入,TGCN能够得到用于半监督图像检索的有效图结构。接着,通过提出的GTS算法对图结构内隐含的图像相似性信息进行评价,以选择合适的困难三元组(Hard Triplet),并利用困难三元组组成的样本集合对模型进行有效快速的模型训练。通过TGCN和GTS的组合,提出的度量学习方法在两个遥感数据集上进行了测试。实验结果表明,TGCN-GTS具有以下两方面的优越性:TGCN能够根据图像及图结构学习到有效的图嵌入特征及度量空间;GTS有效评估图结构内隐含的图像相似性信息选择合适的困难三元组,显著提升了半监督遥感图像检索效果。

基于自注意力和类监督的遥感图像跨模态检索

针对智能化联合作战场景中,情报分析人员对海量无标签遥感图像进行信息检索时面临的大数据问题,提出适用于遥感图像的文本-视觉跨模态检索技术框架,并对其中核心的跨模态检索模型进行针对性改进,构建一种基于自注意力模块和类监督约束联合训练的深度学习模型。通过引入类监督指导的全局-局部视觉特征提取模块、主导语义掩码建模的文本特征提取模块,以及融合文本-视觉语义信息的交叉提取模块,提升检索效果,实现在无图像描述标签情况下的文本-视觉跨模态语义检索。公开数据集上与相关算法的对比实验,证明该方案的先进性与可行性。

“遥感数字图像处理”课程教学改革路径研究

文章首先分析了“遥感数字图像处理”课程教学现状,然后提出了“遥感数字图像处理”课程教学改革路径,包括更新教学内容,完善教学体系;深挖思政元素并融入教学;强化案例教学,开展“研讨课”学习模式;等等。

一种大尺寸遥感图像基于内容检索的纹理特征提取算法

大尺寸图像按照区域类别分块,用灰度共生矩阵法对各子块提取出纹理特征,并利用类似Hu的不变矩的方法对各子块纹理信息进行统计,从而提取出与大图像中各纹理的空间位置相关的一组纹理特征值。该方法对传统的共生矩阵法进行了改进,使其适用于大尺寸图像多区域类别的纹理特征提取,可用于大尺寸遥感图像的基于内容的检索和初分类研究。

基于Transformer融合的遥感图像文本跨模态检索方法

论文提出了一种基于Transformer融合的遥感图像文本跨模态检索方法,模型采用包含自注意力模块的单模态编码器获取各模态的特征表示,再经基于交叉注意力的跨模态融合模块使得不同模态信息相交互,并通过对比损失充分挖掘遥感图像和文本表示之间的潜在语义关系,进一步提高了遥感图像跨模态检索性能,在多个公开数据集上进行了实验验证,结果表明所提方法能够较准确地实现这两种模态信息之间的相互检索,验证了所提方法的有效性。