基于Transformer和动态3D卷积的多源遥感图像分类

多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解决上述问题,提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。为提高多源特征表达的一致性,设计了基于Transformer的融合模块,借助其强大的注意力建模能力挖掘高光谱和LiDAR数据特征之间的相互作用;为提高特征提取方法对不同地物类别的适应性,设计了多尺度动态3D卷积模块,将输入特征的多尺度信息融入卷积核的调制,提高卷积操作对不同地物的适应性。采用多源遥感数据集Houston和Trento对所提方法进行验证,实验结果表明:所提方法在Houston和Trento数据集上总体准确率分别达到94.60%和98.21%,相比MGA-MFN等主流方法,总体准确率分别至少提升0.97%和0.25%,验证了所提方法可有效提升多源遥感图像分类的准确率。

一种传感图像特征快速挖掘算法设计

传感图像采集因曝光而损失图像特征,导致特征错误挖掘率高和精准率召回率(Precision-Recall,PR),曲线表现较差,针对该问题,提出一种新的传感图像特征快速挖掘算法。该方法将参数化修正线性单元函数作为激活函数,融合修补图和输入图像,并在训练阶段使用L1损失函数和结构相似性指数(Structural Similarity Index,SSIM)损失函数约束图像,采用softmax回归挖掘图像特征,构建卷积神经网络传感图像特征挖掘结构,在训练过程中,使用自适应梯度更新结构参数,设计挖掘步骤,实现传感图像特征快速挖掘。实验结果表明,设计的卷积神经网络图像特征挖掘方法的PSNR值较高、SSIM值接近1,错误挖掘率为1.0%,PR曲线最接近右上角,面积最大,并且图像视觉效果更好,特征挖掘时间最高仅为1.3 s,实现了快速挖掘。

基于YOLOv5s的改进实时红外小目标检测

针对红外图像分辨率低、背景复杂、目标细节特征缺失等问题,提出了一种基于YOLOv5s的改进实时红外小目标检测模型Infrared-YOLOv5s。在特征提取阶段,采用SPD-Conv进行下采样,将特征图切分为特征子图并按通道拼接,避免了多尺度特征提取过程中下采样导致的特征丢失情况,设计了一种基于空洞卷积的改进空间金字塔池化模块,通过对具有不同感受野的特征进行融合来提高特征提取能力;在特征融合阶段,引入由深到浅的注意力模块,将深层特征语义特征嵌入到浅层空间特征中,增强浅层特征的表达能力;在预测阶段,裁减了网络中针对大目标检测的特征提取层、融合层及预测层,降低模型大小的同时提高了实时性。首先通过消融实验验证了提出各模块的有效性,实验结果表明,改进模型在SIRST数据集上平均精度均值达到了95.4%,较原始YOLOv5s提高了2.3%,且模型大小降低了72.9%,仅为4.5 M,在Nvidia Xavier上推理速度达到28 f/s,利于实际的部署和应用。在Infrared-PV数据集上的迁移实验进一步验证了改进算法的有效性。提出的改进模型在提高红外图像小目标检测性能的同时,能够满足实时性要求,因而适用于红外图像小目标实时检测任务。

HRformer:基于多级回归Transformer网络的红外小目标检测

红外小目标检测是指从低信噪比、复杂背景的红外图像中对小目标进行检测,在海上救援、交通管理等应用中具有重要实际意义。然而,由于图像分辨率低、目标尺寸小以及特征不突出等因素,导致红外目标很容易淹没在包含噪声和杂波的背景中,如何精确检测红外小目标的外形信息仍然是一个挑战。针对上述问题,构建了一种基于多级回归Transformer(HRformer)网络的红外小目标检测算法。具体来说,首先为了在获得多尺度信息的同时尽可能避免原始图像信息的损失,采用像素逆重组(PixelUnShuffle)操作对原始图像下采样来获取不同层级网络的输入,同时采用一种可学习的像素重组(PixelShuffle)操作对每一层级的输出特征图进行上采样,提升了网络的灵活性;接着,为实现网络中不同层级特征之间的信息交互,本文设计了一种包含空间注意力计算分支以及通道注意力计算分支在内的交叉注意力融合(cross attention fusion,CAF)模块实现特征高效融合以及信息互补;最后,为进一步提升网络的检测性能,结合普通Transformer结构具有较大感受野以及基于窗口的Transformer结构具有较少计算复杂度的优势,提出了一种局部-全局Transformer(LGT)结构,能够在提取局部上下文信息的同时对全局依赖关系进行建模,计算成本也得到节省。实验结果表明,与目前较为先进的一些红外小目标检测算法相比,本文所提出的算法具有更高的检测精度,同时具有较少的参数量,在解决实际问题中更有意义。

基于区域掩码对比蒸馏的遥感图像目标检测

为解决遥感图像中存在背景干扰以及目标密集分布的问题,采用了一种以区域掩码对比蒸馏为基础的目标检测方法,旨在提高遥感图像目标检测性能.首先,通过对目标特征区域进行掩码操作,以区分前景和背景并捕捉目标的细节纹理,生成细致的特征掩码.其次,结合对比蒸馏算法,通过对教师网络和学生网络的区域掩码进行对比学习,使学生网络更加充分地吸收教师网络在目标特征纹理检测方面的知识.同时,在检测阶段引入了一种旋转定位损失算法,该算法通过量化真实边界框和预测边界框之间的格点向量差来进行损失估计,从而减小了预测边界框与真实边界框之间的旋转损失.结果表明,改进算法的均值平均精度在DOTA和HRSC2016数据集上分别较传统算法提高了3.57%和5.22%.

基于改进的相关滤波卫星视频抗遮挡跟踪方法

卫星视频中的目标存在背景复杂、尺寸较小、容易受遮挡等问题,这将影响跟踪的准确性,甚至导致跟踪失败。提出了用改进的核相关滤波算法来解决卫星视频中目标遮挡问题,并对目标进行有效跟踪。该算法通过提取目标的HOG特征、LBP特征和SIFT特征共同描述目标,并以融合特征减少背景变化的影响。提出自适应卡尔曼滤波算法解决跟踪过程中目标被遮挡的问题,通过ITCI值判断目标是否被遮挡,并对被遮挡的目标进行位置预测,选用核相关滤波算法以满足跟踪的实时性和准确性。实验结果表明,改进的核相关滤波算法解决了目标遮挡问题,对目标背景变化有较好表现,同时跟踪的精度和成功率也有很大提高。

融合FEB的YOLOX遥感图像目标检测算法

针对遥感图像的复杂背景干扰大、目标尺度变化大以及小目标检测困难等导致检测精度降低的问题,提出一种增强YOLOX主干网络输出特征提取能力的检测算法。通过加入连续膨胀残差卷积和注意力机制,设计一种全新的提取主干网络输出特征增强块(feature enhance block,FEB),让连续膨胀残差卷积串联4个具有不同膨胀率的膨胀残差卷积,扩大算法的感受野,丰富上下文信息,同时减轻背景对检测的影响,有效加强算法对目标尺度变化大及小目标的检测能力,使用SA注意力机制抑制背景对算法检测的干扰,提高算法的检测精度。在RSOD数据集上的实验表明,FEB相较于其他同类型模块具有更好的特征提取能力。

深层特征提取与多输出增强融合的建筑物分割

针对高分辨率遥感影像建筑物语义分割中存在单体建筑部分漏分与纹理相近的非建筑物错分的问题,提出深度特征提取与多输出增强建筑物语义分割网络。首先,在编码与解码交替处设计并行连续空洞空间注意力金字塔模块,对建筑物高维特征实现深层提取;然后,在网络解码阶段设计多输出增强融合模块,提升不同尺度建筑物特征对输出结果的有效参与度。选取U-Net、DeeplabV3+、MA-FCN、BRRNet同类算法进行对比,在Massachusetts和WHU公共数据集上测试,OA、precision、recall、IoU、F1指标分别达到98.87%、94.53%、95.40%、90.41%、94.96%,与同类算法相比,除precision之外其他4项指标更高,与U-Net相比,依次高出0.25%、1.12%、1.14%、2.02%、1.12%。

基于改进U-Net模型的遥感影像道路提取方法研究

针对高分辨率遥感影像背景信息复杂,道路提取难度大,自动化程度低等问题,论文提出了一种改进的U-Net的道路提取方法。首先,编码器使用VGG16网络结构替代原始U-Net编码器结构;然后,在每个编码器和解码器块后加入特征压缩激活模块(SENet)增强网络特征学习能力;最后,使用Dice损失函数和二分类交叉熵损失函数复合的损失函数进行训练,减轻了道路提取任务中的样本不平衡问题。在Massachusetts Road数据集上的结果表明,改进后的算法对道路提取结果得到了有效的提升。所提方法在测试集上的精确度、召回率、F1-score和mIoU评价指标分别达到82.5%、77.8%、80.0%及82.1%,在测试影像中对错综交叉的道路具有更好的识别效果。

基于级联U-Net的遥感影像道路分割和轮廓提取方法

针对基于深度学习的遥感图像道路信息提取模型往往只能输出单任务结果且多任务之间相关性利用不充分的问题,提出了一种基于级联U-Net的道路语义分割和轮廓联合检测方法,将道路语义分割后的特征图与原始图像融合后进行道路轮廓的提取,实现道路语义分割和边界轮廓的联合训练。首先使用U-Net网络结构提取光学遥感图像丰富的层次化特征,通过级联结构将特征串联融合,分别用于提取道路的语义类别和边界轮廓。其次在每级U-Net结构中引入注意力机制模块,进行空间上下文信息和深层次特征提取,改善网络提取过程中出现的细节模糊现象。最后,使用骰子系数和交叉熵误差组成的联合损失函数进行多任务整体训练,实现深度学习模型对遥感图像中道路语义类别和边界轮廓的同时提取。通过在加拿大渥太华城市地区的光学遥感数据集上进行实验,基于级联U-Net的道路信息联合提取方法在分割指标上分别获得了42%的精确度、58%的召回率、48.2%的F1分数以及71.6%的平均交并比,在道路检测指标上取得了0.896的全局最佳阈值(ODS)。结果表明,该模型在满足联合提取道路多任务信息的同时具有更优的检测精度。

融合时序Sentinel数据多特征优选的南方丘陵区油茶种植区提取

油茶作为江西省经济林树种之一,也是江西省特色优势产业,准确获取其空间分布在产量估算、生产管理和政策制定等方面具有重要意义。本研究针对南方多云多雨气候导致光学影像不足,以及丘陵山区地形破碎问题,以江西省宜春市袁州区为研究区,采用时序Sentinel系列影像数据和SRTM DEM数据为数据源,构建和优选了光谱特征、植被-水体指数、红边指数、雷达特征、地形特征和纹理特征共125个特征变量,其中,纹理特征采用累计差法(Δf)对比15种不同尺度窗口,计算Sentinel-1和Sentinel-2影像最佳纹理特征。基于ReliefF特征优选算法和随机森林分类算法,设计了8种特征组合方案开展实验,探讨不同特征类型对油茶提取精度的影响。结果表明:利用累计差法计算出的Sentinel-1和Sentinel-2的最佳纹理特征窗口尺寸均为35×35,最佳纹理特征组合为均值(Mean)、方差(Variance)和对比度(Contrast);在光谱特征、植被-水体指数的基础上加入不同特征对油茶进行分类,不同类型特征对油茶提取的有利程度由大到小依次为S2纹理特征、S1纹理特征、地形特征、雷达特征、红边指数,相比于单一光谱和指数特征,纹理特征的加入可大幅度提高分类精度。多特征协同分类结果优于单特征分类结果,基于特征优选的油茶提取精度最高;基于ReliefF算法特征优选后的方案精度最高,总体精度为88.29%,Kappa系数为0.81。本研究利用时序Sentinel系列遥感影像和DEM地形数据,构建了针对多云雨南方丘陵山区的大范围油茶遥感提取方法,可为中国南方丘陵区域油茶资源调查与监测提供参考。

逐像元自适应增益成像系统的星上辐射定标方法

逐像元自适应增益成像系统通过在每个像元的电子链路中集成四档不同容积的积分电容,可以在确保高信噪比的前提下实现大动态范围的遥感成像需求。此成像系统在发射前测试时,由于甚低增益(ULG)的动态范围过大而实验室积分球能量有限,只能通过与低增益(LG)的比例系数递推来间接对ULG后半量程的输出特性标定;星载太阳定标器反射能量过大会导致高增益(HG)和中增益(MG)输出饱和也无法直接测定辐射定标系数,只可通过比例系数推定。提出一种星上增益比例系数测定的方案,分别利用四档增益的输出作为特征对实验图像分类,将不同成像目标的输出码值作为多个定标能级,利用最小二乘法线性拟合相邻增益输出后得到相邻增益的比例系数。此方案验证了实验室增益比例系数测定结果,同时在外场成像实验中用该方法计算得到的比例系数用于相邻两档增益中较低增益图像反演较高增益图像,结果与实际较高增益图像对比归一化均方误差大部分小于0.01、两图像结构相关系数基本在90%左右、数据相关系数达到90%。证明该方法测定的相邻两增益比例相关系数有较高准确性,在星上辐射定标时用于高增益辐射定标系数的递推求取有极大的可行性,解决了星上不能直接对HG、MG辐射定标的问题。

基于Ghost-YOLOv5s的SAR图像舰船目标检测

基于星载合成孔径雷达(synthetic aperture radar,SAR)图像的舰船目标检测中,为了平衡模型大小与检测精度,提出了一种基于Ghost卷积的SAR图像舰船目标检测方法Ghost-YOLOv5s。在YOLOv5s的颈部引入Ghost卷积,以减少模型参数和压缩模型体积;将高效的通道注意力机制(efficient channel attention,ECA)融入到颈部的C3模块里,以突出重要特征,从而保持较高的检测性能;使用SIoU损失函数替换原来的CIoU损失函数,以减少预测框和真实框之间的偏差,提高检测算法精度。实验结果表明,在SSDD遥感数据集上,改进模型与YOLOv5s相比,模型参数量减少了6.28%,模型体积减小了6.21%,检测精度达到了98.21%,实现了模型大小与检测精度的平衡。

基于Transformer语义分割模型的露天矿场识别

露天矿场是生产建设项目水土保持信息化监管的重要对象,对其范围的高效精准识别对于监测非法违规开采行为,加强开采过程中的水土流失预防与治理具有重要意义。基于Transformer深度学习模型提出了露天矿场的遥感影像智能识别方法,并在四川省宜宾市的露天矿场影像数据集上与常用的基于卷积神经网络的深度学习识别方法进行了实验对比。结果表明:该方法对露天矿场范围识别的精确率、召回率、F1-score和IoU指标分别达到91.25%,90.66%,90.95%和83.41%,能够满足水土保持遥感监管的精确度要求;在识别精确度和识别效果上优于对比方法,在运行效率上与对比方法保持在同一数量级,表现出较强的应用价值。该方法在大区域露天矿场范围快速准确识别方面有推广应用潜力。

基于改进U-Net的遥感图像语义分割

全卷积神经网络在遥感图像语义分割中得到了广泛应用,该方法地物分类精度和效率较高,但对地物分布不均匀遥感图像占比较少地物的分类准确率较低。为了提高遥感图像的分类精度,本文通过添加先验知识方法丰富输入数据特征,采用密集链接方式提高上下采样过程中特征的重复利用率,采用可以优化交并比的损失函数Dice Loss和可以提高难分类类别精度的损失函数Focal Loss相加组合作为网络模型的损失函数,采用LayerScale模块加快模型收敛、抑制无用特征、突出有效特征的方式,对U-Net的输入、网络结构、损失函数进行改进,优化语义分割效果。结果表明,基于高分影像数据集(GID)改进的U-Net相较于原始U-Net像素精度、均类像素精度、平均交并比分别提高了0.0233、0.0409、0.0665,提升了地物分类精度,取得了较好的分类效果。

基于通道注意力机制的小样本SAR飞机图像分类方法

合成孔径雷达(Synthetic Aperture Radar,SAR)以其全天候、全天时、高分辨率、大幅宽的特点,成为对地观测的重要手段,图像分类是SAR图像解译的一个重要方向.和光学图像相比,SAR图像的成像机理较复杂,存在较多噪声干扰,导致图像清晰度较差、样本标注的难度大,无法保证深度学习算法对样本量的需求,因此,对小样本SAR图像进行图像分类成为当前SAR图像解译领域的重点研究问题之一.基于这一问题展开了基于元学习的SAR图像分类模型的研究,以实现小样本条件下SAR图像的高精度识别.构建基于注意力机制的原型网分类方法,设计了通道注意力模块来自动获取图像特征的重要程度,促进提取对图像分类更有判别力的特征;同时,对模型设计预训练网络,以充分利用已有数据的信息,学习更好的先验信息,提高分类的准确率.在自建的高分辨率SAR图像数据集上对该小样本分类模型进行了实验.消融实验表明,注意力模块和预训练模块对模型的性能均有一定的提升效果.通过对比实验,证明和当前常用的小样本学习方法相比,构建的分类方法能在SAR图像分类中获得较高的准确率,在第一组实验的5-way 1-shot实验中得到的分类精度提高了5.9%,在5-way 5-shot实验中提高了1.92%.

结合全局特征与局部互通的河流断流接续优化

高分辨率遥感影像的水体提取常因地物类型复杂、部分河流狭窄等因素导致水体提取结果不完整、不连续。因此,结合水体自身光谱和纹理特征,提出了一种结合全局特征与局部互通的遥感影像水体提取优化方法。首先,在水体提取初始结果的基础上,通过多尺度Frangi滤波和大津法(OTSU)分割算法提取线性支流,对河流进行补充得到初步优化结果。然后,结合局部互通的断流接续算法,对初步优化结果中的断流部分进行连接。最后,通过K-means聚类提取水体部分,并与精确优化结果进行拓扑检查及光谱检查,实现块状水体的验证筛选。实验结果表明,本文方法能够提取到细小支流,提高优化的准确度;断流接续算法的加入,有助于提高河流提取的完整性。与其他方法相比,本文方法的总体精度分别提高1.04%、1.50%,F1分别提高5.84%、8.28%,可以作为有效提升水体优化后处理的手段,提高了水体提取的完整度和精度。

基于Faster R⁃CNN的无人超市商品自动化识别技术

无人超市商品自动化识别过程中易受到背景复杂化、亮度不均匀、角度多变等的干扰。为此,提出一种基于Faster R-CNN的无人超市商品自动化识别方法。首先利用Haar小波提升模型,将商品图像分为低频图像和高频图像;然后通过仿生彩色图像法对图像进行增强处理,并采用Faster R-CNN中的特征融合结构,将图像深度信息与浅度信息融合到一起;最后将融合的特征输入到自动化识别网络中,输出自动化识别结果。实验结果表明,所提方法的识别效率高、图像增强效果好、抗噪能力强。

基于特征优选和时空融合算法的黄河三角洲湿地类别制图方法研究

滨海湿地的遥感分类研究对于滨海湿地的保护和规划具有重要意义。为此,以黄河三角洲作为研究区,采用2019年3—10月获取的8景Landsat8 OIL作为数据源,使用GEE(Google Earth Engine)云平台,根据影像的不同特征构建了7种不同的分类方案;然后,使用随机森林分类器对不同特征集合进行分类,并选择其中分类效果最好的用于绘制黄河三角洲地区的湿地类别图。其中8,9月份数据由于受到云的污染导致质量差,使用增强型自适应反射率时空融合模型(enhanced spatial and temporal adaptive reflectance fusion model,ESTARFM)算法对有云区域进行填补处理。结果表明:①ESTARFM时空融合模型生成的预测影像与真实影像波段表现出较好的相关性,其R值均能达到0.73以上,说明重构的影像可以用于本研究;②使用随机森林算法对研究区地物类型进行分类,其中方案7通过特征优选,分类结果总体精度达92.28%,Kappa系数达0.91,分类结果与湿地实况相吻合,比常规方案分类精度更高。研究结果有助于了解和掌握该区域湿地不同类型的空间分布特征,可为区域生态环境的保护和规划提供科学依据。

基于改进DeepLabV3+的荞麦苗期无人机遥感图像分割识别方法研究

针对DeepLabV3+语义分割模型计算复杂度高、内存消耗大、难以在计算力有限的移动平台上部署等问题,提出一种改进的轻量化DeepLabV3+深度学习语义分割算法,用于实现无人机荞麦苗期图像的分割与识别。该算法采用RepVGG(Re-parameterization visual geometry group)与MobileViT(Mobile vision transformer)模块融合的方式建立主干网络实现特征提取;同时,在RepVGG网络结构中引入SENet(Squeeze-and-excitation networks)注意力机制,通过利用通道间的相关性,捕获更多的全局语义信息,保证荞麦分割的性能。实验结果表明,与FCN(Fully convolutional networks)、PSPNet(Pyramid scene parsing network)、DenseASPP(Dense atrous spatial pyramid pooling)、DeepLabV3、DeepLabV3+模型相比,本文提出的改进算法在较大程度上降低了模型参数规模,更适合在移动端部署,自建荞麦苗期分割数据集上的语义分割平均像素准确率(Mean pixel accuracy,mPA)和平均交并比(Mean intersection over union,mIoU)分别为97.02%和91.45%,总体参数量、浮点运算次数(Floating-point operations,FLOPs)和推理速度分别为9.01×10^(6)、8.215×10^(10)、37.83 f/s,综合表现最优。在全尺寸图像分割中,训练模型对不同飞行高度的荞麦苗期分割的mPA和mIoU均能满足要求,也具有较好的分割能力和推理速度,该算法可为后期荞麦补种、施肥养护和长势监测等提供重要技术支持,进而促进小杂粮产业智能化发展。