引入上下文信息和Attention Gate的GUS-YOLO遥感目标检测算法

目前基于通用YOLO系列的遥感目标检测算法存在并未充分利用图像的全局上下文信息,在特征融合金字塔部分并未充分考虑缩小融合特征之间的语义鸿沟、抑制冗余信息干扰的缺点。在结合YOLO算法优点的基础上提出GUS-YOLO算法,其拥有一个能够充分利用全局上下文信息的骨干网络Global Backbone。除此之外,该算法在融合特征金字塔自顶向下的结构中引入Attention Gate模块,可以突出必要的特征信息,抑制冗余信息。另外,为Attention Gate模块设计了最佳的网络结构,提出了网络的特征融合结构U-Net。最后,为克服ReLU函数可能导致模型梯度不再更新的问题,该算法将Attention Gate模块的激活函数升级为可学习的SMU激活函数,提高模型鲁棒性。在NWPU VHR-10遥感数据集上,该算法相较于YOLOV7算法取得宽松指标mAP^(0.50)1.64个百分点和严格指标mAP^(0.75)9.39个百分点的性能提升。相较于目前主流的七种检测算法,该算法取得较好的检测性能。

基于NSST与稀疏先验的遥感图像去模糊方法

针对遥感图像的模糊问题,设计一种基于非下采样剪切波变换与稀疏先验的图像复原算法.首先,利用遥感图像在非下采样剪切波分解下的高频图像的稀疏特性设置先验条件构造图像复原模型;其次,采用交替方向乘子法求解模型;再次,采用软阈值方法对高频图像进行约束处理,在低频图像进行导向滤波处理,以最大可能保留图像的细节信息;最后,将高频图像与低频图像进行重构,对重构后的图像采用卷积神经网络进行深度去噪,最终复原出清晰的图像.将该去模糊算法与H-PNP,GSR,L2TV算法进行实验对比.实验结果表明,该算法能有效去除遥感图像中的模糊和噪声,保留图像的边缘细节,客观评价指标均高于其他3种对比实验算法.

面向目标检测的视觉注意机制波段选择研究

近年来,波段选择在高光谱图像降维处理中得到了广泛地应用,然而常用的数据降维方法并没能将与人类视觉系统相关的信息进行有效利用,如果将人类与生俱来的视觉注意机制能力应用到高光谱图像中目标的视觉显著性特征的增强或识别,对于高光谱图像的目标检测研究无疑会产生相当的促进作用。研究提出引入视觉注意机制理论应用于波段选择研究,构建面向目标检测应用的视觉注意机制波段选择模型。通过分析计算波段图幅的目标与背景的可识别程度,量化所在波段对地物目标与背景的判别能力,提出了基于目标视觉可识别度的波段选择方法;利用LC显著性算法进行空间域的视觉显著性目标分析,计算背景与目标的显著性差异绝对值,提出基于LC显著目标结构分布的波段选择方法。将这两种方法结合提出的改进子空间划分方法,建立面向目标检测的视觉注意机制波段选择模型,并经高光谱遥感AVIRIS San Diego公开数据集进行目标检测实验验证,结果表明所提出的基于视觉注意机制的波段选择模型对于目标检测应用具有较好的检测效果,实现了数据降维和高效的计算处理。

多子阵SAS方位空变运动补偿子孔径算法

为解决方位空变的侧摆和偏航误差存在情形下合成孔径声纳的快速运动补偿与成像问题,提出一种多子阵合成孔径声纳方位空变运动补偿子孔径算法。首先,建立运动误差存在情形下的双程距离历程模型,并利用泰勒级数展开对双根号形式距离历程进行近似;然后,利用子孔径运动补偿和单基等效处理,将含有方位空变的侧摆和偏航误差的多子阵回波数据转换为理想的单阵回波数据;最后,利用经典的单阵频域逐线成像算法,实现快速运动补偿和高分辨成像。仿真实验与实测数据成像结果均验证了所提算法的有效性。

基于全局一致性网络的参数化人体网格重建

人体网格重建(HMR)在人机交互和虚拟/增强现实等领域有广泛应用。为了进一步提高基于图像的人体网格重建中人体姿势和形状估计的精度,提出了基于混合逆运动学的全局一致性深度卷积神经网络,用于参数化人体网格重建(GloCoNet)。为了增强网络的全局一致性和全局上的长程依赖,该网络在特征提取网络基础上,设计了全局一致性增强器(GCB)模块,它能够增强模型对全局信息的感知能力和表达能力,并且使模型能够自适应地调整不同通道和空间位置的特征图权重。然后引入了多头注意力机制(MHSA)来捕获模型全局上的长程依赖,它可以帮助模型在处理长期依赖时更好地捕捉到关键的关系和模式,并建模全局上下文信息,从而更好的丰富特征子空间的多样性。同时,该网络采用混合逆运动学的方法弥合人体网格估计和3D人体关节点估计之间的差距,最终提升人体3D姿势和形状估计的准确度。实验结果表明,GloCoNet模型在公开的Human 3.6 M数据集上以平均每关节51.3 mm的位置误差(MPJPE)显著优于先前的主流方法。

NHNet——新型层次化遥感图像语义分割网络

深度学习分割方法是遥感图像分割领域的热点之一,主流的深度学习方法有卷积神经网络、transformer神经网络及两者的结合。特征提取是图像分割的重要环节,除了用卷积等方式提取特征,最近的研究聚焦于一些新的特征提取范式,如图卷积、小波变换等。本文利用聚类算法的区域构建属性,将改进的聚类算法用于骨干特征提取模块,同时使用卷积和视觉transformer作为辅助模块,以获取更丰富的特征表述;在模块基础上,提出了一种新型层次化遥感图像语义分割网络(NHNet);评估了NHNet语义分割的性能,并在LoveDA遥感数据集上与其他方法进行比较。结果表明,基于多特征提取的NHNet获得了竞争性的性能表现,平均交并比为49.64%,F_(1)分数为65.7%。同时,消融实验证明辅助模块提高了聚类算法分割的精确性,给NHNet分别提升了1.03%和2.41%的平均交并比。

基于跨尺度相似先验的遥感图像时空融合算法

遥感卫星图像在空间分辨率和时间分辨率之间权衡导致图像序列的时空矛盾.时空图像融合提供了一个生成高空间分辨率和高时间分辨率图像的解决方案,以满足各种地球观测应用.基于稀疏表示的时空融合算法通过联合训练字典和稀疏编码表示建立高低空间分辨率图像之间的关系,为物候变化、类型变化等各种情况提供了统一的融合框架.然而,多源遥感图像来自于不同的传感器,高低空间分辨率图像之间关系模型暗含有传感器映射关系,导致模型设备依赖.针对该问题,本文提出将多源遥感图像时空融合过程分解为传感器偏差校正和时空融合两个子问题,即设备依赖部分和设备无关部分.传感器偏差校正部分可以作为时空融合预处理模块,提高融合精度,并且使得后续的融合模型更加具有普适性.当高低空间分辨率图像空间分辨率差异较大时,“高低空间分辨率图像稀疏系数一致”的假设带来的融合误差非常突出.针对该问题,本文提出基于跨尺度相似先验的遥感图像时空融合算法,利用跨尺度相似块构建稀疏结构先验的正则项,优化稀疏表示的目标函数,并构建中间尺度图像,降低跨尺度相似块的二义性.本文分别使用3组典型场景的实验数据集与其他算法进行对比,实验结果表明,在BOREAS数据集上,与次优的指标相比,本文算法的结构相似度(Structural SIMilarity,SSIM)提高了4.2%,光谱角(Spectral Angle Mapper,SAM)提高了4.6%;在CIA数据集上,与次优的指标相比,本文算法的SSIM提高了2.7%,SAM提高了12.8%;在LGC数据集上,与次优的指标相比,本文算法的SSIM提高了7.1%,SAM提高了16.3%;证明本文算法在空间和光谱特性上表现出优秀的特性.

含明亮区域的无人机遥感定位图像去雾方法

针对传统DCP去雾算法处理无人机遥感定位含雾图像时,天空或白色等明亮区域颜色易发生失真,图像整体对比度降低等问题,提出了一种自适应阈值分割的DCP去雾方法。利用灰度图像I_(gray)(x)求取图像明亮与非明亮区域的自适应阈值ThrB;根据自适应阈值ThrB将明亮区与非明亮区分割,并设计自适应修正函数M;优化由暗通道图像生成的大气耗散函数粗估计,利用双边滤波再次细化透射率,完成图像去雾复原。实验结果表明:提出方法在处理天空或反光较强的明亮区域时,能够有效避免复原后的颜色失真等问题,进一步改善遥感图像地面景物区域的处理效果,复原后整幅遥感图像的色彩饱和度和对比度明显提高,主观视觉效果有一定改善,且PSNR、FC、SSIM和CR等客观参数均有提升,有利于后续遥感定位图像分析。

融合注意力和扩张卷积的遥感影像道路信息提取方法

针对高分辨率遥感影像语义分割存在地物边缘分割不连续、道路及背景特征复杂多样导致道路提取分割精度不高的问题,提出了一种融合双通道注意力和扩张卷积的遥感影像道路信息提取语义分割网络(A 2DU-Net)。首先,在特征提取部分引入坐标注意力(coordinate attention,CA)模块,捕捉道路位置、方向和跨通道信息,精确定位道路信息。其次,针对网络对细节特征丢失的敏感问题,在编码器的末端利用不同扩张率的空洞卷积构建多尺度特征融合的空洞空间金字塔池化模块(multi-scale Atrous spatial pyramid pooling module,MASPPM)来获得更大的感受野,提高网络性能。最后,为了避免U-Net中纯跳跃连接在语义上不相似特征的融合,在编码器和解码器的跳跃连接之间增加了双通道注意力机制来实现门控筛选,抑制非目标区域的特征,提高网络的分割精度。实验在公共道路数据集Massachusetts上对网络模型进行测试,OA(准确率)、交并比(IoU)、平均交并比(mIoU)和F1等评价指标分别达到98.07%、64.39%、81.20%和88.67%。与主流方法U-Net和DDUNet进行比较,mIoU分别提升了3.07%、0.22%,IoU分别提升了1.98%、0.52%。实验结果表明,所提出的方法优于所有的比较方法,能够有效提高道路分割的精确度。

基于视觉的等离子坡口切割工件快速定位方法研究

针对龙门式等离子零件坡口切割平台视觉系统对待切割零件识别速度慢、轮廓定位信息不准以及误匹配等问题,结合Hu矩和图像配准提出一种高效率的匹配和定位方法。首先通过阈值分割算法对图像进行降噪处理,分离零件背景与前景图,对零件轮廓进行识别,基于Hu矩实现对图像库的快速匹配;其次对读入的CAD图像进行坐标变换,通过定义轮廓最小外包斜矩形的角度,基于轮廓质心寻找到一个旋转角度初值并建立函数模型,利用遗传算法的思想优化迭代最优解;最后用CAD模板图像的轮廓路径,修正零件轮廓定位信息。实验结果表明该方法能够快速且准确地从零件图中搜索到与CAD图库中的对应零件,并实现定位信息修正,修正后的整体图像误差在6个像素左右。

一种波段聚类和多尺度结构特征融合的高光谱图像分类模型

高光谱图像包含丰富的地物信息,在农业、工业和军事等领域应用广泛。因此,高光谱图像的识别与分类是一项重要的研究课题。然而,高光谱图像存在光谱维度高、噪声大、标记样本有限等问题,并未取得很好的分类效果。针对以上问题,提出一种波段聚类和多尺度结构特征融合的高光谱图像分类模型(ASPS-MRTV)。该方法主要包括以下几个步骤,首先,对高光谱数据进行归一化处理,将归一化后的三维图像按光谱维等分为n个子空间;其次,采用粗细划分策略构造自适应子空间光谱特征提取框架,将每个空间波段拉伸为一维向量后用信息散度构造波段的相似性矩阵,按照聚类的思想对n个子空间进行自适应;然后,将每个自适应子空间的光谱波段平均值进行叠加,形成光谱特征;最后,对所得到的光谱特征数据利用多尺度相对全变分技术提取结构特征。为了增强样本的线性可分性,在数据堆叠之后进行核主成分分析,最终形成空谱特征。对比实验中统一使用惩罚参数C和核参数σ都为24.5的SVM进行分类。经测试,ASPS-MRTV网络模型在Indian Pines、 University of Pavia两个数据集上分别以5%, 1%的训练样本达到了97.06%、 98.98%的总体分类精度。实验结果表明,该模型与SVM、 ASPS(ED)、 ASPS(ID)、 ASPS-LBP、 ASPS-GlCM、 ASPS-BF模型相比,在分类性能和计算效率方面都取得了更优的效果,有效提高小样本下高光谱图像的分类精度。

基于局部-全局特征耦合与边界引导的遥感图像建筑物变化检测

针对现有变化检测方法局部特征和全局特征难以兼顾、变化对象和背景之间分界模糊的问题,提出了一种基于局部-全局特征耦合与边界引导的遥感图像建筑物变化检测方法。该方法在编码阶段采用并行的卷积神经网络和Transformer分别提取遥感图像的局部特征与全局表示。在不同尺度下,使用局部-全局特征耦合模块融合局部特征和全局特征表示,以增强图像特征的表达能力。引入边界引导分支获取变化对象的先验边界信息,使其引导变化图突出建筑物的结构特征,促进边界精确定位。该方法在LEVIRCD和WHU数据集上进行实验验证,其F 1-score分别为91.25%和91.27%,IoU分别为83.90%和83.95%。实验结果表明,该方法在检测精度上有较大的提升,且具有良好的泛化能力。

微角振动对遥感相机成像质量的影响分析

针对高空间分辨率航天器遥感成像受微角振动影响模糊化的问题,从理论建模、仿真分析和实验验证3个维度量化了微角振动幅值、频率、初始相位等特性对遥感相机成像质量的影响.首先,从成像原理出发,建立了图像退化模型,分析了微角振动导致图像模糊和几何形变的机理.其次,分析了角振动参数对像移的影响规律,建立了不同角振动频率对应的调制传递函数(MTF)的解析计算式,分析了角振动幅值、角振动频率和初始曝光时刻对MTF的影响规律.然后,利用MATLAB搭建仿真平台,以调制传递函数面积(MTFA)作为评价指标,量化分析了角振动幅值、角振动频率和初始曝光时刻对图像模糊度的贡献程度.最后,搭建了振动实验平台,实验验证了各个振动参数对成像质量的影响规律.结果表明:图像像质随角振动振幅的增加而下降,频率100.0 Hz的角振动幅值从0.0064°增加至0.0281°时,MTFA由0.2776下降至0.1192;低频角振动作用下成像质量与角振动初始相位、振幅、频率有关,高频非整周期振动会造成MTF曲线的波动,且非整周期振动对成像质量的影响随着角振动频率的增加而减小.曝光时间为角振动周期的整数倍时,初始曝光时刻对图像像质的影响可以忽略.微角振动对遥感影像几何精度的影响规律能够为高轨遥感相机微角振动的测量与抑制提供理论支撑.

基于深度图像先验的高光谱图像去噪方法

为了避免现有的高光谱图像去噪优化模型仅考虑有限的高光谱内在结构特点、并未实现图像特征的精确表征的问题,采用了一种基于空谱深度图像先验与平滑的高光谱图像去噪方法,将紧框架变换与具有高表达与强学习能力的深度学习模型进行结合,构建基于深度学习的噪声去除模型。首先在低秩矩阵分解的基础上,利用特定的深度图像先验学习潜在的空谱特征;然后分别构建端元与丰度矩阵的紧框架稀疏正则探究空谱局部平滑,并解决深度图像先验的半拟合问题;最后设计高效迭代算法实现模型求解。结果表明,基于空谱深度图像先验的方法在各种复杂的噪声干扰下均表现出较好的视觉恢复性能,峰值信噪比至少有1 dB以上的提升,得到了高质量的恢复图像。该方法为高光谱图像去噪提供了参考。

双向多尺度特征融合的高效遥感图像车辆检测

针对遥感图像中车辆检测面临的背景复杂、多尺度差异和小目标难以检测等挑战,提出了一种基于双向多尺度特征融合的检测方法GEM_YOLO。该方法包括三个主要部分:设计了全局高效注意力模块作为特征提取器,实现轻量化和高效率的特征提取,以解决复杂背景下的目标检测问题;提出了双向多尺度特征融合网络作为特征融合器,采用自顶向下和自底向上的特征融合策略,有效促进不同层次特征之间的信息交互;应用基于注意力的动态检测头作为预测器,增强了对不同尺度、空间位置和任务的感知,进一步提升了目标检测的精度和鲁棒性。在公开数据集DIOR和DOTA上进行相关实验,该方法的平均精度均值达到92.4%和81.4%,显著优于其他主流检测方法,同时具有更少的参数量和计算量,为遥感图像检测领域中的车辆检测提供了一种高效解决方案。

结合大卷积与优化器的遥感影像建筑物提取网络

针对建筑物大小形状各异和背景相似度高导致的遥感影像建筑物提取网络的整体识别能力较差、多尺度信息提取能力低、边界模糊的问题,提出一种结合大卷积核和优化器的2U-Net网络,以更有效地提升建筑物提取精度。首先,在特征提取部分采用大核深度卷积模块构造U型网编码器,使用更大的卷积核提升感受野,解决整体识别和多尺度信息提取问题;其次,针对建筑物整体语义信息关注度低的问题,在解码器的输出端增加无参数注意力机制,通过权重函数提高建筑物关注度,抑制无用背景信息表达;最后,避免直接输出粗略特征图、建筑物边界提取模糊,构造U型优化器提高建筑物边界提取精度,优化边缘细节信息。在Satellite datasetⅡ(East Asia)和WHU数据集上,评价指标IoUBuilding达到72.04%、90.71%,MIoU达到85.19%、94.75%,与U-Net对比分别提高了2.54%、2.64%和1.34%、1.51%,且均优于现有主流方法。实验结果表明,2U-Net网络提取效果更准确,对实际应用具有一定参考价值。

基于改进SE-Net和深度可分离残差的高光谱图像分类

针对目前常见的用于高光谱图像分类的卷积神经网络参数数量多,训练时间长,对样本数量依赖性大的问题,提出一种适用于有限训练样本条件下基于改进压缩激活网络和深度可分离残差的分类网络MDSR&SE-Net.首先使用主成分分析对原始高光谱图像进行通道降维,然后通过三维卷积神经网络连接多特征残差结构,同时嵌入改进的SE模块提取高光谱图像的空间和光谱细节特征,最后将提取到的特征数据输入Softmax分类器激活分类.为了使网络更加轻量,通过在残差结构中使用深度可分离卷积和引入全局平均池化减少参数数量.实验结果显示,使用有限训练样本在三种常见高光谱数据集上总体分类精度均达到99%以上.

基于Vision Transformer的时空卷积网络设计

目前主流人体动作识别大部分都是基于卷积神经网络(Convolutional Neural Network,CNN)实现,而CNN容易忽略视频中的空间位置信息,从而降低了视频空间频域中动作识别能力。同时传统CNN不能快速定位到关键的特征位置,并且在训练过程中不能并行计算导致效率低。为了解决传统CNN在处理时间频域和多并行计算问题,提出了基于视觉Transformer(Vision Transformer,ViT)和3D卷积网络学习时空特征(Learning Spatiotemporal Features with 3D Convolutional Network,C3D)的人体动作识别算法。使用C3D提取视频的多维特征图、ViT的特征切片窗口对多维特征进行全局特征分割;使用Transformer的编码-解码模块对视频中人体动作进行预测。实验结果表明,所提的人体动作识别算法在UCF-101、HMDB51数据集上提高了动作识别的准确率。

基于ACE与YOLOv5的电力遥感图像检测算法

针对电力遥感图像采集时存在大量浓烟以及数据样本少等问题,提出一种基于对数变换的改进型自动色彩均衡与改进后YOLOv5s模型的遥感图像去雾检测算法,旨在通过提高数据集的图像质量进而提高检测网络的检测精度。构建的改进型自动色彩均衡对电力遥感图像去雾增强,并通过图像质量和特征提取两方面进行了实验数据对比,实验结果表明改进的自动色彩均衡算法优于其它算法。其次,通过YOLOv5s检测算法对增强后的数据集进行训练,引入mosaic数据增强算法,并通过构建ghost卷积模块和NAM注意力模块降低了网络参数、提升了网络检测精度。

基于改进ORB算法的特征检测与匹配研究

针对传统ORB算法中阙值选取不具有普适性,易受光照影响,纹理信息提取能力弱且特征点易产生富集情况的缺陷,提出改进的ORB特征提取与匹配算法。首先以待检测点为中心进行区域划分,其次利用自适应阙值判断待检测点,并使用自适应范围的非极大抑制算法解决特征点富集问题,提高均匀性。然后使用各项异性扩散滤波提高纹理信息提取能力,最后结合双边滤波改进描述子点对,结合PROSAC算法消除误匹配。实验结果表明,改进后的算法对光照有较强的适应能力,提高了纹理特征提取的能力,特征点分布均匀,改善了富集效应,光照条件下的匹配精度得到提高,具有更好的适应能力。