Correg-Yolov3:a Method for Dense Buildings Detection in High-resolution Remote Sensing Images

The exploration of building detection plays an important role in urban planning,smart city and military.Aiming at the problem of high overlapping ratio of detection frames for dense building detection in high resolution remote sensing images,we present an effective YOLOv3 framework,corner regression-based YOLOv3(Correg-YOLOv3),to localize dense building accurately.This improved YOLOv3 algorithm establishes a vertex regression mechanism and an additional loss item about building vertex offsets relative to the center point of bounding box.By extending output dimensions,the trained model is able to output the rectangular bounding boxes and the building vertices meanwhile.Finally,we evaluate the performance of the Correg-YOLOv3 on our self-produced data set and provide a comparative analysis qualitatively and quantitatively.The experimental results achieve high performance in precision(96.45%),recall rate(95.75%),F1 score(96.10%)and average precision(98.05%),which were 2.73%,5.4%,4.1%and 4.73%higher than that of YOLOv3.Therefore,our proposed algorithm effectively tackles the problem of dense building detection in high resolution images.

Road Vector Map Change Monitoring Based on High Resolution Remote Sensing Images

Some studies about road vector map change detection were done in this paper. Firstly, on the basis of old road vector data, the original high resolution remote sensing image was cut into segments. Then, gray analysis and edge extraction of those segments were done so that changes of roads could be detected. Finally, according to the vector data and gray information of roads which were not changed, road templates were extracted and saved automatically. This method was performed on the World View high resolution image of certain parts in the country. The detection result shows that detection correctness is 79.56% and completeness can reach 97.72%. Moreover, the extracted road templates are essentials for the template matching method of road extraction.

Monitoring of Karst Rocky Desertification Control Projects Based on Remote Sensing Images with Medium and High Spatial Resolution——A Case Study of Disi River Basin in Puan County

[ Objective] The study aimed to improve methods of monitoring Karst Rocky Desertification （KRD） control projects and increase the working efficiency. [Method] Based on remote sensing images with medium and high spatial resolution, KRD control projects in Disi River basin in Puan County were monitored, that is, information of the project construction in the study area was extracted using supervised classification and hu- man-computer interactive interpretation, and the monitoring results were testified with the aid of GPS. [Result] It was feasible to monitor KRD con- trol projects in Disi River basin based on remote sensing images with medium and high resolution, and the monitoring accuracy was satisfactory, reaching above 80% or 90%, so the method is worthy of popularizing. [ Conclusion] Remote sensing images with medium and high resolution can be used to monitor other KRD control Droiects.

Smart Photogrammetric and Remote Sensing Image Processing for Very High Resolution Optical Images——Examples from the CRC-AGIP Lab at UNB

This paper introduces some of the image processing techniques developed in the Canada Research Chair in Advanced Geomatics Image Processing Laboratory (CRC-AGIP Lab) and in the Department of Geodesy and Geomatics Engineering (GGE) at the University of New Brunswick (UNB), Canada. The techniques were developed by innovatively/“smartly” utilizing the characteristics of the available very high resolution optical remote sensing images to solve important problems or create new applications in photogrammetry and remote sensing. The techniques to be introduced are: automated image fusion (UNB-PanSharp), satellite image online mapping, street view technology, moving vehicle detection using single set satellite imagery, supervised image segmentation, image matching in smooth areas, and change detection using images from different viewing angles. Because of their broad application potential, some of the techniques have made a global impact, and some have demonstrated the potential for a global impact.

New Mathematical Model Based on Affine ransformation for Remote Sensing Image with High Resolution

This paper calculates the parameters of image position and orientation,proposes a mathematical model and adopts a new method with three steps of transformations based on parallel ray projection.Every step of the model is strict,and the map function of each transformation is the first order polynomials and other simple function.The final calculation of the parameters is for the linear equations with good status.As a result,the problem of the relativity of image parameter calculation is solved completely.Some experiments are carried out.

Analysis of Urban Greening of Tai'an City in China Based on Remote Sensing Image with High Resolution

By taking urban greening of Tai'an City of Shandong Province for example,selecting remote sensing image Quickbird with high resolution,and combining visual interpretation with automatic classification of the computer,based on urban green space systematic planning map,green space information of the built-up area has been selected for the research centering on green lands in urban parks,productive green lands,green lands attached to residential areas and units,green lands attached to the road,other green lands,water surfaces and so on.Through the statistics and analysis,the distribution condition of each type of urban green land has been obtained,and some suggestions have been proposed in view of existing problems of urban greening.It should enhance the construction of green lands in urban parks,residential areas and units,improve road greening level,implement vertical greening,increase the area of productive green lands and fully make use of idle lands.

Monitoring of vegetation coverage based on high-resolution images

Measurement of vegetation coverage on a small scale is the foundation for the monitoring of changes in vegetation coverage and of the inversion model of monitoring vegetation coverage on a large scale by remote sensing. Using the object-oriented analytical software, Definiens Professional 5, a new method for calculating vegetation coverage based on high-resolution images （aerial photographs or near-surface photography） is proposed. Our research supplies references to remote sensing measurements of vegetation coverage on a small scale and accurate fundamental data for the inversion model of vegetation coverage on a large and intermediate scale to improve the accuracy of remote sensing monitoring of changes in vegetation coverage.

双编码端高分辨率遥感影像语义分割算法

遥感影像具有多尺度对象、复杂背景、不均衡类别等特点。基于卷积神经网络(CNN)的语义分割算法难以捕捉到影像的全局特征,导致分割效果不佳。针对以上问题,利用Swin Transformer的全局特征提取能力,提出了双编码端高分辨率遥感影像语义分割算法DEGFNet。设计特征融合模块(FFB)将Swin Transformer捕获的全局特征引入编码端,应对多尺度对象带来的挑战。在Swin Transformer中设计空间交互模块(SIB),降低复杂背景样本带来的负面影响;在解码端引入全局-局部注意力模块(GLTB)和特征细化模块(FRB),来更好地利用编码端提取的信息,提高语义分割的精确性;采用交叉熵损失和Dice Loss组成的混合损失函数训练模型,减轻样本类别不均衡带来的消极影响。在Vaihingen数据集上,宏观平均F1值(mF1)、平均交并比(mIoU)和整体准确率(OA)指标分别达到91.9%、84.8%和92.4%;在LoveDA数据集上,mIoU指标达到55.0%,均展现出了更好的语义分割效果和良好的泛化性。

基于深度学习的火山灾害场景高分遥感检测方法

针对现有火山灾害场景高分遥感图像智能检测中地表目标类型多样、样本类标缺失问题,提出一种基于深度学习的火山灾害场景高分遥感检测方法.该方法首先以多示例学习网络(Multi-Instance Learning,MIL)为框架,利用联合金字塔上采样(Joint Pyramid Upsampling,JPU)代替扩张卷积,然后通过原型学习和注意力机制(Attention Mechanism,AM)实现对火山灾害场景特征表示的深度神经网络模型重构,并在xBD数据集上进行测试.实验结果表明,与基准卷积神经网络(Convolutional Neural Network,CNN)、MIL方法和“CNN+”深度学习方法相比,在计算耗时未显著增加的情况下,本文方法能够取得最小的标准差和最高的准确性与检测精度,目视效果好.此外,我们进一步利用本文方法对2022年1月14—15日Hunga Tonga-Hunga Ha’apai(HTHH)火山灾害场景多源、多时序高分遥感图像进行检测,与已有成果表现出较好的一致性.

融合混合注意力机制与多尺度特征增强的高分影像建筑物提取

由于复杂背景变换和建筑物形状多样化等因素影响,从高分辨率遥感图像中准确提取建筑物信息面临着挑战。该文提出了一种融合混合注意力机制与多尺度特征增强的高分辨率建筑物语义分割网络(building mining net,BMNet)。首先,编码器部分使用VGG-16作为主干网络来提取特征,得到4层特征表示;然后设计解码器用于解决多尺度信息中高层特征的细节信息丢失问题,引入了混合通道注意力和空间注意力的串联注意力机制(series attention module,SAM),增强高层特征的表示能力;同时,设计了一种渐进式特征增强的建筑物信息挖掘模块(building mining module,BMM),进一步提高建筑物分割的准确性。BMM把上采样后的特征映射、经过SAM处理的特征映射以及初始预测结果作为输入,获取背景噪声信息,并利用所设计的上下文信息探索模块滤除背景信息,在经过多次BMM处理后得到最佳预测结果。对比实验结果表明:BMNet在武汉大学建筑数据集上精度和交并比分别优于U-net 4.6%和4.8%,在马萨诸塞州建筑数据集和Inria航空图像标注数据集上精度和交并比分别优于U-net 7.9%,8.9%和6.7%,11.0%,验证了所提模型的有效性以及实用性。

基于高分辨率遥感影像的居民地分类方法研究

随着我国城镇化进程的不断深入,大量乡村居民地已经转化为城镇居民地,为了度量二者实时的转化情况,该文提出一种基于监督分类机制的居民地分类方法,该方法首先采用边缘特征及高斯函数量化影像上的局部特征,然后构建5种城镇及乡村居民地分类规则,其次创建训练样本对各类规则进行学习,最后通过城镇及乡村测试样本验证该文方法的精度。实验表明,该文方法可以对高分辨率遥感影像城镇及乡村居民地进行初级分类,为“城镇化”进程提供一个新的衡量指标。

基于轻量化NDFEDet-SOLOv2的遥感图像建筑物提取方法

目的在地籍测绘和灾害管理等领域中,建筑物轮廓和位置的自动提取是至关重要的一环。为了解决高分辨率遥感图像建筑物因环境因素导致分割精度不准确等问题,提出了一种改进的轻量化SOLOv2实例分割模型——NDFEDet-SOLOv2。方法该模型选用双向特征金字塔网络(BiFPN)特征融合方式的轻量级EfficientDet网络,其中将骨干网络部分的EfficientNet升级为EfficientNetv2,EfficientNetv2中的三层MBConv模块SE注意力更换为含有DropBlock正则化的轻量级标准化注意力机制(NAM),构成NAD-MBConv模块。BiFPN特征融合部分,向其尾端各特征层并入双水平路由注意视觉变压器(BiFormer),形成双向水平路由注意特征金字塔网络结构(Bi-FPN-Former),从而聚焦微小建筑物轮廓信息,以实现更高层次的特征融合。结果NDFEDet-SOLOv2模型相较于传统轻量级SOLOv2实例分割算法,平均精度mAP、mAP 50和mAP 75分别提高了3.9%、3.7%和2.5%,检测帧率(FPS)提高了2.7帧/s。结论轻量化NDFEDet-SOLOv2实例分割算模型消除了建筑物边角的图像畸变,在地理环境空间不均等复杂情况下也能准确提取出遥感图像建筑物的基本轮廓,从而为城市布局更新和建筑变化检测提供理论参考。

一种耦合DeepLab与Transformer的农作物种植类型遥感精细分类方法

如何精细遥感监测复杂的不同类型农田作物种植情况,是智慧农业农村领域实现农耕面积调查与农作物估产的关键。目前的高分辨率影像的作物种植像素级语义分割中,深度卷积神经网络难以兼顾空间多尺度全局特征和局部细节特征,从而导致各类农田地块之间边界轮廓模糊和同类农田区域内部完整性不高等问题。针对这些不足,本文提出了一种耦合DeepLabv3+和Transformer编码器的双分支并行特征融合网络FDTNet,以实现农作物种植类型的精细遥感监测。首先,在FDTNet中并行嵌入DeepLabv3+和Transformer分别捕获农田影像的局部特征和全局特征;其次,应用耦合注意力融合模块CAFM有效融合两者的特征;然后,在解码器阶段应用卷积注意力模块CBAM增强卷积层有效特征的权重;最后,采用渐进式多层特征融合策略将编码器和解码器中的有效特征全面融合并输出特征图,以实现晚稻、中稻、藕田、菜地和大棚的高精度分类识别。为了验证FDTNet网络模型在高分辨率作物分类应用的有效性,本文选择不同高分辨率的Yuhu数据集和Zhejiang数据集验证,mIoU分别达到74.7%和81.4%。相比于已有的UNet、DeepLabv3、DeepLabv3+、ResT和Res-Swin等深度学习方法,FDTNet的mIoU可分别高2.2%和3.6%。结果表明,FDTNet在纹理单一、大样本量,以及纹理多样、小样本量的两类农田场景中同时表现出优于对比方法的性能,具有较全面的多类别农作物有效特征提取能力。

结合通道交互空间组注意力与金字塔池化的高分影像语义分割网络

高空间分辨率(高分)遥感影像中存在海量信息,因此对高分影像的语义分割研究十分重要。传统机器学习方法的语义分割精度和效率均不高,近年来,深度学习方法迅速发展,逐渐成为影像语义分割领域的常用方法,已有研究将SegNet、Deeplabv3+、U-Net等神经网络引入遥感影像语义分割,但效果有限。考虑高分影像的特性,对用于遥感影像语义分割的U-Net网络进行了改进。首先,在U-Net网络特征提取过程中使用通道交互空间组注意力模块(channel interaction and spatial group attention module,CISGAM),使得网络能够获取更多有效特征。其次,在编码过程中将普通卷积层变换为残差模块,并在U-Net的编码器和解码器之间用加入了CISGAM的注意力金字塔池化模块(attention pyramid pooling module,APPM)连接,以加强网络对多尺度特征的提取。最后,在0.3 m分辨率的UC Merced数据集和1 m分辨率的GID数据集上进行实验,与U-Net、Deeplabv3+等原始网络相比,在UC Merced数据集上的平均交并比(mean intersection over union,MIoU)分别提升了14.56%和8.72%,平均像素准确率(mean pixel accuracy,MPA)分别提升了12.71%和8.24%。在GID数据集的分割结果中,水体、建筑物等地物的综合分割精度大幅提升,在平均分割精度上,CISGAM和APPM较常用的CBAM和PPM有一定提升。实验结果表明,加入CISGAM和APPM的网络可行性与鲁棒性均较传统网络强,其较强的特征提取能力有利于提升高分辨率遥感影像语义分割的精度,为高分辨率遥感影像智能解译提供新方案。

融合空洞空间金字塔池化和注意力的轻量化遥感影像道路提取

针对高分辨率遥感影像中道路形状结构错综复杂,出现窄小型道路提取错误或漏分的问题,提出一种基于空洞空间金字塔池化和注意力机制的轻量化遥感影像道路提取方法。首先,在原始高分辨率网络(HRNet)基础上,通过引入空洞空间金字塔池化模块,实现多尺度道路信息融合;再引入挤压激励通道注意力机制,增强网络特征表征质量;最后使用深度可分离卷积方法改进网络残差模块实现模型轻量化,以降低模型计算复杂度。在公开数据集上进行了模型性能测试,实验结果表明,文章所提算法的准确率、精确率、召回率、F1分数和平均交并比,相比原始HRNet分别提升了5.35%、2.15%、4.1%、3.15%和14.34%,且减少了36.1%的参数数量;相比其他网络,该算法突出了细小道路的特征,道路预测结果连续性、完整性好,并且模型小易于部署在实时检测设备中,有效改善了道路提取任务中错分和缺失的情况,是一种适应性更强、分割精度更高、更轻量化的多尺度道路提取算法。

联合目标特征引导与多重注意力的建筑物变化检测

高分遥感影像具有丰富的细节特征,建筑物变化类型多,尺度差异大。针对建筑物变化在复杂环境中易出现空洞和遗漏的问题,本文提出联合目标特征引导与多重注意力的建筑物变化检测方法,通过建筑物目标级引导强化类别信息,实现高分辨影像精细变化信息提取。该方法由建筑物显著增强模块和目标引导的多重注意力模块组成,通过全局深层特征感知与融合,提取建筑物重点区域,结合目标级特征引导和多重自注意力强化特征表达,增强上下文特征相关关系,有效减少细节特征损失,解决目标空洞和边缘不清晰造成的细节损失问题。通过两组试验表明该方法能够提升准确率,在变化种类越多的场景中有效减少变化损失,提高算法稳定性。

面向建筑物轮廓规则化的双路径边界约束与相对论生成对抗网络

高分辨率遥感影像建筑物提取目前仍是遥感应用与地图制图领域的研究热点和难点。尽管深度学习方法的引入极大地提升了建筑物分割的精度,但建筑物分割掩膜中轮廓不规则和边界不清晰的问题依然存在。为了获取规则的建筑物轮廓和清晰的边界,本文基于双路径边界约束与相对论生成对抗网络提出一种建筑物轮廓规则化方法。该网络由双路径边界约束生成器和相对论平均鉴别器共同组成。双路径边界约束生成器通过双路径网络架构和边界损失函数来融合遥感影像和输入标签的边界细节信息来,从而生成规则的建筑物轮廓;而相对论平均鉴别器则通过评估地面实况标签与生成的规则化结果之间的质量差异来迫使生成器生成更为真实的建筑物掩膜。为验证模型性能、探索性能提升原因,本文在WHU建筑物数据集和Inria航空影像标注数据集上设计了对比试验和消融试验。试验结果表明,本文方法可以生成吻合地面实况标签的规则化结果,在解决分割掩膜边界模糊、轮廓不规则的问题上具有显著优势。

注意力机制和全局卷积在光伏板分割中的应用

准确识别光伏对光伏产业有效健康发展至关重要。高分辨率遥感图像复杂的背景和光伏板形状颜色多变给光伏识别带来巨大的挑战。针对高分辨率遥感图像中光伏用地提取问题,提出网络以精确地提取光伏用地。该网络采用编码器和解码器的形式融合多层特征以结合丰富的语义信息,利用全局卷积和双注意力机制捕获重要的空间特征和通道特征,并使用通道融合模块恢复丢失的部分通道信息。提出的方法可以有效解决光伏板边缘模糊和光伏板粘连的问题。在公开光伏数据集上的实验表明,与U-Net、SegNet、DeepLabv3和DeepLabv3+相比,所提方法在PV01、PV03、PV08三个数据集上的IoU分别达到87.02%、92.98%和88.43%。实验证明所提方法能对高分辨率遥感图像光伏板进行高准确率分割。

多级对比学习下的弱监督高分遥感影像城市固废堆场提取

城市固体废物是城市化进程中的重要污染源,对城市生态环境和公共健康造成了巨大危害。高分影像固废堆场智能解译是实现自动排查,提升监测效率的核心和关键技术。基于深度学习的固废堆场自动提取方法严重依赖于获取成本高、制作难度大的高质量像素级标注。为此,本文提出使用更易获取的影像级标注,利用影像自监督学习实现像素级固废堆场提取。围绕固废堆场的影像特征,本文方法在尺度对比约束下综合像素、影像两个层次的对比学习方法,对固废堆场的类别激活图细化和完善,并基于此生成高质量的固废堆场伪像素级标注,用于训练固废堆场提取模型。试验结果表明,本文方法在固废堆场提取的F 1值和IoU分数方面分别达到了71.58%和55.74%,显著优于所有对比方法。这说明利用多级对比学习的弱监督方法能够获得更加完整且准确的类别激活图,从而取得更高的固废堆场提取精度。

基于轻量语义分割网络的遥感土地覆盖分类

高分辨率遥感图像有丰富的空间特征,针对遥感土地覆盖方法中模型复杂,边界模糊和多尺度分割等问题,提出了一种基于边界与多尺度信息的轻量化语义分割网络.首先,使用轻量化的MobileNetV3分类器,采用深度可分离卷积来减少计算量.其次,使用自顶向下和自底向上的特征金字塔结构来进行多尺度分割.接着,设计了一个边界增强模块,为分割任务提供丰富的边界细节信息.然后,设计了一个特征融合模块,融合边界与多尺度语义特征.最后,使用交叉熵损失函数和Dice损失函数来处理样本不平衡的问题.在WHDLD数据集的平均交并比达到了59.64%,总体精度达到了87.68%.在DeepGlobe数据集的平均交并比达到了70.42%,总体精度达到了88.81%.实验结果表明,该模型能快速有效地实现遥感图像土地覆盖分类.