MMShip:中分辨率多光谱卫星图像船舶数据集

针对现有遥感船舶数据集均为裁剪后的图像,用数据集训练的检测算法直接运用于卫星图像原始尺度时检测效果较差的问题,建立了可见光和近红外4个波段的多光谱卫星船舶数据集MMShip,数据集同时包含卫星图像的原始尺度数据和切割后的小尺度船舶数据。本数据集引入多波段信息,弥补现有数据集多为可见光图像,而可见光容易受到光照条件等影响的缺点。在全球海域内下载云量低于3的Sentinel-2卫星图像,进行大气校正后只选取10 m分辨率的红绿蓝和近红外4个波段,以景为单位筛选出包含有船舶的图像。把筛选后的图像按无重叠的方式切分为512×512,剔除其中不包含船舶目标的图像。然后,使用LabelImage软件对小尺度数据进行了水平框标注,再将标注数据反推至原始尺度得到原始尺度下的标注信息。最后,利用几种典型的检测算法在切割后的MMShip小尺度数据集上进行了可见光、近红外、多光谱对比实验。构建了一个涵盖不同场景的多光谱卫星船舶目标数据集,包含497景原始尺度标注数据和裁剪后的5 016组船舶目标图像。对比实验验证了近红外波段信息的补充有助于提高船舶目标检测算法的精度。多光谱船舶数据集MMShip可用于卫星图像尺度和普通图像尺度的多光谱船舶目标检测算法研究。

AIR-SARShip-1.0：高分辨率SAR舰船检测数据集

近年来,深度学习技术得到广泛应用,然而在合成孔径雷达(SAR)舰船目标检测研究中,由于数据获取难、样本规模小,尚难以支撑深度网络模型的训练。该文公开了一个面向高分辨率、大尺寸场景的SAR舰船检测数据集,该数据集包含31景高分三号SAR图像,场景类型包含港口、岛礁、不同级别海况的海面等,背景涵盖近岸和远海等多样场景。同时,该文使用经典舰船检测算法和深度学习算法进行了实验,其中基于密集连接端到端网络方法效果最佳,平均精度达到88.1%。通过实验对比分析形成指标基准,方便其他学者在此数据集基础上进一步展开SAR舰船检测相关研究。

基于深度学习的遥感图像舰船目标检测算法综述

海面舰船目标检测是遥感图像处理和模式识别领域备受关注的重点研究方向,对舰船目标的自动检测在民用和军用方面都具有重大意义。梳理和分析了典型基于深度学习的目标检测算法的优缺点,并进行了对比和总结;归纳了基于深度学习的舰船目标检测的技术现状,并从多尺度检测、多角度检测、小目标检测、模型轻量化和大幅宽遥感图像舰船目标检测等方面对技术现状进行了详细的介绍。最后,介绍了舰船目标识别算法常用的评价标准和现有的舰船图像数据集,探讨了遥感图像舰船目标检测算法现在所面临的问题和未来的发展趋势。

基于YOLO模型的SAR舰船目标检测方法研究

随着海上交通运输业业务需求的不断增加,传统的目标检测方法已无法满足实际需求。由于卫星遥感技术的快速发展,基于合成孔径雷达(Synthetic Aperture Radar,SAR)图像舰船目标自动识别具有显著的应用潜力。近年来,深度学习技术在目标检测领域逐渐显现出优势,特别是YOLO (You Only Look Once)模型以其较高的精度和计算效率,为SAR舰船目标的识别提供了一种新的方法。为对比不同的YOLO模型在舰船目标识别领域的性能及其相比于两阶段深度学习算法的优势,本文首先对YOLO系列的结构进行了归纳总结;其次对当前广泛使用的数据集进行了对比分析,并基于SAR图像数据集(SAR Ship Detection Dataset,SSDD)的样本进行重新标注构建出本文的数据集;然后将YOLO系列模型与两阶段目标检测方法——更快速的区域卷积神经网络(Faster Region-based Convolutional Neural Network,Faster R-CNN)在SAR舰船目标检测的精度和速度两方面进行对比实验;最后在YOLOv5模型的基础上对主干网络(Backbone)进行优化,建立了一种基于注意力机制的舰船目标识别深度学习网络——YOLOv5.SAM。基于本文所建立的SAR舰船图像数据集的实验结果表明,YOLOv5在计算精度和计算效率方面相较于其他YOLO系列模型展现出更加显著的综合优势,其m AP值为0.73,但对密集目标的识别精度有待提升。在此基础上,本文提出的YOLOv5.SAM模型在识别精度和对密集目标的检测性能方面均实现了提升,其m AP值达到0.79,从而证明该方法在SAR舰船目标识别方面的有效性。

基于改进EfficientDet算法的可见光遥感舰船目标检测

为了有效地解决可见光遥感影像中舰船目标难检测、易错检等问题,文中提出一种基于改进EfficientDet的舰船目标检测算法E-EfficientDet。首先利用K-means++聚类算法对舰船数据集中的目标物体的长宽信息进行聚类分析,得到适合舰船目标的Anchors;然后,针对SENet模块参数量大和降维处理使特征图通道之间的依赖性减小的问题,使用ECANet模块代替EfficientNet网络中SENet模块;其次,为了解决遥感图像中相似目标对船只检测的干扰及小目标难检的问题,采用EfficientNet-B0、EfficientNetV2网络作为E-EfficientDet模型的主干特征提取网络,将获取到的特征送入到改进的BiFPN网络中进行特征融合,获取更加丰富有效的船只目标特征信息;最后,为了扩大图像的响应区域并避免骨干网络对输入图片进行特征提取时出现的信息丢失情况,利用SPPNet网络对特征图进行不同尺度的最大池化。实验结果表明,E-EfficientDet算法对文中数据检测的平均精度(AP)达到90.18%,每张图像的检测时间为0.06 s。另外,将E-EfficientDet算法与Faster RCNN、SSD、YOLOv3算法进行对比,得到所提算法的AP精度均高于其余算法,说明所提算法对实际遥感场景下舰船的检测性能较好。

RSDD-SAR:SAR舰船斜框检测数据集

针对合成孔径雷达(SAR)舰船斜框检测数据集较少,难以满足算法发展和实际应用需求的问题,该文公开了SAR舰船斜框检测数据集(RSDD-SAR),该数据集由84景高分3号数据和41景TerraSAR-X数据切片及2景未剪裁大图,共127景数据构成,包含多种成像模式、多种极化方式、多种分辨率切片7000张,舰船实例10263个,通过自动标注和人工修正相结合的方式高效标注。同时,该文对几种常用的光学遥感图像斜框检测算法和SAR舰船斜框检测算法进行了实验,其中单阶段算法S2ANet检测效果最佳,平均精度达到90.06%。通过实验对比分析形成基准指标,可供相关学者参考。最后,该文通过泛化能力测试,分析讨论了RSDD-SAR数据集训练模型在其他数据集和未剪裁大图上的性能,结果表明:该数据集训练模型具有较好的泛化能力,说明该数据集具有较强的应用价值。RSDD-SAR数据集可在以下网址下载:https://radars.ac.cn/web/data/getData?dataType=SDD-SAR。

舰船遥感图像数据集DSTD的构建研究

目标检测算法在PASCAL VOC、COCO等一系列数据集中都取得了一定的效果,但是都是面向自然场景下的多目标检测任务,而这些数据集中的单类目标场景往往很单一,相应目标数量也很少,针对特定场景和特定目标的数据集并不多见。而对于此类任务的数据集往往也是很有价值的,例如遥感场景下的舰船检测或者飞机检测。针对此问题,构建一种面向遥感场景的大规模水面舰船目标检测数据集,其数据集的主要来源为DIOR、DOTA、NWPU-VHRdataset、TGRS-HRRSD-Dataset-master等几个开源数据集,将其命名为DSTD(dataset for ship target detection),数据集中包含4854张舰船图片,87076个舰船实例。DSTD数据集具有数量多、多尺度和成像差异大以及较高的类内多样性等特点。在构建数据集的基础上,进一步分析了遥感舰船图像的细节特征,评估了一些经典目标检测方法的性能,并进行了实验对比,验证了该数据集的可行性,同时发现了当前较适合舰船的检测方法:即YOLOV5。使用YOLOV5算法进行舰船图像目标检测,在保证高检测精度的同时,能保持极快的检测速度。

基于深度学习的可见光图像舰船目标检测与识别

为探究深度卷积神经网络在舰船检测与识别中的应用,研究了基于深度学习方法的可见光图像舰船目标检测与识别,总结了适用的可见光图像舰船数据集与针对舰船目标的网络优化方法。研究表明,迁移学习、先验框改进、特征优化等方法均能提升舰船检测与识别的准确率。未来应结合多源特征的融合,对轻量化舰船识别、细粒度舰船分类等方向进行研究。

SAR图像舰船目标检测数据集构建研究综述

算法和数据是影响深度学习技术发展的两大关键因素,大多数学者专注于算法的改进和开拓,仅有少部分学者致力于数据的研究。构建合成孔径雷达(Synthetic Aperture Radar,SAR)图像舰船数据集是SAR舰船目标检测项目的第一步,也是星载SAR图像实际工程应用的基础。分析了影响SAR舰船目标检测性能的关键因素,阐述了SAR舰船数据集的构建方法,概述了TerraSAR-X、“哨兵”1号(Sentinel-1)和高分三号(GF-3)三种SAR图像数据源,并对几种公开的SAR舰船数据集进行梳理与分析,总结了各数据集的发展历程,最后指出构建SAR图像舰船数据集仍需考虑的几个方面。

基于人在回路的目标数据集均衡完备评价方法研究

面向舰船目标识别应用需求,针对深度学习网络模型在实际应用场景下泛化能力不足的问题,设计了一种基于人在回路的目标数据集均衡完备评价方法。构建舰船目标数据集的均衡完备评价指标体系,通过人在回路的方式进行有监督的评估,同时对数据集进行深度学习网络模型训练和测试。根据评价指标统计量和深度学习网络模型的识别准确率,采用灰色关联分析和逼近理想排序法建立数据集评价模型,实现舰船目标数据集的均衡完备性评价。结合具体实例,研究了对自建数据集采用均衡完备评价方法的评价结果与其识别准确率的变化趋势一致性,验证了该方法的有效性和可靠性。客观定量评价舰船目标数据集均衡完备性能的同时,为数据集的均衡完备性能改进提供优化方向,有助于提高舰船目标识别模型的泛化性能,提高作战信息化、智能化水平。

自航船模点云数据集的海上船舶检测

为了进行激光雷达海上目标检测的算法研究,本文利用自主航行船模与激光雷达等效采集海上场景点云数据,制作了船舶点云数据集。利用深度学习方法,提出了一种适用于船舶点云目标检测的点结构轻量型目标检测网络LASSD,并通过网络剪枝的方式提升了速度并缩减了所需的计算资源。提出一种基于候选目标的高阶点云特征局部注意力模块,弥补网络剪枝带来的精度损失。实验表明:本文的LASSD网络仅使用5.3×106的参数量在船舶数据集中达到79.42%的精度,在检测中单幅场景仅花费13.5 ms,检测精度以及运行速度能够在实际应用中提供实时有效的检测结果。

利用深度时空自编码网络与多示例学习进行船只异常事件检测

异常事件检测是交通安全防控的重要支撑技术,也一直是信息科学领域的研究热点。提出了利用深度时空自编码网络与多示例学习进行船只异常事件检测的方法,针对目前无法为模型训练提供精确帧级别标注的问题,引入多示例学习模型,将视频作为包,并将视频片段作为包中的示例,通过网络自动学习一个深度异常排序模型,该模型能预测异常视频片段的分数。同时,在特征提取方面,提出了深度时空自编码网络,在空间自编码器中,为了获取更精确的红绿蓝特征,将解码器中的上采样层替换为像素重组层。在时间自编码器中,为了突出运动变化较大的区域,引入基于方差的注意力机制,使快速移动的物体有更大的运动损失,有利于检测出异常事件。还构建了一个新的大规模的船只视频数据集,包括100个真实场景的监控视频以及5类真实的异常事件,分别为海面逗留、非港口靠岸、非港口离岸、超速和越界。该数据集可用于模型的训练与测试。实验结果表明,相比传统的双流网络以及基于图像重构的检测方法,所提出的基于深度时空自编码网络与多示例学习的方法的异常事件检测精度由71.7%提升为82.4%,表明了其在船只异常事件检测上的有效性。

稀疏样本条件下的舰船舷号检测与识别

目的舰船舷号检测识别是海面态势感知的关键技术,精准的舷号检测识别对海洋权益保护具有重要意义。但目前没有公开数据提供支持。为此,本文先构建了一个真实场景下的稀疏舰船舷号数据集(sparse ship hull number dataset in real scene,SSHN-RS),包含3004幅舰船图像,共计11328个舷号字符,覆盖了多国、各类、水平、倾斜、背景简单、背景复杂、光线不佳和被遮挡的舰船舷号样本,是一个具有挑战性的数据集。基于SSHN-RS,开展舰船舷号检测识别研究,其主要难点在于:1)样本稀疏,模型容易过拟合;2)舷号字符分布密集,网络难以充分提取各字符特征;3)部分字符存在嵌套区域和相似区域,网络会识别出大量冗余结果。针对上述难点,提出了一种基于多视角渐进式上下文解耦的舰船舷号检测识别算法。方法首先,引入一个固定中心和最大化面积的随机透视变换技术,在不增加样本数量的前提下扩充舷号姿态,实现了数据增广,提升了模型的泛化能力;其次,提出了一个渐进式上下文解耦技术,先通过依次擦除舷号各字符生成一系列新样本,再利用特征提取网络提取和融合各样本的多尺度特征,不仅减少字符上下文信息对特征学习的干扰,而且再次增广了数据;最后,在测试阶段,提出了一个掩码间扰动抑制技术,先根据预测结果采用与渐进式上下文解耦技术类似的方法生成新样本并重新进行预测,再引入一个1维非极大值抑制技术去除预测结果中错误的冗余字符,输出最佳检测识别结果,进一步优化网络性能。结果在SSHN-RS上采用主流实例分割算法进行定性和定量评估。在定量评估上,本文算法舷号的检测精确率、召回率、F值和识别率分别可达0.9854,0.9576,0.9713,0.9018,均优于其他算法。相比指标排名第2的算法,分别提高了4.51%,3.45%,3.97%,8.83%;在定性评估上,本文算法更适合舰船舷号检测识别任务,检测识别性能更高。此外,本文算法可以泛化到其他实例分割算法中,以经典算法Mask RCNN(mask region based convolutional neural network)为例,加入本文算法各模块后,各指标分别提升了9.82%,6.04%,7.80%,6.73%。结论本文算法可以解决舷号检测识别任务中因样本稀疏、舷号分布密集、部分字符存在嵌套和相似性带来的问题,在主观和客观上均取得了最先进的性能,并且具有通用性。SSHN-RS可通过https://github.com/Bingchuan897/SSHN-RS获取。

海事监控视频舰船目标检测研究现状与展望

舰船目标检测是海域监控、港口流量统计、舰船身份识别以及行为分析与取证等智能海事应用的基石。随着我国海洋强国建设的推进,智慧航运和智慧海洋工程迅速发展,对通过海事监控视频开展有效的舰船目标检测识别以确保航运和海洋工程安全的需求日益紧迫。本文针对基于海事监控视频的舰船目标检测任务,回顾了舰船目标检测数据集及性能评价指标、基于传统机器学习和基于卷积神经网络的深度学习的目标检测方法等方面的国内外研究现状,分析了海洋环境中舰船目标检测任务面临的舰船目标尺度的多样性、舰船类别的多样性、海洋气象的复杂性、水面的动态性、相机的运动性和图像的低质量等技术难点,并通过实验验证,在多尺度特征融合、数据增广和能耗降低等方面提出了舰船目标检测的优化方法;同时,结合前人研究指出舰船目标检测数据集的发展应关注分类粒度的适宜性、标注的一致性和数据集的易扩充性,应加强对多尺度目标(尤其是小型目标)检测的模型结构的研究,为进一步提升舰船目标检测任务的综合性能,促进舰船目标检测技术的应用提供了新的思路。

基于改进VGG网络的单阶段船舶检测算法

单阶段多框架目标检测算法在目标检测领域取得了成功的应用,但其针对公共数据集中船舶检测的平均精度明显低于其它刚体类目标类别,同时现有公开数据集中的船舶数量较少且类别单一。为提高检测精度,提出一种基于改进VGG网络的单阶段船舶检测算法,在原有VGG底层网络的基础上加入异步卷积和最大池化的交替连接结构,保证实时处理的同时提高船舶检测的平均精度。为增加训练所需的船舶数量和类别,广泛收集互联网中包含船舶的图片,建立了包含22 507个船舶目标的数据集,其中6 902个目标标签细分为七类船舶。实验将公开数据集VOC2007和VOC2012中的图片缩小至300×300训练后,SSSD在VOC2007test中的平均检测精度均值可达79.3%,平均检测速度超过40 fps。通过迁移参数的方法,在自建数据集中训练后,对大类船舶检测的平均精度超过84%,对七类船舶检测的平均精度均值超过89%,领先现有同类船舶检测算法。

FGSC-23:面向深度学习精细识别的高分辨率光学遥感图像舰船目标数据集

目的基于光学遥感图像的舰船目标识别研究广受关注,但是目前公开的光学遥感图像舰船目标识别数据集存在规模小、目标类别少等问题,难以训练出具有较高舰船识别精度的深度学习模型。为此,本文面向基于深度学习的舰船目标精细识别任务研究需求,搜集公开的包含舰船目标的高分辨率谷歌地球和GF-2卫星水面场景遥感图像,构建了一个高分辨率光学遥感图像舰船目标精细识别数据集(fine-grained ship collection-23,FGSC-23)。方法将图像中的舰船目标裁剪出来,制作舰船样本切片,人工对目标类别进行标注,并在每个切片中增加舰船长宽比和分布方向两类属性标签,最终形成包含23个类别、4052个实例的舰船目标识别数据集。结果按1∶4比例将数据集中各类别图像随机划分为测试集和训练集,并展开验证实验。实验结果表明,在通用识别模型识别效果验证中,VGG16(Visual Geometry Group 16-layer net)、ResNet50、Inception-v3、DenseNet121、MobileNet和Xception等经典卷积神经网络(convolutional neural network,CNN)模型的整体测试精度分别为79.88%、81.33%、83.88%、84.00%、84.24%和87.76%;在舰船目标精细识别的模型效果验证中,以VGG16和Res Net50模型为基准网络,改进模型在测试集上的整体测试精度分别为93.58%和93.09%。结论构建的FGSC-23数据集能够满足舰船目标识别算法的验证任务。