基于改进YOLOv8的无人机航拍图像目标检测算法

针对现存无人机航拍图像目标检测算法检测精度较低、模型较为复杂的问题,提出一种改进YOLOv8的目标检测算法。在骨干网络引入多尺度注意力EMA,捕捉细节信息,以提高模型的特征提取能力;改进C2f模块,减小模型的计算量。提出了轻量级的Bi-YOLOv8特征金字塔网络结构改进YOLOv8的颈部,增强了模型多尺度特征融合能力,改善网络对小目标的检测精度。使用WIoU Loss优化原网络损失函数,引入一种动态非单调聚焦机制,提高模型的泛化能力。在无人机航拍数据集VisDrone2019上的实验表明,提出算法的mAP50为40.7%,较YOLOv8s提升了1.5%,参数量降低了42%,同时相比于其他先进的目标检测算法在精度和速度上均有提升,证明了改进算法的有效性和先进性。

改进YOLOv5的无人机航拍图像目标检测算法

针对无人机航拍图像目标检测中目标尺度多样、相似目标众多、目标聚集导致的目标漏检、误检问题,提出了改进YOLOv5的无人机航拍图像目标检测算法DA-YOLO。提出由特征图注意力生成器和动态权重学习模块组成的多尺度动态特征加权融合网络,特征图注意力生成器融合处理不同尺度目标更重要的特征,权重学习模块自适应地调节对不同尺度目标特征的学习,该网络可增强在目标尺度多样下的辨识度从而降低目标漏检。设计一种并行选择性注意力机制(PSAM)添加到特征提取网络中,该模块通过动态融合空间信息和通道信息,加强特征的表达获得更优质的特征图,提高网络对相似目标的区分能力以减少误检。使用Soft-NMS代替YOLOv5中采用的非极大值抑制(NMS)以改善目标聚集场景下的漏检、误检。实验结果表明,改进算法在VisDrone数据集上检测精度达到37.79%,相比于YOLOv5s算法精度提高了5.59个百分点,改进后的算法可以更好地应用于无人机航拍图像目标检测中。

基于改进YOLOv7的无人机航拍图像目标检测

针对无人机捕获场景下目标尺度变化剧烈、小目标检测精度低、漏检率高等问题,提出了一种改进的YOLOv7目标检测算法。首先,在原YOLOv7基础上增加一个极小目标检测层,以适应不同尺度下的物体目标,降低小目标的漏检率;其次,在特征融合网络中引入无参注意力机制,并基于该注意力机制构建了一个MP-SimAM模块,使网络融合更多重要的特征信息;最后,提出了一种新的边框回归损失函数SCIoU Loss,进一步提升模型的收敛速度与检测精度。实验结果表明,该模型在VisDrone 2019数据集上表现出色,所提算法模型在测试集上mAP 50达44.0%,相比于基准模型YOLOv7提升了2.6个百分点,对于小目标的检测效果提升明显。

基于改进Double-Head RCNN的无人机航拍图像小目标检测算法

为解决无人机航拍图像中小目标特征信息少且容易被噪声干扰导致现有算法漏检率和误检率高的问题,提出一种改进Double-Head Region-卷积神经网络(RCNN)的无人机航拍图像小目标检测算法。在骨干网络ResNet-50上引入Transformer和可变形卷积(DCN)模块,更有效提取小目标特征信息和语义信息;提出一种基于内容感知特征重组(CARAFE)的特征金字塔网络(FPN)结构模块,解决特征融合过程中小目标被背景噪声干扰而丢失特征信息的问题;在区域建议网络中针对小目标尺度分布特点重新设置Anchor生成尺度,进一步提升小目标检测性能。在VisDrone-DET2021数据集上的实验结果表明:所提算法能提取更具有表征能力的小目标特征信息和语义信息,对比Double-Head RCNN算法,所提算法的参数量增加了9.73×10^(6),FPS损失了0.6,但是AP、AP50和AP75分别提升了2.6%、6.2%和2.1%,APs提升了3.1%。

面向无人机航拍图像小目标检测方法

针对航拍图像目标检测中小目标特征模糊问题,提出一种改进YOLO_v5x的目标检测算法。通过在YOLO_v5x的主干和颈部网络中添加空间到深度(space-to-depth,SPD)模块来减少细粒度信息丢失;在检测输出端添加1个小目标预测头,提高算法学习低分辨率特征的效率;引入协调注意力(coordinate attention,CA)机制,将横向和纵向的位置信息编码到通道注意中,增强网络对不同维度特征的提取能力;在完整交并比(complete-intersection over union,CIOU)损失函数的基础上引入Alpha交并比(α-IOU)损失函数,获得更准确的边界框回归,实现图像中目标更精确的定位。通过在Visdrone数据集上对改进YOLO_v5x算法进行训练和对比实验,结果表明:相比于原YOLO_v5x,改进目标检测算法的平均检测精度提升了7.8%,小目标检测的平均精度达23.9%,能够有效识别无人机航拍图中的小目标;相比于RetinaNet、YOLOX-S、Grid-RCNN等目标检测算法,改进目标检测算法的小目标检测平均精度最高,在当前主流检测小目标算法中达到先进水平。

航拍图像小目标检测算法设计

针对传统检测算法在航拍图像小目标检测上准确率低,并存在误检、漏检等问题,提出一种基于YOLOv5的改进算法RBN-YOLOv5。设计基于RepVGG模块的C3RepBlock特征提取模块,增加小目标检测层更具判别性的浅层特征,通过局部和全局信息的联合表征获得更大的感受野;引入BiFormer注意力机制,提升模型检测精度,并基于归一化Wasserstein距离改进损失函数,增强小目标定位能力。在VisDrone2019数据集上的训练结果表明,RBN-YOLOv5相较于YOLOv5在检测精度上提高了9.8%,而且模型参数量大幅降低。

基于预训练模型的单帧航拍图像无监督语义分割

针对航拍图像语义分割成本高、通用性差和精度低等问题,提出了一种两阶段无监督语义分割网络(two-stage unsupervised semantic segmentation net, TUSSNet),针对单帧航拍图像训练进而生成最终的语义分割结果。算法分为2个阶段。首先,使用对比语言-图像预训练(contrastive language-image pretraining, CLIP)模型生成航拍图像的粗粒度语义标签,然后进行网络的预热训练。其次,在第一阶段的基础上,采用分割一切模型(segment anything model, SAM)对航拍图像进行细粒度类别预测,生成精细化类别掩码伪标签;然后迭代优化网络,得到最终语义分割结果。实验结果显示,相较于现有无监督语义分割方法,算法显著提高了航拍图像的分割精度,同时提供了准确的语义信息。

基于改进SIFT算法的城市航拍图像快速拼接方法

城市航拍图像在城市规划、土地管理、环境监测和基础设施建设等领域具有广泛应用。针对无人机航拍高度越高,图像捕获成本越高,图像质量或能见度越低的问题,使用低空无人机来大量捕获图像;针对经典的尺度不变特征转换(SIFT)图像拼接算法存在匹配稳定性差、拼接质量差的问题,提出一种改进SIFT算法,通过提取图像金字塔模型,提高了匹配的稳定性;采用RANSAC算法减少局外点的干扰,提高图像拼接质量;采用混合平均加权法消除重叠区域接缝,最终实现了图像快速精准拼接。仿真实验结果显示,改进后的SIFT算法在图像拼接稳定性和质量上均表现较好,能获得良好且完整的拼接图像。

改进YOLOv7的航拍图像目标检测

航拍图像目标检测对于高效解译航拍图像,并用于地图绘制、资源普查、城乡规划等领域有着重大现实意义。针对无人机航拍图像中的物体尺度变化大、易受到背景干扰和微小目标容易错检漏检的问题,提出一种基于YOLOv7进行改进的航拍图像目标检测算法(AirYOLOv7)。AirYOLOv7通过在原网络的特征提取阶段结合三维注意力机制,在特征融合阶段结合通道注意力机制,以帮助模型更好地聚焦于图像中的关键信息。考虑到航拍图像中存在许多微小物体,算法额外增加了一个用于检测微小物体的预测头,并在每个预测头前引入C3STB,以增强算法对不同尺度目标的检测能力。针对IoU损失对微小物体的位置偏差非常敏感,通过在原边框回归损失中引入Wasserstein距离来衡量微小物体之间的差异,以提高算法对微小物体的检测能力。实验结果表明,AirYOLOv7在DOTA和VisDrone这两个公开的光学航拍数据集上的mAP分别达到78.65%和51.79%,相较于原始的YOLOv7分别提高了1.92个百分点和2.28个百分点,证明了改进方法在光学航拍图像上的有效性。

激光导航与决策融合的小样本无人机航拍图像分类

近年来,激光导航技术与小样本无人机航拍图像分类,为土地利用调查、城市规划和环境监测等领域提供了精确的空间定位与大量价值信息,显著提升了分类技术的水平。本文提出了一种激光导航与决策融合技术的小样本无人机航拍图像分类方法,旨在提高分类性能与空间定位精度。通过激光导航系统提供的高精度地理位置信息,优化了航拍图像的特征提取过程,采用自监督学习构建辅助任务,通过旋转和翻转技术增强特征提取器的泛化能力。此外,结合两种自监督范式训练得到的特征提取器,通过逻辑回归分类器完成分类任务,设计了一种新型的决策融合模块,以自动调整各决策权重,提高了分类准确性。通过NWPU-RESISC45和UC Merced数据集上进行试验,结果验证了本文方法的有效性和先进性,展现了激光导航技术在提高小样本无人机航拍图像分类中的潜力。

基于CS-YOLOv5s的无人机航拍图像小目标检测

无人机航拍图像存在小目标分布密集且目标尺度变化大等检测难点,本文提出一种面向无人机航拍图像小目标的跨尺度目标检测模型—CS-YOLOv5s。首先,在YOLOv5s基础上,引入小目标检测器,提高模型对小目标的捕捉能力;进一步,将最大池化分支嵌入上下文增强模块,提取并增强骨干网络尾部的深层特征,再注入PANet,实现深浅层特征有效融合和模型跨尺度检测能力的提升;同时采用SPDConv模块替换下采样卷积模块,实现无人机航拍图像中密集目标高效检测。实验表明,CS-YOLOv5s在数据集VisDrone2019达到42.0%mAP0.5,较基准模型提升9.8%,有效增强网络模型对无人机航拍图像小目标的识别能力,为无人机目标智能识别提供支撑。

基于YOLO-v7的无人机航拍图像小目标检测改进算法

在无人机航拍图像目标检测任务中传统目标检测算法实时性与精确性差,且原始YOLO算法对小目标的误检、漏检率较高。航拍图像对视角、图像数据量、目标尺度等方面的要求较高,与普通图像有显著差异。鉴于此,针对无人机航拍图像小目标检测难题,提出一种基于YOLO-v7的改进算法FCL-YOLO-v7。首先,添加小目标检测层,改进特征提取网络结构与先验框配置;其次,用FReLU激活函数替代原有的SiLU激活函数;再次,在骨干网络中添加CBAM注意力机制;最后,结合公开数据集与自主采集的无人机航拍图像构建小目标数据集。实验结果表明,改进算法在无人机航拍图像小目标数据集上的精确率比原始算法提高6.7%,比YOLO-v3提升7.3%;召回率比YOLO-v5高3.3%。

基于层级化注意力融合的航拍图像电力线分割模型

电力线自动分割是保证智能检测平台安全运行的重要前提。然而,电力线分割是复杂背景、多种气候环境下的小目标分割问题,极易出现误检、漏检问题。为了提高电力线分割的鲁棒性与准确性,结合编码器-解码器框架,提出了一种基于层级化注意力融合的端到端分割模型。该模型提出一种降维残差卷积单元,增加网络深度的同时大幅度减少网络参数,更易部署于嵌入式设备。为了使模型捕捉到全局信息并强调电力线的目标区域,设计了链式层级化注意力融合模块进行多尺度特征融合,以解决类别不均衡问题。为了提高模型对电力线特有的直线先验特征的关注,提出了直线先验损失函数,并与Focal、Dice损失函数组合成联合损失函数,进一步提高了电力线分割准确度。实验结果表明,所提模型网络深度增加为基础网络的2.8倍左右,而参数量仅为原来的1/3左右。针对常规天气和雾天环境下的航拍图像均能实现电力线的鲁棒分割。所提出模型能应用于电力巡检领域,使巡检更加智能与高效。

基于改进YOLOv5s的无人机航拍图像目标检测

针对无人机视角下目标尺度变化剧烈、背景复杂、目标小且密集而导致漏检率高的问题,提出了一种改进YOLOv5s的实时目标检测模型。首先,提出了全新的混合注意力机制,将其嵌入到主干网络中,增强对目标关键信息的提取能力;其次,创建新的稠密残差金字塔池化,提高了网络信息融合能力,降低计算量;然后,设计了一种基于多头自注意力机制的C3-BoT模块,有效捕获无人机图像全局上下文信息;最后,根据无人机图像特点,在YOLOv5s网络基础上增加一个极小目标检测层,降低小目标的漏检率。在VisDrone2019数据集上进行实验,改进后模型的mAP 0.5达到了40.6%,较YOLOv5s基准模型提高了8.1个百分点,在无人机航拍图像检测任务中取得了更好的检测效果。

基于全维动态卷积的无人机航拍图像轻量化目标检测

针对传统无人机航拍图像目标检测中出现的模型体积大、检测准确率低等问题,提出一种轻量化的无人机航拍图像目标检测算法。以YOLOv5s为基础,增加小目标检测层,采用全维动态卷积替换普通卷积,减少了参数量。使用跨层跨尺度的加权特征融合,并引入FasterNet模块,加强特征提取能力。使用动态标签分配策略,显著提升检测精度。实验结果表明,提出的算法在准确率和模型体积方面优于原YOLOv5s算法,可以更高效地完成无人机航拍图像的目标检测任务。

UAVAI-YOLO:无人机航拍图像的小目标检测模型

针对无人机航拍图像目标检测效果差的问题,提出改进的UAVAI-YOLO模型。首先,为使模型获得更加丰富的语义信息,使用改进可变形卷积网络(deformable convolutional networks,DCN)替换原骨干(back‐bone)网络部分通道到像素(channel-to-pixel,C2f)模块原始卷积。其次,为增加P2特征层而不增加模型参数量,提出Conv_C模块将骨干网络输出通道降维,同时避免通道降维导致的语义信息丢失,使用改进ODConv卷积替换颈部(neck)部分C2f模块原始卷积。然后,为充分利用上下文语义信息,引入双向特征金字塔网络(bidirectional feature pyramid network,BIFPN)。最后使用Wise-IoU替换原始损失函数,提高模型目标检测框的准确性。在公开的VisDrone2019数据集和UAVDT数据集的实验结果表明,UAVAI-YOLO模型相比于原YOLOv8n模型mAP@0.5分别提升了4.4%和1.1%。与其他主流目标检测模型相比具有较高的检测性精度。

基于高性能特征提取和任务解耦的无人机航拍图像小目标检测

无人机广泛应用于环境监测、资源规划和电力巡检等多种领域,其航拍图像中存在大量小尺寸目标,给目标检测任务带来难度。为此,在YOLOv5s的基础上提出一种基于高性能特征提取和任务解耦的目标检测网络(HFTT-Net)算法。首先,针对航拍图像中小尺寸目标特征提取困难的问题,在原始骨干网络的基础上引入多头自注意力机制,使网络充分关注小目标信息,在多尺度特征融合过程中使用SPD(Space-to-depth)组件,增强待检测目标的特征;接着,对于目标检测中普遍存在的任务冲突的问题,将分类头与回归头进行解耦操作,进一步提升目标检测精度;最后,结合基于EIoU的回归损失对网络进行监督,提升网络收敛速度,实现无人机航拍图像中目标的精确检测。在VisDrone2019数据集上的实验结果表明,HFTT-Net中的高性能特征提取和任务解耦操作能够充分提升网络的小目标检测能力,在航拍图像的多密集小目标场景任务中表现突出,该算法在能够满足实时检测的情况下与经典的YOLOv5s算法相比精度提升了2.5%。

基于轻量级改进网络的无人机航拍图像语义分割研究

目前图像语义分割深度学习算法多为通用任务型,这使其应用于无人机航拍图像语义分割时存在目标尺度多变以及物体边界分割不清晰等问题。同时,与无人机相关的应用需要使用尽可能轻量化的网络。有鉴于此,提出了一种轻量化语义分割网络Lite-SFNet。采用轻量化的STDC2网络作为骨干网络,设计了一种轻量化的空间金字塔池化模块。通过减少金字塔分支数和引入高效的有效通道注意力(Efficient Channel Attention,ECA)模块,降低了模型参数量和提高了模型特征提取能力,进而提高了网络对多尺度目标的识别能力。对语义流校准模块(Flow Alignment Module,FAM)进行了改进,构建轻量化的解码器提高了网络对物体边界分割能力。在Aeroscapes等航拍图像数据集进行了仿真实验。实验结果表明:与现有轻量级模型相比,所提方法以较少的浮点计算量和参数量实现了较高的精度。

CC-YOLOv5:改进的YOLOv5用于无人机航拍图像目标检测

由于无人机航拍图像的背景较为复杂,小尺寸目标较多,不同目标的尺度差异较大,且算法部署于资源有限的边缘设备上,难以同时兼顾检测的准确性和实时性。一方面,传统的单阶段检测算法可能会使特征图的融合不充分,造成目标特征信息的丢失,导致检测精度不高。另一方面,复杂度较高的两阶段检测算法在边缘设备上又难以满足实时性的要求。针对以上问题,基于YOLOv5框架提出了一种改进的CC-YOLOv5算法。首先,在Backbone部分集成CBAM模块,丰富网络获取的目标特征信息,降低网络的复杂度;其次,通过改进YOLOv5的FPN层,使其能够更好地进行特征融合,提升检测性能。最后,实验结果表明,在VisDrone2019数据集上,mAP达到了33.5%,比YOLOv5m提高了3.3个百分点;在边缘计算设备Nvidia Jetson Nano上,针对640×480图像的平均检测时间为0.095 s,满足了实时性要求。

不同季节下无人机航拍图像与卫星图像匹配方法研究

图像匹配在无人机视觉导航中起着至关重要的作用,在该领域已经出现了较多优秀的图像匹配算法,但对于不同季节下异源图像匹配尚鲜有报道。为进一步扩展该领域的研究工作,针对不同季节下异源图像匹配困难的问题,提出了一种基于模糊信息粒的图像匹配算法。首先,根据卫星图像和无人机航拍图像的地面分辨率确定无人机航拍图像的尺度缩放系数,进而对无人机航拍图像进行尺度预处理;其次,基于模糊信息粒建立图像匹配方法,对提取到的图像边缘进行相似性匹配,得到无人机航拍图像与卫星图像的匹配位置;最后,在冬季与夏季的无人机航拍图像和卫星图像数据集上进行验证。实验结果表明,该算法具有较强的鲁棒性,提高了图像匹配精度,为无人机视觉定位提供了一种新的思路。