基于FE-P2Pnet的无人机小麦图像麦穗计数方法

针对无人机图像背景复杂、小麦密集、麦穗目标较小以及麦穗尺寸不一等问题,提出了一种基于FE-P2Pnet(Feature enhance-point to point)的无人机小麦图像麦穗自动计数方法。对无人机图像进行亮度和对比度增强,增大麦穗目标与背景之间的差异度,减少叶、秆等复杂背景因素的影响。引入了基于点标注的网络P2Pnet作为基线网络,以解决麦穗密集的问题。同时,针对麦穗目标小引起的特征信息较少的问题,在P2Pnet的主干网络VGG16中添加了Triplet模块,将C(通道)、H(高度)和W(宽度)3个维度的信息交互,使得主干网络可以提取更多与目标相关的特征信息;针对麦穗尺寸不一的问题,在FPN(Feature pyramid networks)上增加了FEM(Feature enhancement module)和SE(Squeeze excitation)模块,使得该模块能够更好地处理特征信息和融合多尺度信息;为了更好地对目标进行分类,使用Focal Loss损失函数代替交叉熵损失函数,该损失函数可以对背景和目标的特征信息进行不同的权重加权,进一步突出特征。实验结果表明,在本文所构建的无人机小麦图像数据集(Wheat-ZWF)上,麦穗计数的平均绝对误差(MAE)、均方误差(MSE)和平均精确度(ACC)分别达到3.77、5.13和90.87%,相较于其他目标计数回归方法如MCNN(Multi-column convolutional neural network)、CSRnet(Congested scene recognition network)和WHCNETs (Wheat head counting networks)等,表现最佳。与基线网络P2Pnet相比,MAE和MSE分别降低23.2%和16.6%,ACC提高2.67个百分点。为了进一步验证本文算法的有效性,对采集的其它4种不同品种的小麦(AK1009、AK1401、AK1706和YKM222)进行了实验,实验结果显示,麦穗计数MAE和MSE平均为5.10和6.17,ACC也达到89.69%,表明本文提出的模型具有较好的泛化性能。

基于改进YOLOv5s的无人机图像识别

无人机在军事情报、航拍检测等领域能够提供目标相关的图像信息,为处理任务提供目标信息。针对无人机图像背景复杂、检测目标小、可提取特征少等问题,提出基于YOLOv5s的改进无人机图像识别算法。首先,结合CotNet模块对网络结构进行优化,提升模型自学习能力并增强识别精度;其次,对颈部网络进行改进,通过跨层链接和提高特征图分辨率更好地利用浅层特征图中包含的丰富信息来定位目标,并且在检测头部分采用解耦检测头,减少预测过程中定位与分类任务对于特征信息的冲突;最后,为了提高收敛速度和模型精度,在CIoU和EIoU损失函数的基础上对损失函数的宽高纵横比进行优化。在公开数据集VisDrone测试集上进行测试,所提算法相比原始YOLOv5s算法的mAP_(50)与mAP_(50∶95)分别提升了6.1与2.9个百分点,实验结果表明,所提模型能够有效提升无人机图像识别的准确率。

农田环境下无人机图像并行拼接识别算法

为改善在农田环境下无人机图像计算速度和效率,该研究提出了一种农田环境下无人机图像并行拼接识别算法。利用倒二叉树并行拼接识别算法,通过提取图像拼接中的变换矩阵,实现拼接识别同时进行。根据边缘设备的CPU核心数和图像数量自动将图像拼接识别任务划分为多个子进程,并分配到不同核心上执行,以提高在农田环境下的计算效率。试验结果表明:相同试验环境和数据集条件下,倒二叉树并行拼接算法的拼接耗时相较于其他算法平均减少了60%~90%左右;在农田环境下,倒二叉树并行拼接识别相较于串行拼接识别的耗时减少了70%,图像识别的平均像素交并比提升了10.17个百分点,说明在农田环境下采用多线程倒二叉树并行算法可以更好地利用农田环境下边缘设备的计算资源,大幅提升无人机图像的拼接和识别的速度,为无人机的快速实时监测提供技术支撑。

结合改进ShuffleNet-V2和注意力机制的无人机图像自主分类预警框架

为实现灾难事件的无人机(Unmanned Aerial Vehicle,UAV)自主监测和预警,提出了结合逐通道注意力机制和高效卷积神经网络的新架构。考虑到嵌入式平台的资源限制条件,使用轻量级ShuffleNet-V2作为骨干网络,能够对更多信息进行高效编码并尽可能降低网络复杂度。为进一步提高灾难场景分类的准确度,在ShuffleNet-V2网络中结合了挤压-激发(Squeeze-Excitation,SE)模块以实现逐通道注意力机制,显著增强分类网络对重要特征的关注度。通过数据采集和增强技术获得包括12876张图像的UAV航拍灾难事件数据集,对所提方法进行性能评估,并比较所提方法与其他先进模型的性能。结果表明,所提方法取得了99.01%的平均准确度,模型大小仅为5.6 MB,且在UAV机载平台上的处理速度超过10 FPS,能够满足UAV平台自主灾情监测任务的现实需求。

基于无人机巡检与深度学习的河道整治施工进度图像识别

长线性小流域治理工程中的河道衬砌、生态护岸等距离长、范围广、布置分散,且工区交通不便,人工巡检费时费力,难以及时掌握工程的整体施工进度形象面貌。提出了基于无人机巡检与深度学习的河道整治施工进度智能图像识别方法,通过定位施工节点(施工区域起点和终点)的位置计算施工进度。首先,建立了施工区域目标检测模型,针对无人机航拍影像进行河道衬砌护岸施工区域的识别以及施工节点的定位;然后,利用尺度不变特征变换(scale-invariant feature transform,SIFT)算法对不同视频帧中的施工节点进行匹配,并基于单目视觉的运动视差法,计算施工节点的实际工区坐标;最后,计算当前衬砌护岸施工进度,并分析进度偏差。结果表明:该方法得到的施工节点定位平均误差为1.026 m,平均相对误差为0.74%,该方法能够较为准确地从航拍图像中识别得到当前衬砌护岸的施工进程,从而实现长线性工区快速巡检,及时掌控现场施工进度,提高工程管理的智能化水平。

高阶深度可分离无人机图像小目标检测算法

当前无人机图像中存在小目标数量众多、背景复杂的特点,目标检测中易造成漏检误检率较高的问题,针对这些问题,提出一种高阶深度可分离无人机图像小目标检测算法.首先,结合CSPNet结构与ConvMixer网络,深度可分离卷积核,获取梯度结合信息,并引入递归门控卷积C3模块,提升模型的高阶空间交互能力,增强网络对小目标的敏感度;其次,检测头采用两个头部进行解耦,分别输出特征图分类和位置信息,加快模型收敛速度;最后,使用边框损失函数EIoU,提高检测框精准度.在VisDrone2019数据集上的实验结果表明,该模型检测精度达到了35.1%,模型漏检率和误检率有明显下降,能够有效地应用于无人机图像小目标检测任务.在DOTA 1.0数据集和HRSID数据集上进行模型泛化能力测试,实验结果表明,该模型具有良好的鲁棒性.

改进YOLOv5的无人机航拍图像目标检测算法

针对无人机航拍图像目标检测中目标尺度多样、相似目标众多、目标聚集导致的目标漏检、误检问题,提出了改进YOLOv5的无人机航拍图像目标检测算法DA-YOLO。提出由特征图注意力生成器和动态权重学习模块组成的多尺度动态特征加权融合网络,特征图注意力生成器融合处理不同尺度目标更重要的特征,权重学习模块自适应地调节对不同尺度目标特征的学习,该网络可增强在目标尺度多样下的辨识度从而降低目标漏检。设计一种并行选择性注意力机制(PSAM)添加到特征提取网络中,该模块通过动态融合空间信息和通道信息,加强特征的表达获得更优质的特征图,提高网络对相似目标的区分能力以减少误检。使用Soft-NMS代替YOLOv5中采用的非极大值抑制(NMS)以改善目标聚集场景下的漏检、误检。实验结果表明,改进算法在VisDrone数据集上检测精度达到37.79%,相比于YOLOv5s算法精度提高了5.59个百分点,改进后的算法可以更好地应用于无人机航拍图像目标检测中。

基于IB-SURF算法的无人机图像拼接技术研究

针对传统SURF算法(speeded up robust features)在拼接高分辨率无人机航拍图像时运行速度慢、特征匹配率低的特点,提出了一种基于IB-SURF(image block-SURF)技术的无人机图像拼接算法。结合无人机定位定姿系统(position and orientation system,POS)求取图像重叠区域;构造掩模在无人机图像重叠区域检测特征点,减少特征提取时间;借助图像分块(image block,IB)的思想对图像划分网格,精简筛选特征点;引入Neighborhood-KNN(neighborhood-K nearest neighbors)进行特征点匹配,提高图像匹配效率。实验结果表明,IB-SURF算法有较快的运行速度和较高的特征匹配率,平均特征匹配率达到84.3%,特征匹配正确率超过95.1%,为图像高质量拼接提供了技术基础。

基于半投影翘曲的无人机图像拼接方法

为了解决无人机图像在拼接过程中出现的错位、重影等造成图像失真的问题,提出一种基于半投影翘曲的无人机图像拼接方法。首先估计图像的全局投影变换矩阵;然后根据待拼接图像的重叠情况,以及投影变换和相似性变换的连续性,求解出过渡变换矩阵和相似性变换矩阵,得到最终的半投影变换矩阵;最后构建图像重叠区域的差异矩阵,以此为基础获取重叠区域的差异性区域。使用分区融合策略,在差异性区域进行单采样,在其他区域进行距离加权融合。实验结果表明,该方法可以很好地拼接由于视角变化、地势起伏等造成视差的无人机图像,得到的拼接结果自然清晰,效果优于其他先进算法。该方法有效地解决了无人机图像拼接错位、重影的问题,在多项定量指标上表现良好。

面向无人机航拍图像小目标检测方法

针对航拍图像目标检测中小目标特征模糊问题,提出一种改进YOLO_v5x的目标检测算法。通过在YOLO_v5x的主干和颈部网络中添加空间到深度(space-to-depth,SPD)模块来减少细粒度信息丢失;在检测输出端添加1个小目标预测头,提高算法学习低分辨率特征的效率;引入协调注意力(coordinate attention,CA)机制,将横向和纵向的位置信息编码到通道注意中,增强网络对不同维度特征的提取能力;在完整交并比(complete-intersection over union,CIOU)损失函数的基础上引入Alpha交并比(α-IOU)损失函数,获得更准确的边界框回归,实现图像中目标更精确的定位。通过在Visdrone数据集上对改进YOLO_v5x算法进行训练和对比实验,结果表明:相比于原YOLO_v5x,改进目标检测算法的平均检测精度提升了7.8%,小目标检测的平均精度达23.9%,能够有效识别无人机航拍图中的小目标;相比于RetinaNet、YOLOX-S、Grid-RCNN等目标检测算法,改进目标检测算法的小目标检测平均精度最高,在当前主流检测小目标算法中达到先进水平。

支持场景表观差异的无人机图像视觉定位方法

视觉定位是计算机视觉中的基本任务,在无人机测控、视频监控和遥感分析等领域有着广泛应用.在GNSS拒止情况下,利用图像进行视觉定位是重要的导航替代方法.然而,由于室外场景易受天气、季节和光照等变化影响,细节的表观差异方差大,无人机视觉定位的鲁棒性与精度在近地面时难以保证.提出一种基于虚拟图像合成的视觉定位框架.设计阴影映射和深度卷积图像填补网络来合成具有大表观差异和大视差的虚拟图像集,以提高2D-3D配准质量从而提升视觉定位的鲁棒性.实验数据表明,与国际同类方法相比,本方法合成的图像质量在视觉效果、匹配点数量、置信度和视觉定位的精度等指标上都获得了明显的提升,可以支持大表观差异下的无人机视觉定位.

基于无人机图像纹理和表型参数的夏玉米水分胁迫诊断

农田水分胁迫是影响作物生长发育和产量品质的重要原因。及时准确地诊断作物水分胁迫状况,对于实现精准灌溉、提高作物抗逆性和产量等具有重要意义。为优化夏玉米水分胁迫诊断方法和提高诊断精度,该研究以夏玉米为对象,利用无人机搭载六通道多光谱传感器获取2022年夏玉米拔节期和抽雄期的遥感影像数据,且同步采集夏玉米气孔导度和表型参数数据,监督分类剔除冗余背景后使用灰度共生矩阵计算得到冠层植被指数和图像纹理信息,通过贝叶斯信息准则和全子集筛选法筛选出敏感的植被指数、图像纹理和表型参数及其组合,结合极限学习机、随机森林和反向传播神经网络3种机器学习方法构建夏玉米气孔导度预估模型,并基于最优气孔导度预估模型绘制夏玉米水分胁迫状况反演图。结果表明,多光谱图像的夏玉米冠层反射率与气孔导度呈弱负相关,植被指数和表型参数与气孔导度呈显著正相关,不同波段的图像纹理均与气孔导度有较高的相关性。植被指数用于评估植被整体健康和水分状况,图像纹理用于捕捉作物空间分布、纹理和结构特征,表型参数用于立体反映作物生理和形态信息,它们在诊断作物水分胁迫的机理上具有互补性。基于植被指数、图像纹理和表型参数构建的反向传播神经网络模型是夏玉米水分胁迫诊断的最佳模型(决定系数为0.841,均方根误差为0.043 mol/(m^(2)·s),平均绝对误差为0.034 mol/(m^(2)·s)),并显著改善了对气孔导度较低值的低估情况。绘制的夏玉米水分胁迫状况反演图呈现出广泛的应用潜力,能够便捷准确地诊断作物水分胁迫状况,以优化灌溉策略,调整资源分配。研究结果可为夏玉米的水分胁迫诊断提供一种可行而准确的方法。

基于无人机热红外遥感图像提取滴灌棉花冠层温度及精度评价

【目的】提高基于热红外遥感图像滴灌棉花冠层温度提取精度,为棉花水分状况精准监测提供技术支撑。【方法】以不同水分处理的苗期、蕾期棉花为研究对象,利用无人机获取试验小区热红外遥感图像,使用便携式手持测温仪测量田间辐射校正板及水桶中的水温,对热红外影像进行温度校正。采用Otsu算法、Canny边缘检测算法对热红外遥感图像进行掩膜处理剔除土壤背景,通过波段运算提取棉花冠层温度,绘制棉花冠层温度频率直方图并对其进行优化。利用便携式手持测温仪同步测量棉花冠层温度,与提取的冠层温度进行一致性分析,验证热红外遥感图像提取棉花冠层温度的精度。【结果】Canny边缘检测算法剔除土壤背景提取冠层图像准确率大于Otsu算法(91.90%>82.52%、92.76%>80.60%),剔除土壤背景效果最优。Otsu算法和Canny边缘检测算法剔除土壤背景后构建的冠层温度直方图均呈偏态分布,但Canny边缘检测算法剔除土壤背景后构建的冠层温度直方图形状比Otsu算法光滑,噪声少,并且Canny边缘检测算法2年冠层平均温度最低(29.95、30.54℃),与实测温度差值最小(2.78、3.43℃)。去除Canny边缘检测算法的温度直方图两端1%温度信息后,提取的冠层温度与实测温度相关性最高(2年试验r由0.88、0.93提高到了0.94、0.95),RMSE最低(2年RMSE由2.78、2.87℃下降到1.59、1.43℃)。【结论】Canny边缘检测算法提高了无人机热红外遥感图像棉花冠层温度提取精度,且温度直方图两端1%温度优化后有助于提高棉花冠层温度提取精度。

基于地形辅助的无人机载InSAR图像分区配准方法

小型化、轻量化的无人机(UAV)为合成孔径雷达(SAR)提供了更加灵活、机动的观测平台,无人机载干涉SAR(InSAR)逐步应用于干涉测量领域。无人机小而轻,易受气流扰动的影响,采用多航过模式进行干涉测量时,飞行航迹非线性且不平行。非线性、不平行的飞行轨迹导致两幅图像之间存在几何畸变。在复杂地形条件下,无人机载InSAR的干涉图像对之间的偏移量大且具有明显的空变特性,给图像配准带来了很大的技术挑战,常规的基于多项式拟合的配准方法不再适用。该文提出了一种利用地形辅助分区的图像配准方法。首先基于航迹信息生成高程门限,利用外部地形对测量区域进行图像分区处理,然后对区域内的偏移量构建多项式变换模型,对各区域边界处的偏移量施加约束,并进行联合求解,最后获得连续的全局偏移量拟合面,通过对辅图像进行重采样实现精配准。基于P波段无人机载InSAR获取的实测数据,初步验证了该方法的有效性。

基于改进DeepLabV3+的荞麦苗期无人机遥感图像分割识别方法研究

针对DeepLabV3+语义分割模型计算复杂度高、内存消耗大、难以在计算力有限的移动平台上部署等问题,提出一种改进的轻量化DeepLabV3+深度学习语义分割算法,用于实现无人机荞麦苗期图像的分割与识别。该算法采用RepVGG(Re-parameterization visual geometry group)与MobileViT(Mobile vision transformer)模块融合的方式建立主干网络实现特征提取;同时,在RepVGG网络结构中引入SENet(Squeeze-and-excitation networks)注意力机制,通过利用通道间的相关性,捕获更多的全局语义信息,保证荞麦分割的性能。实验结果表明,与FCN(Fully convolutional networks)、PSPNet(Pyramid scene parsing network)、DenseASPP(Dense atrous spatial pyramid pooling)、DeepLabV3、DeepLabV3+模型相比,本文提出的改进算法在较大程度上降低了模型参数规模,更适合在移动端部署,自建荞麦苗期分割数据集上的语义分割平均像素准确率(Mean pixel accuracy,mPA)和平均交并比(Mean intersection over union,mIoU)分别为97.02%和91.45%,总体参数量、浮点运算次数(Floating-point operations,FLOPs)和推理速度分别为9.01×10^(6)、8.215×10^(10)、37.83 f/s,综合表现最优。在全尺寸图像分割中,训练模型对不同飞行高度的荞麦苗期分割的mPA和mIoU均能满足要求,也具有较好的分割能力和推理速度,该算法可为后期荞麦补种、施肥养护和长势监测等提供重要技术支持,进而促进小杂粮产业智能化发展。

基于改进YOLOv7的无人机航拍图像目标检测

针对无人机捕获场景下目标尺度变化剧烈、小目标检测精度低、漏检率高等问题,提出了一种改进的YOLOv7目标检测算法。首先,在原YOLOv7基础上增加一个极小目标检测层,以适应不同尺度下的物体目标,降低小目标的漏检率;其次,在特征融合网络中引入无参注意力机制,并基于该注意力机制构建了一个MP-SimAM模块,使网络融合更多重要的特征信息;最后,提出了一种新的边框回归损失函数SCIoU Loss,进一步提升模型的收敛速度与检测精度。实验结果表明,该模型在VisDrone 2019数据集上表现出色,所提算法模型在测试集上mAP 50达44.0%,相比于基准模型YOLOv7提升了2.6个百分点,对于小目标的检测效果提升明显。

基于改进Double-Head RCNN的无人机航拍图像小目标检测算法

为解决无人机航拍图像中小目标特征信息少且容易被噪声干扰导致现有算法漏检率和误检率高的问题,提出一种改进Double-Head Region-卷积神经网络(RCNN)的无人机航拍图像小目标检测算法。在骨干网络ResNet-50上引入Transformer和可变形卷积(DCN)模块,更有效提取小目标特征信息和语义信息;提出一种基于内容感知特征重组(CARAFE)的特征金字塔网络(FPN)结构模块,解决特征融合过程中小目标被背景噪声干扰而丢失特征信息的问题;在区域建议网络中针对小目标尺度分布特点重新设置Anchor生成尺度,进一步提升小目标检测性能。在VisDrone-DET2021数据集上的实验结果表明:所提算法能提取更具有表征能力的小目标特征信息和语义信息,对比Double-Head RCNN算法,所提算法的参数量增加了9.73×10^(6),FPS损失了0.6,但是AP、AP50和AP75分别提升了2.6%、6.2%和2.1%,APs提升了3.1%。

激光导航与决策融合的小样本无人机航拍图像分类

近年来,激光导航技术与小样本无人机航拍图像分类,为土地利用调查、城市规划和环境监测等领域提供了精确的空间定位与大量价值信息,显著提升了分类技术的水平。本文提出了一种激光导航与决策融合技术的小样本无人机航拍图像分类方法,旨在提高分类性能与空间定位精度。通过激光导航系统提供的高精度地理位置信息,优化了航拍图像的特征提取过程,采用自监督学习构建辅助任务,通过旋转和翻转技术增强特征提取器的泛化能力。此外,结合两种自监督范式训练得到的特征提取器,通过逻辑回归分类器完成分类任务,设计了一种新型的决策融合模块,以自动调整各决策权重,提高了分类准确性。通过NWPU-RESISC45和UC Merced数据集上进行试验,结果验证了本文方法的有效性和先进性,展现了激光导航技术在提高小样本无人机航拍图像分类中的潜力。

基于卷积神经网络和无人机倾斜摄影图像的单个高层建筑物高度测算方法

为了提升单个高层建筑物高度测算效果,本文提出了基于卷积神经网络的无人机倾斜摄影图像的单个高层建筑物高度测算方法。首先,采用无人机倾斜摄影技术采集高层建筑物图像;然后,在卷积神经网络中输入高层建筑物图像,对其展开增强处理,提高图像的清晰度;最后,通过波段转换指数和阴影指数计算阴影长度,以此为依据测算单个高层建筑物的高度。试验结果表明,本文方法的图像增强处理效果较好、高度测算精度和效率较好。

基于无人机摄影图像的水位测量技术研究

现场测量水位对水利工程和水文预报有重要意义。本研究综合了无人机摄影测量和图像识别技术的优势,提出一种新的测量技术。利用无人机机载相机捕获水体在波动过程中的影像,采用图像识别技术对影像中的水面线进行识别和提取。利用参数校准计算测量段的连续水位,引入校正方法来抵消无人机漂移引起的误差。对某水电站进行现场实测试验,结果证明该方法可靠。