一种针对抖动无人机视频的运动目标检测算法

针对悬浮无人机在运动目标检测中易受抖动影响,导致大量背景噪声的问题,提出一种多尺度的EA-KDE背景差分算法(MEA-KDE)。该算法首先对图像序列进行多尺度分解,以获取多尺度的图像序列。然后,在进行检测之前,通过考虑面积阈值和当前图像帧,计算并更新检测的分割阈值,引入当前图像帧信息。其次,对不同尺度的图像帧采用高低双分割阈值进行背景差分运算,以提高检测的鲁棒性。最后,通过对各尺度的检测结果采用一种自顶向下的融合策略进行融合,以在保留目标的清晰轮廓同时消除噪声。此外,提出的一种边界扩展融合后处理算法有助于减轻检测断裂引起的目标破碎现象。实验结果表明,所提算法能够有效抑制抖动导致的背景噪声。在2个真实拍摄的无人机数据集上,分别获得了0.951和0.952的平均F1分数,相较于原算法分别提高了0.144和0.276。

基于无人机视频流的实时拼接方法研究

针对无人机视频流的实时拼接方法进行深入研究,提出一种多线程并行处理的无人机视频实时拼接方法,主要解决无人机视频流实时拼接问题。该方法充分利用计算机并行运算的特点,将视频实时拼接工作分解成多线程工作模式,主要由图像配准线程、非线性优化线程、闭环检测线程、图像拼接线程组成,其中图像配准线程实现对视频关键帧的自适应提取和配准,包括特征点检测、特征点匹配、图像粗配准;非线性优化线程完成对拼接参数模型的动态优化以最小化配准误差,及时修正实时配准引入的误差;闭环检测线程检测当前帧与历史帧存在的闭环图像对,通过闭环图像对进行非线性全局优化以最小化全局配准误差;图像拼接线程则根据优化后的配准参数动态生成拼接影像。通过4组实验数据验证了该方法的有效性和实用性,能有效消除多帧拼接的累积误差,实现对无人机视频流的实时拼接。

基于改进Faster R-CNN的无人机视频车辆自动检测

为了从广域视角准确提取道路交通信息,提出了一种用于无人机视频车辆自动识别的改进Faster R-CNN模型.该模型以基于ZF网络的Faster R-CNN为原型,优化调整学习策略、训练图像尺寸、学习率等模型参数,调整RPN网络卷积核并引入SoftNMS算法,增加1~3个特征提取卷积层和激活层.基于无人机交通视频构建了训练图像集,对现有Faster R-CNN模型及改进模型进行训练和测试.结果显示,与采用Step学习策略的模型相比,采用学习策略Inv的模型车辆识别平均准确率提高了0.4%~9.4%.引入SoftNMS算法的模型比引入前的模型平均准确率提高了0.1%~7.9%.提出的改进模型平均准确率为94.6%,较基于ZF的Faster R-CNN模型、基于VGGM的Faster R-CNN模型和基于VGG16的Faster R-CNN模型分别提高了13.1%、13.1%和4.1%,且训练时间减少约3%,对多种场景的视频车辆检测具有较好的适用性.

基于仿射模型的无人机视频实时压缩算法

在现有算法无法满足无人机视频实时压缩传输需求的应用背景下,该文提出一种新的低复杂度无人机(Unmanned Aerial Vehicle,UAV)视频实时压缩算法,利用无人机视频的背景平面性、运动一致性等特点,建立仿射模型描述视频的全局运动,并根据模型参数进行视频压缩。实验结果表明,与现有压缩算法H.264相比,该算法在保证压缩性能的前提下,大量减少了压缩时间,可满足大多数情况下无人机视频传输的质量要求和实时性要求。

光流网络的无人机视频运动目标检测方法

针对传统光流技术的无人机视频运动目标检测方法计算效率低等问题,提出一种基于改进光流网络的无人机视频运动目标检测方法。首先利用卷积神经网络分别提取视频序列影像中目标的运动特征,并利用所提取特征进行光流计算;其次通过堆叠网络结构增加网络深度、引入小位移子网络等方法提高光流计算的精度和效率;最后通过光流阈值分割实现运动目标的检测。采用4组不同飞行模式下的无人机视频数据进行实验,实验结果表明,无论是在悬停模式还是在航行模式下,所提方法均能实现单目标、多目标和遮挡目标的检测,检测效果更好、计算效率更高(计算时间≤35 ms),基本能满足无人机视频运动目标实时处理的需求。

基于无人机视频的车辆检测与评价指标研究

无人机视频车辆检测的准确性和稳定性对提取交通信息至关重要。研究专门应用于无人机视频的车辆检测算法,通过对比分析现有车辆检测算法实验结果,结合对称差分能够有效分离背景与目标像素的特点,引入分块建模的思想,提出了基于对称差分分块建模的背景差分法。针对无人机视频车辆检测算法评价指标缺失的现状,分析车辆检测结果,提出正检率、重检率、漏检率、错检率4个评价指标来衡量无人机视频车辆检测算法性能。实验结果表明,所提算法具有较高正检率(均值92.29%,中值100%)和稳定性(四分位距为8%)。上述算法能够在无人机视频中准确地检测车辆。

无人机视频车辆跟踪算法研究

鉴于现有算法在复杂环境下易造成目标跟踪丢失的问题,为研究精准高效的车辆跟踪算法,实现无人机视频交通参数提取,将传统KCF(核相关滤波)算法中的固定尺度检测窗口替换为多尺度检测窗口,提出多尺度KCF优化算法;与CamShift算法和KCF算法的对比结果表明,在不同场景下多尺度KCF优化算法的跟踪效果均优于其他两种算法,在目标遮挡和存在阴影的情况下表现更优异,具有较强的鲁棒性和适用性。

无人机视频的分层表达与实时压缩

为克服无人机视频应用中计算能力和传输带宽的限制,提出一种视频分层表达方法,实现快速、高质量、灵活的视频编码.将无人机视频分为背景层和目标层,并分别采用基于全局运动估计和基于局部块匹配的方法进行压缩,压缩后的码流可以根据实际的网络情况和应用需求进行单独传输或组合传输.实验结果表明:在极低码率如50 kbit/s时,H.264的PSNR低于28 d B,且图像主观质量超出可接受范围,而采用分层表达中的背景层压缩,可以在保证PSNR在28 d B以上,且图像细节清晰、主观质量较高;在码率较高时,采用背景层和目标层结合,在同等码率条件下,目标的细节比H.264更清晰;整个压缩过程消耗的时间只有H.264的18%.本文方法在不降低视频质量的同时提高了压缩效率,且码流具备灵活性,适用于低延时、低带宽、复杂的无人机应用.

无人机视频的交通参数提取方法及验证

为了研究无人机监测视频准确提取运动车辆交通参数信息,采用计算机人工智能图像处理技术和实际道路场景验证试验方法,提出一种基于YOLO v3神经网络模型的目标检测和Deep-Sort多目标跟踪算法相结合的运动车辆参数提取方法。为了验证无人机交通参数提取方法的可行性、准确性、可靠性,采用试验路段场景数字化、特征点标记、世界坐标采集的方法,标定世界坐标与图像坐标转换矩阵。采用装载高精度GNSS-RTK定位和车载OBD的试验车辆实时记录车辆微观运动参数(时间、速度、加速度等),对比验证视频提取车辆参数的准确性。共进行7组不同飞行高度(150~350 m)、不同行驶速度(40~90 km/h)验证试验,累计获得70 min试验路段监测视频,2辆试验车共获得5 400帧、1 192个速度验证信息。验证试验结果表明:视频识别算法目标检测精度为90. 88%、追踪精度为98. 9%,提取的车辆速度参数整体绝对误差在±3 km/h以内、相对误差在2%以内,参数提取整体准确率达98%。验证了无人机视频交通参数提取的可靠性和准确性,为交通管控提供了一种监测方法和数据提取手段,也为交通行为研究提供了数据采集手段。

无人机视频中道路交叉口车辆检测与跟踪

提出了一种基于无人机视频的交叉口车辆检测和跟踪方法,以道路交叉口行车区域为检测区域,将车辆检测和跟踪分成独立的两个阶段,并使用背景差法检测车辆,接着使用置信度指标进行车辆跟踪。该方法使用广州大学城两个道路交叉口的视频进行了验证,车辆检测和跟踪结果的精度都达到94. 49%以上,表明该方法准确可靠。基于无人机视频的车辆检测跟踪方法具有实施方便、快速和适用范围广等特点,为道路交叉口车流量调查提供了新方法,可以用于道路交通的实验教学、科研及生产等领域。

结合帧间目标回归网络的无人机视频车辆检测

无人机视频具有视角灵活、视域连续、监视范围广等优点,但同时也存在目标分布密集、运动噪声强等问题,给准确的目标检测造成了困难。针对这些问题,提出结合帧间目标回归网络的无人机视频车辆检测算法。根据无人机视频中车辆目标密集分布的特点,提出软化非极大值抑制作为单阶段全卷积目标检测的检测框合并策略,进而构建单帧车辆检测器;为应对单帧检测器直接应用于视频检测时易受运动噪声干扰、造成同一目标置信度变化的问题,设计帧间目标回归网络,利用帧间运动连续性融合相邻多帧的目标特征,并与当前帧目标特征进行匹配回归输出预测结果;最后利用单帧检测结果修正,实现检测性能的提升。通过对已有无人机数据集进行筛选、融合和补充标注,构建一个更全面的无人机视频车辆数据集。该方法在数据集上的平均精度较单阶段全卷积目标检测和基于光流引导特征融合的视频目标检测分别提高约2%和5%,可达47.42%。实验结果表明,该方法优于单阶段全卷积目标检测和基于光流引导特征融合的视频目标检测等视频目标检测算法,具有更好的鲁棒性和泛化性。

无人机视频图像运动目标检测算法综述

运动目标检测是实现目标跟踪、交通监控、行为分析等任务的基础。但在无人机获取的视频图像中,无人机运动、旋翼震动或外界风力等客观因素使图像出现较为明显的背景、光照等变化,会对运动目标的检测产生影响。因此,如何降低干扰、提高检测精度,让无人机在运动目标检测领域发挥作用在信息时代具有相当重要的意义。无人机视频图像的运动目标检测相比传统运动目标检测,检测思路基本一致,但干扰因素众多。本文以此为切入点,分类综述了适用于无人机视频图像运动目标检测的算法及其改进,主要包括运动估计算法、帧间差法、背景建模法、光流法等传统算法和近年出现的新型算法;通过对无人机运动状态的划分探讨比较了上述方法的优缺点及适用场景。帧间差法更适合处理无人机悬停状态的数据,背景建模法、光流法及新型算法对无人机悬停及巡航状态的数据均可处理;上述算法均不能很好解决光照变化造成误检、漏检现象。所以处理无人机视频数据时,要根据其运动信息及数据特点选择合适的算法,才能获得好的检测结果。

基于深度学习的无人机视频车辆行为分析

本文提出一种基于深度神经网络的车辆行为分析框架用于交通参数的智能化提取。该框架先基于利用单镜头多盒探测器(SSD)检测实现车辆检测与识别,然后在视频序列中对车辆进行线性跟踪,根据追踪结果对车辆轨迹进行建模,设计基于LSTM的深度学习模型对车辆行为进行分类。本文以深圳市龙井地铁站T型路口的无人机数据作为研究对象,进行实验。结果表明,提出的方法能够提高车辆识别与跟踪算法的精度和效率,并获得准确的车辆分类结果及轨迹识别。

基于无人机视频的非机动车道交通冲突分析

基于轨迹数据的交通冲突分析是道路交通流状态及安全风险评价的重要途径,针对当前电动自行车对混行交通流的影响研究不足的问题,提出基于无人机视频的目标时序轨迹提取方法和基于时序轨迹的行人与非机动车交通冲突识别与分析方法。以无人机监控视频作为输入,采用YOLOv5目标检测算法和DeepSORT多目标跟踪算法相结合,提取道路交叉口行人与非机动车的轨迹时序数据,经过坐标系转换,在每一时间步下,分析判断行人与非机动车间的正面冲突、追尾冲突和角度冲突。将冲突风险计算结果以热力图的形式进行可视化输出。实验结果表明,利用无人机视频提取的轨迹与实际轨迹的平均误差为7.48 cm,提出的研究方法具有较高的准确性;观测路段的交叉口处,角度冲突发生的频次最高且风险较大。研究成果能为道路交叉口数据采集提供新的思路,为路段安全风险评价提供有效的量化手段,为交通管理与控制提供决策支持。

以OpenCV为基础的图像预处理技术在无人机视频的应用

OpenCV实为一种新型的开放源代码函数库,多用于计算机视觉与数字图像处理。本文首先对OpenCV的概念、体系结构进行了简要分析,以无人机视频预处理系统为例,提出了一种新型的预处理方法,在无人机拍摄视频中应用图像处理的图像增益数、高斯滤波算法、图像融合操作及双边平滑算法等,有效解决了无人机视频图像经常出现的清晰度低、抖动等问题,此外,还一定程度降低了噪声、环境光线对其所造成的影响与干扰。

基于无人机视频的交叉口流量检测方法

交叉口的运行效率直接影响城市路网的运行状态,近年来随着无人机技术的兴起,其应用给交叉口运行效率的研究带来了新途径,无人机以其特有的优势为交通参数获取带来了便利。文章基于深度学习的方法采用改进的YOLOv5l+DeepSort的多目标检测追踪算法实现交叉口机动车辆的检测追踪,获取其运行轨迹及运动参数,检测精度达到0.926。在此基础上融合目标空间坐标点位移和角度变换实现对各进口道机动车不同流向流量的准确检测。最后选取南京市星火路-学府路交叉口进行验证,本方法的流量检测准确率达到95%。结果证明本方法可以对交叉口运行状态合理量化,为交通调查分析和改造优化提供技术支持。

针对无人机视频的带干扰抑制的l_(1)正则相关滤波跟踪算法

近来,相关滤波因其精度和鲁棒性良好而在目标跟踪领域获得广泛应用.然而,相关滤波的隐式循环样本带来了严重影响跟踪性能的边缘效应.在之前的工作中,采用l_(1)正则消除了传统相关滤波模型边缘效应的影响,但仍然通过将隐式循环样本回归到一个固定的目标标签来学习一个能区分前景和背景的回归模型.这种预定义的不变的回归标签使得跟踪模型对于不确定性高的航拍跟踪场景的鲁棒性和适应性较低.因而,提出一种利用在检测阶段生成的响应图的局部最大值来自动定位当前帧的干扰物的方法,通过抑制干扰物在回归学习中的响应,可以动态地、自适应地改变回归目标,从而提高跟踪的鲁棒性和适应性.在对比实验中,该方法在DTB70数据集上的精确率和成功率分别达到66.9%和43.4%,相较于基准算法,精确率和成功率分别提高了4.3个百分点和2.1个百分点.在UAV123@10 fps上,精确率和成功率分别达到58.2%和40.9%.实验结果表明,提出的跟踪器的性能优于其他几种代表性的方法.

基于改进YOLOv5s的无人机航拍视频中道路异常目标检测算法

在使用无人机进行机动车道行人与非机动车检测过程中,发现目标检测精度低、效果差的问题。为解决这些问题,提出一种针对无人机的行人与非机动车检测算法YOLOv5sP2S。首先,基于原有的PAFPN特征融合方案,将YOLOv5s模型的Neck部分进行扩展,并增加专门针对小目标的检测层;然后,在预测部分添加小目标检测头,对小目标检测层输出特征图进行预测;最后,将YOLOv5s的定位损失函数改进为SIOU,提高检测精度和锚框的回归效率。实验结果表明,与YOLOv5s模型相比,YOLOv5s-P2S的平均精度均值mAP50提高了0.05,参数量仅增加0.2M。YOLOv5s-P2S能够满足无人机视角的行人与非机动车目标检测的准确性和实时性要求。

无人机广域视频的机动车交通参数计算及分析

基于视频的交通参数提取在智能交通系统中具有重要意义.针对无人机视频,提出了一种基于大范围无人机视频的机动车交通参数提取方法.首先通过建立无人机广域镜头图像的校正算法去除交叉口视频图像的广角畸变,然后将像素坐标转化为真实坐标.其次,利用帧间差分法计算行驶车辆的速度、加速度、车头间距等车辆运行参数,将计算结果与真实车辆及软件提取运行参数进行对比,结果证明该方法具有较高的准确性和可行性.最后,实例验证该方法能较准确地获得交叉口车辆运行参数,并将其应用于车辆通过交叉口全过程的速度变化规律分析.

改进SIFT小型无人机视频序列图像自动拼接方法

针对小型无人机视频序列图像视点离散、视角变化有一定运动规律的特点,本文结合Harris特征点和SIFT特征向量的优势,研究实现图像的自动配准;并采用光度对准的方法和加权平均的方法消除光度差异,较好地实现了视频序列图像的无缝拼接。实验证明该方法在图像拼接的准确性、效率等方面较经典的SIFT算法有较大提高。