Moving object detection based on optical flow and neural network fusion

Purpose-The purpose of this paper is to meet the large demand for the new-generation intelligence monitoring systems that are used to detect targets within a dynamic background.Design/methodology/approach-A dynamic target detection method based on the fusion of optical flow and neural network is proposed.Findings-Simulation results verify the accuracy of the moving object detection based on optical flow andneural network fusion.Themethod eliminates the influence caused bythe movement of thecamera to detect the target and has the ability to extract a complete moving target.Practical implications-It provides a powerful safeguard for target detection and targets the tracking application.Originality/value-The proposed method represents the fusion of optical flow and neural network to detect the moving object,and it can be used in new-generation intelligent monitoring systems.

结合轻量化YOLOv5s的动态视觉SLAM算法

针对视觉SLAM在真实环境中易受车辆、行人等运动物体影响而导致位姿估计降低的问题,提出一种结合轻量化YOLOv5s的动态视觉SLAM算法,将改进的轻量级YOLOv5s作为目标检测算法用于判断运动物体;结合提出的动态特征点剔除方法,剔除动态特征点,仅采用静态特征点进行位姿估计和地图跟踪。在TUM数据集进行实验,相较于ORB-SLAM3算法,改进后的算法在高动态序列上的位姿估计精度分别提升了89.29%、65.34%、94.42%,结果表明改进后的算法能够有效剔除动态特征点,提高了视觉SLAM算法在动态环境下的位姿估计精度和定位精度。

利用局部特征匹配的运动小目标光流估计

基于深度光流估计的动态背景运动小目标检测,为了保证小目标的检测性能,一般采用较少的下采样次数以维持较高的分辨率,但由此带来了较大的计算耗时。特征匹配是深度光流估计的一个核心处理环节,其耗时在光流估计整体耗时中的占比较大,且对下采样次数非常敏感。据此,提出一种基于局部特征匹配的快速光流估计算法:引入目标运动信息,缩小特征匹配的空间范围,减少待处理的数据量;设计分块局部匹配策略,引入批处理机制,避免出现逐点局部匹配策略数据处理耗时过大问题,实现算法加速。在此基础上,在光流估计获取的光流场上,采用CenterNet网络检测运动目标对应的光流异常区域。从光流估计耗时、检测精度等方面开展了实验验证,结果表明:针对运动小目标检测,分块特征匹配光流估计比全局特征匹配光流估计耗时减少约25%,目标检测性能相当。

基于无人机航拍视频的运动目标检测与跟踪

针对无人机视角下拍摄物体尺寸小、外观模糊,以及无人机平台自身存在运动等问题,基于无人机航拍视频的运动目标检测与跟踪仍具有很大的挑战性。提出了基于改进LK光流法的运动目标检测与跟踪算法,利用卡尔曼滤波算法进行目标跟踪;针对传统LK光流法在动态环境下效果不佳的问题,引入语义分割线程筛选动态点和静态点,通过筛选后的静态点求解单应矩阵完成无人机的运动补偿、计算动态点的光流值获得光流点以降低误匹配率,最后通过聚类算法和形态学运算得到完整的运动目标;将所提的重识别模块引入卡尔曼滤波算法实现目标跟踪。实验结果验证了所设计的运动目标检测与跟踪算法在无人机视角下能够实时、准确地提取出运动目标,并持续稳定地跟踪目标。

快速准确的光流法运动目标检测

使用经典HS光流法对视频图像中的运动目标进行识别与检测时存在环境噪声多、检测效率低等问题。为此,对光流法进行改进。首先设计新的判定方法降低求解光流的迭代次数,减少算法执行时间;然后结合边缘检测等算法设计满足精度约束的算法,降低环境噪声的影响;最后使用GPU分别对光流法和边缘检测算法并行优化,从而进一步提高算法效率。实验结果表明,所提算法在CDNet2014数据集上的检测精度为88.1%,检测到的运动目标清晰度高。此外,该算法在GPU上的最大加速比为89倍,性能较传统算法有很大提升。

基于显式运动建模的视频伪装目标检测

目前的视频伪装目标检测方法通常采用隐式运动建模或直接输入存在噪声的离线光流图来获取运动线索,这会影响模型性能。为了解决这一问题,提出一种新的基于显式运动建模的视频伪装目标检测框架,称为SMHNet。首先,该框架将显式运动建模与伪装目标检测联合在同一个框架中进行学习。然后利用特征双向更新模块实现两个分支的双向交互更新,相互补充、优化和纠错,输出光流估计结果和目标检测图。此外,为了解决缺少光流真值图这一问题,采用自监督策略对显式运动建模分支进行监督。在两个数据集上的对比实验结果表明,SMHNet有效地提高了视频场景中伪装目标检测的性能。

基于FPGA的“低慢小”目标检测系统实现

为解决“低慢小”目标检测困难的问题,实现了一种基于FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)的“低慢小”目标检测系统。该系统采取COMS相机获取图像,DDR3 SDRAM缓存视频帧,使用FPGA处理帧间差分法和光流法结合的算法,目标检测结果使用VGA标准显示。测试结果表明,该系统能够检测出在悬停和低速飞行姿态下的低慢小无人机目标并实时显示。

基于轻量化YOLOv8n的动态视觉SLAM算法

为了改善在动态场景下同步定位与地图绘制(Simultaneous Localization And Mapping,SLAM)算法定位精度低的问题,提出一种基于轻量化YOLOv(You Only Look Once version)8n的动态视觉SLAM算法。利用加权双向特征金字塔网络(Bidirectional Feature Pyramid Network,BiFPN)对YOLOv8n模型进行轻量化改进,减少其参数量。在SLAM算法中引入轻量化YOLOv8n模型,并结合稀疏光流法组成目标检测线程,以去除动态特征点,利用经过筛选的特征点进行特征匹配和位姿估计。实验结果表明:轻量化YOLOv8n模型参数量下降了36.7%,权重减少了33.3%,能够实现YOLOv8n模型的轻量化;与ORB-SLAM3算法相比,所提算法在动态场景下的定位精度提高83.38%,有效提高了动态场景下SLAM算法的精度。

融合光流与多视角几何的动态视觉SLAM系统

视觉同步定位与地图构建(SLAM)在动态干扰的情况下,导致定位精度下降且无法准确构建静态地图,提出一种结合光流和多视角几何的动态视觉SLAM系统,该系统是在ORB-SLAM2的基础上进行改进的。在追踪线程中引入处理后的光流信息,结合多视图几何,得到动态区域掩码对视野内图像帧进行分割,实现动态区域检测并滤除动态区域中的特征点,在保证视觉SLAM系统实时性的同时提高追踪准确度,替换原本的地图构建线程。在新的地图构建线程中,引入光流信息及Mobile NetV2实例分割网络。利用实例分割网络分割结果结合光流动态区域掩码对获取到的有序点云逐层分割,解决地图构建中动态物体造成的“拖影”问题。同时对分割后的点云团融合语义信息,最终构建静态语义八叉树地图。在TUM Dynamic Objects数据集上的实验结果表明,相较于ORB-SLAM2,在高动态场景序列测试中,该算法的定位精度平均提升70.4%,最高可提升90%。

基于多尺度和双源运动感知的车辆检测方法

【目的】车辆检测是城市智能交通研究的重要部分,以交通监控图像作为输入,以运动车辆的检测作为目标,围绕其中的小目标问题、高密集问题以及运动属性问题开展研究。【方法】在无锚框CenteNet的基础上提出一种基于多尺度双源运动感知的检测方法。首先,引入坐标注意力,并融合网络抽象层的多尺度和全局上下文特征,多层次多阶段地补充信息,提高模型对车辆和场景的理解力;其次,借助代表车辆实际运动特征的模糊纹理和代表车辆通用运动特征的光流知识,构建模型对运动车辆的感知能力。【结果】实验数据来源于公共数据集UA-DETRAC,以均值平均精度(mAP)和帧率(FPS)作为精确度和速度评价指标,将文章方法与已有主流方法进行比较,结果表明文章方法的mAP和FPS分别为72.46%和30 frame/s,在对比方法中具有最佳的速度与准确率均衡性。【结论】文章方法能够胜任运动车辆的检测任务。

外观融合运动感知的运动目标分割算法

现实场景中的运动目标分割旨在分割当前场景下的运动物体,对于许多计算机视觉应用有着至关重要的作用。现有的运动目标分割算法大多通过2D光流图中的运动信息来分割运动物体,然而,这些方法还存在一些问题。当运动物体在极面内运动或者其3D运动方向和背景一致时,很难通过光流图分割得到;另外,错误的光流预测也会影响分割的结果。为了解决以上问题,提出了不同的运动代价,以提升运动目标分割的正确率。针对和背景共线或共面运动的物体,设计均衡重投影代价和多角度光流对比代价,通过运动物体的2D光流与背景2D光流的差异来检测运动物体。针对自我运动退化,设计差异单应性代价。最后,提出了一种基于外观融合的运动感知结构,以分割各种场景下的运动物体。采用多模态共同注意力门控,更有效地捕获运动特征和外观特征的关系,以促进外观特征和运动特征更好地交互。此外,为了突出运动的物体,提出了多层运动注意力模块,以减少冗余的外观特征对结果的影响。实验结果表明,所提方法在KITTI,JNU-UISEE,KittiMoSeg和Davis-2016数据集上均能获得较优的运动目标分割结果。

动态场景下融合YOLOv5s的视觉SLAM算法研究

为了解决视觉同步定位与建图(Simultaneous Localization and Mapping, SLAM)系统在动态场景下容易受到动态物体干扰,导致算法定位精度和鲁棒性下降的问题,提出了一种融合YOLOv5s轻量级目标检测网络的视觉SLAM算法。在ORB-SLAM2的跟踪线程中添加了目标检测和剔除动态特征点模块,通过剔除图像中的动态特征点,提高SLAM系统的定位精度和鲁棒性。改进了YOLOv5s的轻量化目标检测算法,提高了网络在移动设备中的推理速度和检测精度。将轻量化目标检测算法与ORB特征点算法结合,以提取图像中的语义信息并剔除先验的动态特征。结合LK光流法和对极几何约束来剔除动态特征点,并利用剩余的特征点进行位姿匹配。在TUM数据集上的验证表明,提出的算法与原ORB-SLAM2相比,在高动态序列下的绝对轨迹误差(Absolute Trajectory Error, ATE)和相对轨迹误差(Relative Pose Error, RPE)均提高了95%以上,有效提升了系统的定位精度和鲁棒性。相对当前一些优秀的SLAM算法,在精度上也有明显的提升,并且具有更高的实时性,在移动设备中拥有更好的应用价值。

一种结合光流法与三帧差分法的运动目标检测算法

运动目标的检测是计算机视觉研究的重要内容之一,光流法是其中的一种重要方法.由于计算光流的算法复杂,限制了它的使用.本文提出一种结合光流法与三帧差分法的运动目标检测算法,该算法简化了光流的计算,选择图像中具有代表性的Harris角点,只对这些像素点计算光流信息,有效地减少了复杂度,由于检测得到的运动目标区域不够完整,引入了三帧差分法作为简化光流法的补充.经过实验,该方法使光流法达到了实时性要求,取得了好的效果,优于单独运用两种方法中的任何一种取得的效果.

基于光流技术的运动目标检测和跟踪方法研究

光流技术作为一种重要的二维运动估计技术,在运动目标检测和跟踪中有着重要的作用。为了更好地将光流技术运用到实时的运动目标检测和跟踪系统中,针对微分光流信息量丰富但计算量大、特征光流计算量小但信息量不足的现状,提出了一种基于最优估计的点匹配技术和光流均匀采样策略的光流场计算方法,并通过对灰度化后的光流场进行自适应阈值分割、形态学滤波等处理,实现了实时的运动目标检测和跟踪。通过对图像序列取700个样本点的仿真实验表明,该方法帧间处理时间基本小于100ms,同时基本解决了信息量和计算量的矛盾。

基于光流的运动分析理论及应用

运动目标的检测是计算机视觉领域中最活跃的研究主题之一,运动目标的正确检测与分割影响着运动目标能否正确跟踪和分类;光流法是运动图像分析的重要方法,它能够检测出独立运动的对象,不需要预先知道场景的任何信息,并且可用于摄像机运动的情况;文中首先引入光流的基本概念,然后介绍基于光流方程的两种常用的图像分析方法——梯度法、块匹配法;接着结合光流法在红外图像序列的运动目标检测、活动轮廓模型以及医学图像处理方面的应用,对这两种光流法的优缺点进行分析;最后对光流法在未来其他领域如电子制造业和芯片检测行业的应用提出展望。

运动目标检测算法的探讨

运动目标检测是实现目标跟踪、交通监控、行为分析等任务的基础。但由于运动目标的提取易受到背景、光线变化、阴影、运动速度等因素的影响而造成失败,所以如何更好的实现运动目标检测具有相当重要的意义。该文从运动目标检测的基本概念出发,探讨了运动目标检测的广泛用途、目前所面临的主要问题与困难、实现运动目标检测算法的基本分类,并结合近几年公开发表的一些算法与实现对当前主流运动目标检测实现方法的基本思想和最新进展进行了分类综述,讨论了各类方法的主要优缺点,并展望了该领域未来的发展趋势。

基于自适应背景图像更新的运动目标检测方法

在运动目标的实时检测中常用的方法是背景图像差分法,但因其缺乏背景图像随监视场景光照变化而及时更新的合理方法,限制了本方法的适应性.对此,本文首先提出了一种基于光流场等技术的自适应背景逼近更新方法,并根据彩色差值模型得到差分图像;然后引入Gauss模型实现运动目标的自适应阈值分割.实验结果表明:本文提出的背景更新方法可随着光照条件的变化实时、准确地更新背景图像,在此基础上提出的基于Gauss模型的自适应阈值分割方法可以实现运动目标的完整分割,这为运动目标的后续识别与理解奠定了基础.

基于并行隔帧差分光流场与灰度分析综合算法的运动目标检测

提出了隔帧差分的概念 ,并将其应用于光流场算法中 ,用改造后的隔帧差分光流场算法成功克服了传统光流场算法的不足 (传统光流场算法不能识别帧间位移小于一个像元的运动目标 ) .进一步对光流场计算结果与原始图像进行灰度综合分析 ,使目标的探测更加准确 ,减少了虚警和误判 .采用不同间隔的序列差分构成并行识别系统结构 ,使整个系统能够探测各种不同速度的运动目标 .实验结果表明 :提出的运动目标检测算法能够准确有效地检测出不同速度的运动目标 .

采用低秩与加权稀疏分解的视频前景检测算法

传统的鲁棒主成分分析模型能较好地解决视频前景检测问题.但是,若该模型的假设条件不能满足,算法性能会变差.针对此问题,本文提出了一种低秩与加权稀疏分解模型,通过对前景矩阵加权以增强其稀疏性.在建立加权矩阵的过程中,采用光流法获取每帧的运动矢量,以区分真实运动区域.其次,进一步提出一种增强模型,通过将加权矩阵作用于观测矩阵及背景矩阵,防止前景与背景的错误分离.实验结果表明,在无噪和有噪的情况下,提出的算法均能有效地分离监控视频中的前景和背景.

基于运动区域检测的运动目标跟踪算法

针对传统基于模板匹配的运动目标跟踪算法存在着计算量大、模板漂移导致跟踪失败的问题,提出了一种基于运动区域检测的运动目标跟踪算法。该算法通过采用光流法对目标运动区域进行估计,计算出光流场区域的形心,确定待匹配图相匹配范围,再用模板框在已确定区域进行模板匹配跟踪。根据某开放实验室行人录像跟踪实验表明,本算法能够有效解决模板漂移问题,提高了跟踪实时性,实现了视频对象目标的跟踪。