基于图像分割的金字塔Lucas-Kanade光流法提取深度信息

在2D到3D视频的转换过程中,深度信息的提取是最关键的问题。本文利用图像分割的金字塔LucasKanade光流法提取2D视频中的深度信息,主要做了如下工作:1是通过计算当前帧的最大运动矢量来决定所需构建的金字塔层数,通过自适应的方式决定金字塔层数可以弥补因金字塔层数过多造成的信息丢失或者因金字塔层数过少而无法满足Lucas-Kanade光流算法的不足;2是在每层金字塔中,利用Mean Shift图像分割后的信息,去除本次迭代计算得到的运动矢量中的坏点,使得深度提取更加准确;3是自适应地调整每层金字塔的迭代次数,使得在实验结果的质量几乎不变的情况下,达到降低时间复杂度的目的;最后通过统计图像分割每类中的深度值对所得到的深度图进行优化,使得最终得到的深度图中物体边缘信息更加清晰。实验结果表明,利用本文算法所得到的场景深度的边缘信息更加清晰,深度图中的坏点明显减少,在降低时间复杂度的同时,得到了较高质量的深度图。

基于DM642的金字塔Lucas-Kanade光流法计算速度信息

通过垂直拍摄地面的摄像头连续抓拍两帧图像,从中计算出横纵向速度信息。该设计以TMS320DM642为核心,结合TI的VLIB视频处理库,利用VLIB中的Harris角点提取算法对特征点进行提取,并利用金字塔Lucas-Kanade光流法实现对特征点的大位移跟踪,对跟踪出来的横纵向位移信息进行筛选并利用帧率与位移之间的关系计算出速度信息。然后,将该设计与在PC机上用OpenCV实现的金字塔Lucas-Kanade光流法和SURF特征点跟踪匹配法进行比较,其结果表明该设计简易可行且具有实时性好的优点。最后在此基础上简要介绍了此设计的应用前景并对设计进行了总结。

基于遮挡优化的金字塔块匹配光流估计方法

针对现有光流计算方法在大位移和运动遮挡等场景下光流估计的准确性与鲁棒性问题,提出一种基于遮挡优化的金字塔块匹配光流估计方法.首先利用金字塔块匹配模型得到初始匹配运动场,构造遮挡检测模型优化匹配运动场,去除初始匹配运动场包含的误匹配点以获取鲁棒稀疏运动场;然后设计边缘约束的鲁棒插值算法获取稠密光流场,并构建全局能量泛函解决局部最优问题,得到最终的鲁棒稠密光流场.最后分别利用Middlebury、MPI-Sintel和KITTI数据集提供的测试图像序列对本文方法和具有代表性的变分光流估计方法、匹配插值光流估计方法、卷积神经网络光流估计方法进行对比分析.实验结果表明本文方法对大位移和运动遮挡场景光流估计的准确性与鲁棒性具有明显的提升效果.

基于多尺度变形卷积的特征金字塔光流计算方法

针对现有深度学习光流计算方法的运动边缘模糊问题,提出了一种基于多尺度变形卷积的特征金字塔光流计算方法.首先,构造基于多尺度变形卷积的特征提取模型,显著提高图像边缘区域特征提取的准确性;然后,将多尺度变形卷积特征提取模型与特征金字塔光流计算网络耦合,提出一种基于多尺度变形卷积的特征金字塔光流计算模型;最后,设计一种结合图像与运动边缘约束的混合损失函数,通过指导模型学习更加精准的边缘信息,克服了光流计算运动边缘模糊问题.分别采用MPI-Sintel和KITTI2015测试图像集对该方法与代表性的深度学习光流计算方法进行综合对比分析.实验结果表明,该方法具有更高的光流计算精度,有效解决了光流计算的边缘模糊问题.

基于Lucas-Kanade稀疏光流算法的奶牛呼吸行为检测

奶牛呼吸行为的智能检测对于奶牛疾病的自动诊断及奶牛精准养殖具有重要意义。该研究基于Lucas-Kanade稀疏光流算法,提出了一种适合于非结构化养殖环境的无接触式单目标奶牛呼吸行为检测方法。通过在HSV颜色空间完成奶牛目标的提取,然后通过Canny算子和掩模操作完成奶牛所有花斑边界的检测,再利用Lucas-Kanade稀疏光流算法计算提取奶牛花斑边界光流,最后根据视频序列帧中花斑边界平均光流的方向变化规律实现奶牛呼吸行为的检测。为了验证本研究算法的有效性,利用不同环境下获取的105段共计25200帧数据进行了测试,并与基于整体Lucas-Kanade光流法、整体Horn-Schunck光流法和基于花斑边界的Horn-Schunck光流法进行了对比验证。试验结果表明,该研究算法的帧处理耗时在0.10~0.13s之间,在试验视频上的平均运行时间为14.14s。奶牛呼吸行为检测的准确率为83.33%~100%之间,平均准确率为98.58%。平均运行时间较基于整体Lucas-Kanade光流法的呼吸行为检测方法慢1.60s,较Horn-Schunck整体光流的呼吸行为检测方法快7.30s,较基于花斑边界的Horn-Schunck光流法快9.16s。呼吸行为检测的平均准确率分别高于3种方法1.91、2.36、1.26个百分点。研究结果表明,通过Lucas-Kanade光流法检测奶牛花斑边界平均光流方向变化实现奶牛呼吸行为检测是可行的,该研究可为奶牛热应激行为的自动监测及其他与呼吸相关疾病的远程诊断提供参考。

联合遮挡约束与残差补偿的特征金字塔光流计算方法

针对现有深度学习光流计算模型在运动遮挡和大位移等场景下光流计算的准确性与鲁棒性问题,本文提出一种联合遮挡约束与残差补偿的特征金字塔光流计算方法.首先,构造基于遮挡掩模的光流约束模块,通过预测遮挡掩模特征图抑制变形特征的边缘伪影,克服运动遮挡区域的图像边缘模糊问题.然后,采用特征图变形策略构建基于特征变形的光流残差补偿模块,利用该模块学习到的残差光流细化原始光流场,改善大位移运动区域的光流计算效果.最后,采用特征金字塔框架构建联合遮挡约束与残差补偿的光流计算网络模型,提升大位移和运动遮挡场景下的光流计算精度.分别采用MPI-Sintel(Max-Planck Institute and Sintel)和KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)数据集对本文方法和代表性传统光流计算方法、深度学习光流计算方法进行综合对比分析,实验结果表明本文方法相对于其他方法能够有效提升大位移和运动遮挡场景下的光流计算精度与鲁棒性.

一种基于图像金字塔光流的特征跟踪方法

推导并实现了一种基于图像金字塔光流的角点特征跟踪方法。实验结果表明,该方法在不同运动幅度和运动方式下的检测跟踪性能较好,能够有效地应用于长序列图像的特征跟踪。

金字塔光流三维运动估计与深度重建直接方法

针对基于图像序列光流的三维运动估计与深度重建问题,提出一种基于图像金字塔光流的三维运动估计与深度重建直接方法。首先根据光流计算亮度守恒假设和像素点光流与三维空间点运动的对应关系推导出基于图像亮度的三维运动守恒假设;然后借鉴变分原理,通过设计基于L1模型的鲁棒数据项以及图像与运动联合控制的平滑项构造基于变分光流的三维运动估计能量函数;为了应对图像序列中包含的大位移运动及运动遮挡问题,采用图像金字塔分层策略设计三维运动估计模型;最后根据图像三维运动估计结果重建图像中运动物体或场景的深度信息。实验表明,该方法能够较好地应对图像序列中光照变化、多目标大位移运动以及运动遮挡等情况,具有较高的三维运动估计与深度重建精度和较好的鲁棒性。

基于帧间差分和金字塔光流法的运动目标检测

针对用于运动目标检测的光流算法存在处理复杂、计算量大等问题,提出一种帧间差分算法和金字塔LK光流法相结合的运动目标检测方案。该方法先对视频图像进行帧间差分处理,得到图像的运动区域,再对该运动区域进行金字塔LK光流计算,减少了计算区域,提高目标检测的速度。最后在搭建的视觉避障平台上使用Lab VIEW语言进行算法程序验证,实验结果证明了算法的有效性。

基于OpenCV实现金字塔光流法对表面流场的计算

本文基于OpenCV视觉函数库和Visual Studio2010平台,采用C++编程语言开发了基于金字塔光流法的PTV(Particle Track Velocimetry)表面流场测量程序。程序计算结果显示:基于金字塔光流法实现PTV技术,需要在金字塔光流法对示踪粒子角点跟踪匹配的基础上进一步实现示踪粒子的质心匹配,该过程可使金字塔光流法准确、合理地应用于PTV技术,实现对示踪粒子运动速度的正确计算,同时还可剔除掉金字塔光流法对非匹配关系的角点产生的错误匹配。

级联网络和金字塔光流的旋转不变人脸检测

在无约束的开放空间中,由于面部姿态变化、背景环境复杂、运动模糊等,人脸检测仍是一个具有挑战性的任务。本文针对视频流中人脸检测存在的平面内旋转问题,将人脸关键点与金字塔光流相结合,提出了基于级联网络和金字塔光流的旋转不变人脸检测算法。首先利用级联渐进卷积神经网络对视频流中前一帧进行人脸位置和关键点的定位;其次为获取关键点与人脸候选框间光流映射,使用独立的关键点检测网络对当前帧进行再次定位;之后计算前后两帧之间关键点光流位移;最后通过关键点光流位移与人脸候选框的映射关系,对视频中检测到的人脸进行校正,从而完成平面内旋转人脸不变性检测。实验经FDDB公开数据集上测试,证明该方法精确度较高。并且,在Boston面部跟踪数据集上进行动态测试,证明该人脸检测算法能有效解决平面内旋转人脸检测问题。对比其它检测算法,该算法检测速度有较大优势,同时视频中窗口抖动问题得到了很好解决。

基于KLT特征点的LK光流金字塔FPGA实现

提出了一种基于KLT特征点的LK光流金字塔的FPGA实现方法,用于解决目标检测与跟踪系统中图像匹配实时性差、鲁棒性低及资源开销大等问题。在FPGA端,首先利用优化的KLT算法提取图像的特征信息;再结合图像金字塔,通过优化的LK光流金字塔算法估计特征点的总光流;最终将FPGA处理结果与MATLAB仿真进行对比分析。实验结果表明,该优化的方法在硬件实现中是合理有效的,不仅降低了算法实现的难度及资源开销,同时可满足图像匹配精度及实时性的要求。

改进的金字塔Lucas Kanade光流算法实现多姿态视频人脸特征点跟踪

目前,在人脸特征点跟踪领域,光流算法的使用较广泛。本文提出对小姿态人脸采用仿射变换矫正以及对大姿态人脸通过跟踪准确特征点的偏移量改进金字塔Lucas Kanade光流方法。实验结果表明,该算法比传统的金字塔Lucas Kanade光流算法在多姿态人脸特征点跟踪方面有更好的效果。

基于金字塔LK光流法及超声传感的微型无人机障碍识别优化研究

针对在有雾或能见度低的情况下,传统的光流算法在微型无人机障碍物辨识过程中准确性低、适应性差等问题,采用了一种基于金字塔LK光流法结合超声传感的避障方法。主要进行金字塔分布式检测,经超声波传感器探测目标,用测得的光流数据与IMU值融合后进行Kalman滤波处理,与设定的阈值进行比较,判断是否为障碍物,以提高微小型无人机障碍物辨识准确性。通过搭建无人机试验平台,对实验结果进行比较、分析,验证了方法的可行性。

基于四旋翼飞行器的改进金字塔LK光流算法的研究

针对四旋翼飞行器在飞行过程的水平漂移问题,提出利用改进的金字塔LK光流算法予以改善。首先,通过Visual Studio2013仿真,确知改进的金字塔LK光流算法比传统金字塔LK光流算法对图像的速度信息提取精度更高。然后,再建立四旋翼飞行器的动力学模型,将两种光流算法导入MATLAB的仿真模型中,得出:四旋翼飞行器能有效根据改进的金字塔LK光流算法获得速度信息以降低水平漂移。最后,通过在轴距为430 mm的四旋翼飞行器的平台上进行飞行试验,结果表明:采用改进的金字塔LK光流算法能使四旋翼飞行器的水平漂移程度降低,可实现较为稳定的悬停。

基于前—后向光流点匹配运动熵的视频抖动检测算法

目前大部分视频监控系统面临着高效实时性智能分析与低效滞后的人工故障排查的矛盾。视频质量智能诊断系统可以为此提供有效的解决方案。针对视频质量诊断系统中的画面抖动异常检测问题,提出一种简单有效的实用算法。该算法通过有效融合图像的稀疏光流与特征点匹配算法,根据前向-后向误差标准估计图像帧的全局运动参数,引入连续帧的运动熵用于衡量视频画面片段运动的混乱程度,判断是否存在视频抖动现象。算法在不同分辨率的实际监控录像数据集上进行了测试和比较。实验证明,该算法在一定程度上克服了大位移抖动的影响,具备良好的实时特性以及较高的检测精度,能够满足实际工作的需求。

基于金字塔光流法的移动增强现实三维跟踪注册研究

应用于室外场景识别的移动增强现实系统,需要保持高效且精准的三维注册,从而实现稳定的虚实融合。为了减小复杂场景对目标跟踪的影响,提出一种基于AKAZE和金字塔光流法相结合的三维跟踪注册方法,采用AKAZE算法检测视频流图像的特征点,再用光流法对目标区域进行持续跟踪,实现特征匹配后计算摄像机标定结果,最终完成三维跟踪注册。实验结果表明,该方法能实现实时持续的目标跟踪,同时三维注册效果良好。

基于YOLOv4及金字塔LK光流法的变压器振动检测方法

近年来大规模可再生能源接入变电站带来过载、谐波、短路等问题,导致变压器等重要电力设备故障率增加,寿命缩短。作为电力系统的关键设备之一,变压器的运行状况对电网的安全稳定运行具有重要影响。为了实现变压器的实时状态评估,提出一种基于视频的变压器振动信号实时检测方法。首先利用YOLOv4模型进行变压器目标检测,进一步利用金字塔LK(Lucas Kanade)稀疏光流法以及大津算法(OTSU法)计算得到变压器振动矢量。实验结果表明,在人工合成的变压器振动视频中,该算法可以实时准确计算得到变压器振动矢量,从而实现对变压器状态的实时可靠分析。

基于金字塔 LK 光流法的电梯内异常行为检测

电梯运行环境相对密闭,是打架等异常行为的多发场所。针对电梯轿厢内发生的打架等以方向混乱、动作速度快作为主要特征的异常行为,提出一种基于金字塔LK光流法的异常行为检测方法。首先,获取视频帧中的角点作为特征点,利用光流法预测特征点位置,对运动矢量进行描述并表示成光流图,通过速度大小筛选出有效光流点,消除背景中的噪声光流点干扰,提取运动目标。然后,利用每帧图像中光流点的平均速度与方向直方图熵的乘积定义运动混乱度,作为异常检测的判断依据。最后,设定相应阈值,判断是否发生异常行为。通过对自拍摄的模拟电梯内乘客正常行为和异常行为的数据集进行验证表明,上述方法可以取得良好的检测效果,并且能满足实时性要求。

Harris角点结合金字塔光流法的目标跟踪算法设计研究

针对现存很多跟踪算法在速度和准确度方面很难满足嵌入式跟踪开发的需要,提出一种基于Harris角点和金字塔光流法的快速跟踪算法,并详细给出了DSP-FPGA的硬件设计;首先,使用Harris角点提取目标角点特征;然后,使用金字塔光流法为后续视频帧匹配角点;最后,基于角点的质心跟踪算法用于匹配目标的重心,确定目标的位置,重心跟踪算法可以较好地抵消由于旋转或扭曲带来的形变问题;在硬件实现过程中,FPGA方便电路设计,使用硬件描述程序语言实现硬件算法、逻辑控制和外部接口,DSP则运行目标跟踪算法;实验结果验证了本文硬件实现算法的有效性,相比于AVT21开发板的质心跟踪算法、相位相关跟踪算法和金字塔相关性跟踪算法相比,文章算法在平均重叠和平均中心误差方面具有一定优势,在720p的视频流上可以满足25fps。