基于Pynq的半全局立体匹配算法实现

立体匹配算法作为双目立体视觉技术的核心算法,具有运算复杂度高、资源占用率高、实时性差的特点。而现有的基于FPGA实现方法多采用高性能FPGA芯片,利用其板卡丰富的资源进行纯verilog语言开发。这样做虽然实时性效果不错,但存在开发难度较大、周期较长、成本较高的弊端。论文针对该问题,提出了一种基于相对低廉的Pynq-z2开发板在PL+PS端协同开发的SGM立体匹配算法,将运算量大的部分在FPGA端进行硬件加速,部分代价优化算法在ARM端利用Python语言实现。实验表明,该算法可有效降低资源占用率,基本满足在相对低廉的嵌入式设备中实现的要求。

基于SGBM半全局立体匹配算法的三维重建

立体匹配是三维重建中重要的组成部分。针对DP匹配算法生成视差图时效性和准确性偏低的问题,采用SGBM算法获取视差图,并进行三维重建。固定两个单目相机于铝板上,通过棋盘格进行标定,得到相机内外参与畸变系数,并利用标定结果进行立体校正。增强双目相机获取到的场景照片质量,降低外界因素的影响。获取视差图,并结合内参数通过三角变换原理获取空间点云。通过实验对比表明,SGBM算法生成的视差图误匹配率低,时效性高。

基于置信传播的立体匹配并行算法

考虑在双目立体视觉匹配算法中置信传播算法虽然能获得较好的视差图但匹配速度较慢,本文提出了一种基于置信传播的并行匹配方法。该方法以置信传播为基础,采用并行机制来提高匹配速度。首先,利用最优边缘算法计算图像中的边缘信息;然后,利用边缘信息将整个待匹配视图切割成若干小的区域,使用OpenMP多核优化算法并行对各个小区域进行匹配;最后,合并出整个视差图。使用Meddlebury测试平台提供的立体图对进行了实验。结果表明,在保证匹配准确率的前提下,置信传播算法将匹配速度提高了3.51倍,为立体匹配的实际应用奠定良好的基础。该方法在具备多核处理器的嵌入系统中也有良好的应用前景。

立体匹配算法研究综述

双目立体视觉的主要任务是通过2台位于不同位置的摄像机拍摄同一场景得到2幅视图,然后计算视差并获取3维数据信息。立体匹配是双目立体视觉中的关键环节,它利用2幅或者多幅匹配后的图像获取视差进而得到深度信息。本文通过分析国内外对双目立体匹配算法的研究,对立体匹配算法进行介绍,以全局匹配算法和局部匹配算法为对象作详细阐述,最后对各种算法的特性进行比较,并作出总结与展望。

双目立体匹配算法的研究与实现

立体匹配是计算机立体视觉的研究核心.根据约束条件的不同,将立体匹配算法分为三类:全局立体匹配算法、半全局立体匹配算法和局部立体匹配算法.介绍了双目立体匹配的原理和立体匹配算法,深入研究了全局匹配算法中的GC算法、局部匹配算法中的BM算法和半全局匹配SGM算法.结合实验结果,分析了三种算法的匹配效果及匹配速度,并对各自优缺点进行了比较和总结.

基于深度约束的水下稠密立体匹配

针对双目水下图像匹配不满足空气中常规极线约束的问题,提出一种基于深度约束的半全局算法以实现水下稠密立体匹配.首先采用深度约束确定匹配过程的深度约束搜索区域.然后,基于深度约束区域将绝对差值和梯度计算推广到二维区域并进行加权融合.在深度约束区域内的搜索过程中,采用胜者为王的策略确定某一视差值下的最佳行差及最佳行差下的匹配代价,并将其作为能量函数的数据项应用于半全局算法中,进行匹配代价的聚合.最后采用抛物线拟合法得到亚像素级的稠密视差图.在水下图片上进行的稠密立体匹配结果表明:相较于其他半全局匹配算法,本文算法在极大提高运行速度的前提下,可以获得良好的水下稠密立体匹配效果.

基于SGBM算法与BM算法的三维重建分析

立体匹配是双目立体视觉三维重建的重要部分,其算法的选用直接影响匹配的效率与重建结果的准确性。对SGBM和BM两种常见的立体匹配算法展开讨论;采用Matlab及OpenCV搭建的实验平台,对真实场景下的物体分别进行基于SGBM算法与BM算法的三维重建。由仿真实验结果可知:BM算法的运行效率高于SGBM算法;SGBM算法的三维重建结果比BM算法视差更连续、轮廓恢复更清晰。

基于反向合成高斯牛顿的半全局立体匹配算法

针对数字散斑投影三维测量技术中的立体匹配问题,提出基于反向合成高斯牛顿的半全局立体匹配算法。该算法采用基于Census变换的匹配代价值来衡量像素点间的相似性,通过代价聚合算法增强匹配代价对噪声的鲁棒性;在此基础上,提出基于一阶形函数的反向合成高斯牛顿算法,实现亚像素级别的视差优化;最后,提出耦合唯一性检查、左右一致性检查以及连通区域约束的错误视差剔除算法,消除由遮挡和噪声引起的错误视差。实验结果表明,该算法可精确、稠密、完整地重建出复杂物体的三维形貌,重建精度优于0.06mm。

基于单目二维图像生成三维立体图像的研究

随着影像媒体应用的广泛普及,包含三维立体信息的图像或影视已成为当今媒体娱乐的重要组成部分。本文基于单目二维图像,通过生成虚拟视点图像,在一定程度上解决了单张二维图像生成包含三维立体信息图像的问题。研究通过使用SGBM全局匹配(Semi-Global Block Matching)算法还原三维世界的空间信息,获取深度图像。同时,通过高斯滤波函数填充虚拟视点中因深度信息偏移所产生的图像缺失。实验结果表明,对单张二维图像进行获取深度图,生成虚拟视点,填补空洞而最终合成的三维图像能在一定程度上满足观众的三维体验需求。

根据灰度值信息自适应窗口的半全局匹配

目的立体匹配算法是立体视觉研究的关键点,算法的匹配精度和速度直接影响3维重建的效果。对于传统立体匹配算法来说,弱纹理区域、视差深度不连续区域和被遮挡区域的匹配精度依旧不理想,为此选择具有全局匹配算法和局部匹配算法部分优点、性能介于两种算法之间、且鲁棒性强的半全局立体匹配算法作为研究内容,提出自适应窗口与半全局立体匹配算法相结合的改进方向。方法以通过AD(absolute difference)算法求匹配代价的半全局立体匹配算法为基础,首先改变算法匹配代价的计算方式,研究窗口大小对算法性能的影响,然后加入自适应窗口算法,研究自适应窗口对算法性能的影响,最后对改进算法进行算法性能评价与比较。结果实验结果表明,匹配窗口的选择能够影响匹配算法性能、提高算法的适用范围,自适应窗口的加入能够提高算法匹配精度特别是深度不连续区域的匹配精度,并有效降低算法运行时间,对Cones测试图像集,改进的算法较改进前误匹配率在3个测试区域平均减少2. 29%;对于所有测试图像集,算法运行时间较加入自适应窗口前平均减少28. 5%。结论加入自适应窗口的半全局立体匹配算法具有更优的算法性能,能够根据应用场景调节算法匹配精度和匹配速度。

双目机器视觉及RetinaNet模型的路侧行人感知定位

目的行人感知是自动驾驶中必不可少的一项内容,是行车安全的保障。传统激光雷达和单目视觉组合的行人感知模式,设备硬件成本高且多源数据匹配易导致误差产生。对此,本文结合双目机器视觉技术与深度学习图像识别技术,实现对公共路权环境下路侧行人的自动感知与精准定位。方法利用双目道路智能感知系统采集道路前景图像构建4种交通环境下的行人识别模型训练库;采用Retina Net深度学习模型进行目标行人自动识别;通过半全局块匹配(semi-global block matching,SGBM)算法实现行人道路前景图像对的视差值计算;通过计算得出的视差图分别统计U-V方向的视差值,提出结合行人识别模型和U-V视差的测距算法,实现目标行人的坐标定位。结果实验统计2.5 km连续测试路段的行人识别结果,对比人工统计结果,本文算法的召回率为96.27%。与YOLOv3(you only look once)和Tiny-YOLOv3方法在4种交通路况下进行比较,平均F值为96.42%,比YOLOv3和Tiny-YOLOv3分别提高0.9%和3.03%;同时,实验利用标定块在室内分别拍摄3 m、4 m和5 m不同距离的20对双目图像,验证测距算法,计算标准偏差皆小于0.01。结论本文提出的结合RetinaNet目标识别模型与改进U-V视差算法能够实现对道路行人的检测,可以为自动驾驶的安全保障提供技术支持,具有一定的应用价值。