基于Pynq的半全局立体匹配算法实现

立体匹配算法作为双目立体视觉技术的核心算法,具有运算复杂度高、资源占用率高、实时性差的特点。而现有的基于FPGA实现方法多采用高性能FPGA芯片,利用其板卡丰富的资源进行纯verilog语言开发。这样做虽然实时性效果不错,但存在开发难度较大、周期较长、成本较高的弊端。论文针对该问题,提出了一种基于相对低廉的Pynq-z2开发板在PL+PS端协同开发的SGM立体匹配算法,将运算量大的部分在FPGA端进行硬件加速,部分代价优化算法在ARM端利用Python语言实现。实验表明,该算法可有效降低资源占用率,基本满足在相对低廉的嵌入式设备中实现的要求。

基于重排序Census变换的半全局立体匹配算法

针对立体匹配中传统局部算法在计算匹配代价时精度低、抗噪能力弱等问题,提出一种结合改进的Census变换和单方向动态规划优化的半全局立体匹配算法。首先,重排序不同尺度的Census变换窗口中的像素,取其中值计算Hamming距,解决了传统算法对Census变换窗口中心像素依赖的问题。其次,基于单方向动态规划的路径聚合算法对初始代价值进行优化,减少初始代价值中的异常匹配点,提高对弱纹理部分的视差重建,进一步提高匹配精度。最后,采用赢者通吃策略选择单个像素最小代价聚合值所对应的视差,并在视差优化阶段基于左右一致性原则剔除错误视差。实验结果表明,改进的半全局立体匹配算法生成的初始视差图平均误匹配率降低了8.22%,质量相对更高;且在不同噪声下的平局误匹配率均在8%以下,有效的增强了抗噪声的鲁棒性,提升了匹配精度。

顾及图像分割信息的半全局立体匹配算法研究

针对传统半全局立体匹配算法(SGM)在高分辨率图像弱纹理以及视差不连续区域的误匹配问题,提出了一种顾及图像分割信息的SGM算法。该算法在代价计算阶段,首先根据图像分割信息自适应调整匹配窗口大小,采用不同状态信息的改进Census变换计算初始代价,解决传统算法对Census变换窗口中心像素依赖的同时减少了匹配时间;在代价聚合阶段,将图像分割信息与传统SGM算法的全局能量函数进行有机结合,提高算法在弱纹理以及深度不连续区域的匹配效果;最后通过左右一致性检测和子像素细化得到优化后的视差图。所提算法利用Middlebury平台标准数据进行验证,实验结果表明,平均误匹配率为4.54%,与传统SGM算法和一些改进算法相比,该算法能够在影像弱纹理和视差不连续区域获得更高匹配正确率。

基于ZYNQ的半全局立体匹配算法设计与实现

针对当前半全局立体匹配算法硬件架构消耗资源过大的问题,本文在保持精度的前提下,以减少硬件资源占用为目标,提出一种基于ZYNQ的低资源半全局立体匹配硬件实施架构。在Xilinx公司ZYNQ-7020芯片上的验证表明,在处理1024×768分辨率的图像时,资源消耗为33 577的查找表(LUTs)、35 387的触发器(Regs)、1.28MB的块随机存储器(Block Random Access Memory,BRAM)。相较于最新的研究工作,本文研究方法使查找表、触发器、BRAM的资源消耗分别下降了54%、25%以及77%。

半全局立体匹配算法的改进研究

针对半全局立体匹配中单一Census精度不足且边缘区域视差效果较差的问题,提出一种基于颜色差信息BTCensus和加入分割约束的半全局匹配算法。首先该算法采用联合三通道BT算法和Census变换的计算方式实现代价计算,缓解重复纹理歧义并提高不连续区域匹配精度;同时将图像分割得到的场景信息作为约束对代价聚合函数进行改进,保证割块内部的纹理平滑,提高边界纹理区域的匹配精度;最后引入图像分割信息进行分步中值滤波,平滑视差图。实验表明,该算法在重复纹理区域、视差不连续区域和弱纹理区域都取得了较好的视差效果,可获得高匹配率的视差图。

基于卷积神经网络的半全局立体匹配

卷积神经网络在训练时,输入的图像对可能存在尺寸不一致,以及半全局算法的路径代价聚合不能完全利用待匹配点周围的像素,本文提出一种结合空间金字塔的网络结构训练图像对,计算初始匹配代价,在代价聚合时采用一种结合树形结构的半全局算法。改进后的算法通过实验证明,误匹配率有了明显的降低,获取的视差图精度更高。

结合加速鲁棒特征的遥感影像半全局立体匹配

针对遥感影像半全局立体匹配(SGM)对噪声敏感及在视差不连续和弱纹理区域产生条纹导致匹配率低的问题,提出一种结合加速鲁棒特征(SURF)的遥感影像SGM算法。首先,用SURF计算遥感影像的特征匹配点和特征点主方向,并用快速最近邻搜索算法剔除错误的匹配点;然后,用Census变换计算两幅遥感影像的匹配代价,用特征点主方向来调整SGM算法在不同聚合路径方向上的路径权重;最后,用改进的加权联合双边滤波(WJBF)方法进行视差精化,以去除视差图中的噪声和条纹。在WorldView、IKONOS、高景一号遥感影像数据集上进行实验,结果表明,所提算法无论在主观视觉还是客观评价指标上都优于对比算法,有效解决了弱纹理和视差不连续区域中的条纹和噪声,提高了立体匹配精度。

结合颜色信息的Census变换半全局立体匹配算法

针对传统单一Census变换未充分利用影像信息且精度不高的问题,该文提出了一种结合颜色信息的Census变换半全局立体匹配算法。该算法联合像素点间RGB颜色绝对差值与其Census变换值的匹配代价计算方法,采用八方向半全局视差获取方法获得初始稠密视差图。为进一步提高匹配精度,利用左右一致性交叉检测确定初始视差图中不稳定视差;采用基于均值偏移图像分割的视差优化算法对视差图中不稳定视差进行优化,获得最终视差图。选取4组middlebury立体图片库经典立体像对进行视差获取实验并检测。结果表明,本算法能够获得较高精度且可靠视差图,且在遮挡、视差不连续处的视差精度明显优于单一Census变换立体匹配算法及一些改进半全局立体匹配算法。

基于反向合成高斯牛顿的半全局立体匹配算法

针对数字散斑投影三维测量技术中的立体匹配问题,提出基于反向合成高斯牛顿的半全局立体匹配算法。该算法采用基于Census变换的匹配代价值来衡量像素点间的相似性,通过代价聚合算法增强匹配代价对噪声的鲁棒性;在此基础上,提出基于一阶形函数的反向合成高斯牛顿算法,实现亚像素级别的视差优化;最后,提出耦合唯一性检查、左右一致性检查以及连通区域约束的错误视差剔除算法,消除由遮挡和噪声引起的错误视差。实验结果表明,该算法可精确、稠密、完整地重建出复杂物体的三维形貌,重建精度优于0.06mm。

基于Census变换和多扫描线优化的半全局立体匹配算法

为了解决局部匹配算法误匹配率高的问题,提出一种基于AD-Census变换和多扫描线优化的半全局匹配算法。首先,通过绝对差AD算法与Census变换相结合作为相似性度量函数计算初始匹配代价,并构建动态交叉域聚合匹配代价;然后在代价聚合计算阶段,将一维动态规划的代价聚合推广到多扫描线优化,利用上下左右四个方向逐次扫描进行匹配代价聚合的计算,并引入正则化约束以确保匹配代价聚合的一致性,大大减少初始代价中的匹配异常点;最后,运用简单高效的胜者为王策略选出像素点在代价聚合最小时对应的视差,并在视差细化阶段,采用左右一致性检测和抛物线拟合方法进行后续处理以提高立体匹配的正确率。实验结果证明,该算法可获得高匹配率的视差图并且耗时较少。

双目视觉立体匹配技术研究现状和展望

立体匹配技术是双目立体视觉研讨的核心问题,在许多领域有着不同的应用,在算法方面更是涌现出各种各样的方法。对立体匹配发展现状进行了阐述,首先介绍了立体匹配技术的有关原理,然后对立体匹配中的区域立体匹配算法、全局立体匹配算法以及半全局立体匹配算法进行了论述和探讨;并总结了各类立体匹配算法的特点。最后对立体匹配算法进行了展望,同时给出了发展方向的建议。

双目视觉的立体匹配算法研究进展

双目立体视觉技术具有成本低、适用性广的优点,在物体识别、目标检测等方面应用广泛,成为计算机视觉领域的研究热点。立体匹配是双目立体视觉技术中的核心算法,对实现物体三维重建具有重要作用。在分析局部、全局、半全局和基于深度学习的立体匹配算法研究现状的基础上,阐述了匹配代价、代价聚合、视差计算/优化、视差校正在立体匹配算法中的实际应用,总结及展望了立体匹配算法的发展趋势。立体匹配算法将着重解决无、弱纹理区域误匹配问题,深度学习算法用于立体匹配具有精度高的优点,是未来发展趋势,匹配算法将向高精度、实时性方向发展,为双目视觉技术中立体匹配算法的发展提供思路与参考。

立体匹配算法研究综述

立体匹配算法作为双目立体视觉的核心内容,是通过匹配两幅或者多幅图像获得视差并得到相应深度信息的技术。本文通过对国内外立体匹配算法的研究与分析,对立体匹配算法进行了综述,详细阐述了全局立体匹配算法和局部立体匹配算法,最后总结了当前立体匹配算法面临的挑战以及对立体匹配算法的展望。

基于半全局匹配的去遮挡方法研究

针对合成孔径集成成像系统中前景遮挡影响目标物的采集和识别的问题,提出了一种基于半全局立体匹配的去遮挡方法。首先搭建相机阵列采集目标物的前景遮挡图片,接着采用数字重聚焦技术和能量梯度函数设置分类阈值,将遮挡物和目标物进行分类并去除前景遮挡,然后利用元素图像修复技术对遮挡去除区域进行修复,最后对修复后的元素图像进行目标物重建。实验结果表明,本文方法重建出的结果图相比于传统的合成孔径成像方法在峰值信噪比(PSNR)上提高了13.271 4dB,相比块匹配方法在峰值信噪比(PSNR)上提高了5.350 3 dB。

基于双目视觉的六边形芯片晶圆台高度差测量

针对检测中晶圆台可能影响检测精度的问题,提出了一种基于双目视觉测量芯片晶圆台的测量方法。由于没有现成的六边形芯片数据集,因此采集的样本主要来自由CAD软件绘制生成的理想数据集,然后对采集的数据集进行训练,训练结果值符合检测识别的要求,且准确识别了六边形芯片。最后,利用YOLOv5s网络框架和全局立体匹配算法来对同一直线边缘芯片进行匹配测量,通过求差,计算是否含有高度差,由高度差可以判断出晶圆台是否在同一水平面上。多次实验的结果表明,此方法可以准确检测到六边形芯片晶圆台的高度差。

基于单目二维图像生成三维立体图像的研究

随着影像媒体应用的广泛普及,包含三维立体信息的图像或影视已成为当今媒体娱乐的重要组成部分。本文基于单目二维图像,通过生成虚拟视点图像,在一定程度上解决了单张二维图像生成包含三维立体信息图像的问题。研究通过使用SGBM全局匹配(Semi-Global Block Matching)算法还原三维世界的空间信息,获取深度图像。同时,通过高斯滤波函数填充虚拟视点中因深度信息偏移所产生的图像缺失。实验结果表明,对单张二维图像进行获取深度图,生成虚拟视点,填补空洞而最终合成的三维图像能在一定程度上满足观众的三维体验需求。

基于分级置信度传播的立体匹配新方法

针对当前全局立体匹配算法效率低下以及在遮挡区域难以准确匹配的问题,提出了一种高效的基于分层置信度传播的立体匹配新方法。该方法首先采用高效局部匹配获得初始匹配代价,并根据初始匹配的结果检测遮挡和误匹配像素;其次,使用平面化估计的结果对初始代价进行了修正,改善了遮挡区域的匹配效果;最后使用改进的分层置信度传播快速估计最小化能量,降低了低纹理区域的误匹配,提高了整体的平滑度。实验结果表明,该方法在精度和速度上具有较高的性能。

基于融合代价和自适应惩罚项系数的立体匹配

针对半全局立体匹配算法在视差不连续区域精度较低的问题,提出一种基于融合代价和自适应惩罚项系数的半全局立体匹配算法。在代价计算部分,提出一种融合代价计算方法,引入输入图像y方向的梯度,通过融合公式与输入图像x方向的梯度、绝对差以及Census变换结合形成代价计算数据项;在代价聚合部分,提出一种像素点分类机制,通过颜色和梯度双阈值将每个像素点分类,自适应地调整其惩罚项系数的大小;最后通过多步骤视差优化方法对初始视差图进行处理。实验结果表明,提出算法在视差不连续区域的平均误差降低1.1个百分点~12.8个百分点,在非遮挡和全部区域同样有一定的降低,该算法具有较高的匹配精度和鲁棒性。

基于双目视觉的目标完整点云获取方法

快速获取复杂形状目标的完整三维点云,重构目标的三维模型是目前智能检测和机器人识别与定位的关键技术和难点。基于立体视觉,提出一种图像预处理和优化半全局立体匹配过程的方法。该方法设计了图像预处理算法,与半全局立体匹配和点云配准算法配合使用,获取复杂形状目标完整的三维点云。搭建了硬件实验平台和旋转工作台,获取多角度下目标的左右图像对,在此平台上开发了一套基于双目视觉的点云获取系统,并以复杂形状的齿轮为实验对象对该系统进行测试。测试结果表明,该方法生成的物体三维点云效果良好,为目标三维重构提供方法和理论,实用性较强,并且系统运行速度快,算法处理过程可行。

基于双目视觉的自动跟踪系统设计

设计了一种基于双目视觉的目标自动跟踪系统。该系统通过双目相机获取图像信息后,先利用Yolov5s实时检测算法快速识别目标,再利用核相关滤波法对目标进行跟踪,最后采用半全局立体匹配算法结合加权最小二乘法进行目标深度的测量,获取距离信息和位置。根据目标位置控制系统的速度和方向,使系统与目标保持相对方位和设定的距离,实现自动跟踪。从结果上看,采用了该系统的拍摄机器人可以执行危险任务,解决安全问题。