基于FPGA的三目半全局匹配算法设计与实现

三目立体视觉系统能够克服双目立体视觉系统存在的遮挡等问题,进一步提高立体视觉系统测量精度。然而增加传感器数量会导致匹配算法计算量增大,影响系统实时性,从而限制三目立体视觉系统在各领域的实际应用。为此,本文提出一种三目半全局立体匹配算法及其硬件计算框架。首先,在对三目立体视觉系统基本模型深入分析的基础上,提出一种硬件友好的半全局匹配算法。随后,根据FPGA硬件并行化计算和流水线处理的特点,对片上系统整体框架及各计算模块结构进行设计。最后,基于Zynq-7000 SoC FPGA搭建一套完整硬件实验系统进行算法实现,分别使用数据集图像和真实场景图像对本文算法进行评估。实验结果表明,本文算法与传统双目半全局匹配算法相比,有效像素填充率提高17.31%,错误率降低13.06%,在真实场景下可实现60 fps实时立体匹配,能够满足各类应用场景的实际需求。

基于Pynq的半全局立体匹配算法实现

立体匹配算法作为双目立体视觉技术的核心算法,具有运算复杂度高、资源占用率高、实时性差的特点。而现有的基于FPGA实现方法多采用高性能FPGA芯片,利用其板卡丰富的资源进行纯verilog语言开发。这样做虽然实时性效果不错,但存在开发难度较大、周期较长、成本较高的弊端。论文针对该问题,提出了一种基于相对低廉的Pynq-z2开发板在PL+PS端协同开发的SGM立体匹配算法,将运算量大的部分在FPGA端进行硬件加速,部分代价优化算法在ARM端利用Python语言实现。实验表明,该算法可有效降低资源占用率,基本满足在相对低廉的嵌入式设备中实现的要求。

基于激光测距仪全局匹配扫描的SLAM算法研究

针对传统的SLAM(Simultaneous Localization and Mapping)算法构建地图时容易受环境因素和外界条件的的影响,在非线性系统状态下误差修正能力不足,且当机器人位姿都处于未知状态时,移动机器人位姿获取不精确,地图构建SLAM技术特征量的获取比较繁琐、不准确等问题;以电力巡检机器人为平台,研究了基于全局匹配的扫描算法,摒弃传统的栅格地图模型的插值方法,采用双线性滤波的插值方法,保证子栅格单元的精确性,估算栅格占用函数的概率和导数;最后采用此算法解决了SLAM地图构建的问题,并分别在室内室外环境进行实验;实验结果表明:基于激光测距仪的全局匹配扫描的SALM算法,在室内室外两种不同环境下,不受复杂背景的影响,准确地进行机器人位姿定位,以及环境地图的构建。

立体匹配算法研究综述

双目立体视觉的主要任务是通过2台位于不同位置的摄像机拍摄同一场景得到2幅视图,然后计算视差并获取3维数据信息。立体匹配是双目立体视觉中的关键环节,它利用2幅或者多幅匹配后的图像获取视差进而得到深度信息。本文通过分析国内外对双目立体匹配算法的研究,对立体匹配算法进行介绍,以全局匹配算法和局部匹配算法为对象作详细阐述,最后对各种算法的特性进行比较,并作出总结与展望。

双目立体匹配算法的研究与实现

立体匹配是计算机立体视觉的研究核心.根据约束条件的不同,将立体匹配算法分为三类:全局立体匹配算法、半全局立体匹配算法和局部立体匹配算法.介绍了双目立体匹配的原理和立体匹配算法,深入研究了全局匹配算法中的GC算法、局部匹配算法中的BM算法和半全局匹配SGM算法.结合实验结果,分析了三种算法的匹配效果及匹配速度,并对各自优缺点进行了比较和总结.

基于双目立体视觉的乘员运动姿态测量方法研究

提出了基于双目立体视觉的汽车乘员运动姿态测量方法。首先使用自主搭建的双目立体视觉系统,按照张正友标定法标定相机并对图像进行立体校正;然后提出基于邻域的SGBM单参数优化算法,并依此建立乘员关键特征点与三维空间坐标间的映射关系,实现了对乘员运动姿态的非接触动态测量。实验结果表明,该方法可以有效地测量乘员运动姿态,且测量精度较高,对汽车乘员非标准坐姿下的保护策略制定具有重要的参考价值。

基于SGM-SSD的电力巡检机器人障碍物定位模型

为了提升电力巡检机器人对输电线路障碍物识别的精度,对电力巡检障碍物定位识别模型进行了研究,并提出了一种结合半全局匹配(Semi-Global Matching, SGM)算法和单点多盒探测器(Single Shot Multibox Detector, SSD)的模型。采用加权最小二乘(Weighted Least Squares, WLS)滤波算法,对利用SGM算法所得视差图中的空洞和噪点进行了处理,并提出了一种轻量化单点多盒探测方法。实验测试结果显示,优化后的模型定位测量误差低于5.13%;其大小由300 MB下降到了2.03 MB;轻量化模型在89、250次迭代后的损失函数值分别降至0.23和0.33。验证了所提出的模型能够实现输电线路障碍物定位和识别,能够满足实际的应用需求。

基于双目视觉的堆叠零件识别和定位研究

针对堆叠零件识别与定位精度不高与效率低下等问题,设计了一种基于双目视觉的堆叠零件识别与定位方法。利用双目视觉中的立体匹配,结合前景分割、孔洞填充、随机抽样一致性(RANSAC)迭代法剔除误匹配点,对半全局块匹配(SGBM)算法进行改进,获取更优的视差效果图。最后,对圆形线圈骨架堆叠零件进行了测量精度和定位精度实验。实验结果表明:改进算法能够很好地解决弱纹理和遮挡区的匹配问题,系统测量精度实际偏差控制在1 mm以下,在实际应用方面具有一定参考价值。

基于反向合成高斯牛顿的半全局立体匹配算法

针对数字散斑投影三维测量技术中的立体匹配问题,提出基于反向合成高斯牛顿的半全局立体匹配算法。该算法采用基于Census变换的匹配代价值来衡量像素点间的相似性,通过代价聚合算法增强匹配代价对噪声的鲁棒性;在此基础上,提出基于一阶形函数的反向合成高斯牛顿算法,实现亚像素级别的视差优化;最后,提出耦合唯一性检查、左右一致性检查以及连通区域约束的错误视差剔除算法,消除由遮挡和噪声引起的错误视差。实验结果表明,该算法可精确、稠密、完整地重建出复杂物体的三维形貌,重建精度优于0.06mm。

根据灰度值信息自适应窗口的半全局匹配

目的立体匹配算法是立体视觉研究的关键点,算法的匹配精度和速度直接影响3维重建的效果。对于传统立体匹配算法来说,弱纹理区域、视差深度不连续区域和被遮挡区域的匹配精度依旧不理想,为此选择具有全局匹配算法和局部匹配算法部分优点、性能介于两种算法之间、且鲁棒性强的半全局立体匹配算法作为研究内容,提出自适应窗口与半全局立体匹配算法相结合的改进方向。方法以通过AD(absolute difference)算法求匹配代价的半全局立体匹配算法为基础,首先改变算法匹配代价的计算方式,研究窗口大小对算法性能的影响,然后加入自适应窗口算法,研究自适应窗口对算法性能的影响,最后对改进算法进行算法性能评价与比较。结果实验结果表明,匹配窗口的选择能够影响匹配算法性能、提高算法的适用范围,自适应窗口的加入能够提高算法匹配精度特别是深度不连续区域的匹配精度,并有效降低算法运行时间,对Cones测试图像集,改进的算法较改进前误匹配率在3个测试区域平均减少2. 29%;对于所有测试图像集,算法运行时间较加入自适应窗口前平均减少28. 5%。结论加入自适应窗口的半全局立体匹配算法具有更优的算法性能,能够根据应用场景调节算法匹配精度和匹配速度。

Web services composition based on global semantics and QoS-aware aspect

A global semantics matching and QoS-awareness service selection are proposed when aimed at a web services composition process.Both QoS-aware matching and global semantic matching are considered during the global matching.When there are demands for global semantic matching and QoS of service composition,a concrete service set which meets the demands is selected for the whole service composition process and an optimal solution is also achieved.A QoS model is built and the corresponding evaluation method is given for the matching of the service composition process.Based on them,a genetic algorithm is proposed to achieve the maximal global semantic matching degree and fulfill the QoS requirements for the whole service composition process.Experimental results and analysis show that the algorithm is feasible and effective for semantics and QoS-aware service matching.

基于单目二维图像生成三维立体图像的研究

随着影像媒体应用的广泛普及,包含三维立体信息的图像或影视已成为当今媒体娱乐的重要组成部分。本文基于单目二维图像,通过生成虚拟视点图像,在一定程度上解决了单张二维图像生成包含三维立体信息图像的问题。研究通过使用SGBM全局匹配(Semi-Global Block Matching)算法还原三维世界的空间信息,获取深度图像。同时,通过高斯滤波函数填充虚拟视点中因深度信息偏移所产生的图像缺失。实验结果表明,对单张二维图像进行获取深度图,生成虚拟视点,填补空洞而最终合成的三维图像能在一定程度上满足观众的三维体验需求。

基于FPGA的双目视觉滑坡位移监测系统

针对一般视觉系统在野外滑坡场景中监测实时性低、功耗高等问题,提出了一种基于现场可编程门阵列(FPGA)设计的双目视觉滑坡位移监测系统。首先对传统半全局匹配(SGM)算法误匹配率高、计算效率低的缺点进行优化;然后采用Zynq-7000平台搭建双目系统,并根据FPGA并行运算和流水线处理的特点对各功能模块进行设计;最后在室内进行模拟实验,对6个安装在不同滑坡模型表面区域的标志物进行位移测量。改进的SGM算法分别在PC与FPGA上通过Middlebury数据集进行测试,经验证有效地降低了算法的误匹配率并提升了匹配速率。实验结果表明,在室内模拟场景中该系统测量滑坡表面位移的平均误差为1.42 mm,具有实时性强、低功耗的特点。

双目机器视觉及RetinaNet模型的路侧行人感知定位

目的行人感知是自动驾驶中必不可少的一项内容,是行车安全的保障。传统激光雷达和单目视觉组合的行人感知模式,设备硬件成本高且多源数据匹配易导致误差产生。对此,本文结合双目机器视觉技术与深度学习图像识别技术,实现对公共路权环境下路侧行人的自动感知与精准定位。方法利用双目道路智能感知系统采集道路前景图像构建4种交通环境下的行人识别模型训练库;采用Retina Net深度学习模型进行目标行人自动识别;通过半全局块匹配(semi-global block matching,SGBM)算法实现行人道路前景图像对的视差值计算;通过计算得出的视差图分别统计U-V方向的视差值,提出结合行人识别模型和U-V视差的测距算法,实现目标行人的坐标定位。结果实验统计2.5 km连续测试路段的行人识别结果,对比人工统计结果,本文算法的召回率为96.27%。与YOLOv3(you only look once)和Tiny-YOLOv3方法在4种交通路况下进行比较,平均F值为96.42%,比YOLOv3和Tiny-YOLOv3分别提高0.9%和3.03%;同时,实验利用标定块在室内分别拍摄3 m、4 m和5 m不同距离的20对双目图像,验证测距算法,计算标准偏差皆小于0.01。结论本文提出的结合RetinaNet目标识别模型与改进U-V视差算法能够实现对道路行人的检测,可以为自动驾驶的安全保障提供技术支持,具有一定的应用价值。