基于Pynq的半全局立体匹配算法实现

立体匹配算法作为双目立体视觉技术的核心算法,具有运算复杂度高、资源占用率高、实时性差的特点。而现有的基于FPGA实现方法多采用高性能FPGA芯片,利用其板卡丰富的资源进行纯verilog语言开发。这样做虽然实时性效果不错,但存在开发难度较大、周期较长、成本较高的弊端。论文针对该问题,提出了一种基于相对低廉的Pynq-z2开发板在PL+PS端协同开发的SGM立体匹配算法,将运算量大的部分在FPGA端进行硬件加速,部分代价优化算法在ARM端利用Python语言实现。实验表明,该算法可有效降低资源占用率,基本满足在相对低廉的嵌入式设备中实现的要求。

基于反向合成高斯牛顿的半全局立体匹配算法

针对数字散斑投影三维测量技术中的立体匹配问题,提出基于反向合成高斯牛顿的半全局立体匹配算法。该算法采用基于Census变换的匹配代价值来衡量像素点间的相似性,通过代价聚合算法增强匹配代价对噪声的鲁棒性;在此基础上,提出基于一阶形函数的反向合成高斯牛顿算法,实现亚像素级别的视差优化;最后,提出耦合唯一性检查、左右一致性检查以及连通区域约束的错误视差剔除算法,消除由遮挡和噪声引起的错误视差。实验结果表明,该算法可精确、稠密、完整地重建出复杂物体的三维形貌,重建精度优于0.06mm。

基于FPGA的三目半全局匹配算法设计与实现

三目立体视觉系统能够克服双目立体视觉系统存在的遮挡等问题,进一步提高立体视觉系统测量精度。然而增加传感器数量会导致匹配算法计算量增大,影响系统实时性,从而限制三目立体视觉系统在各领域的实际应用。为此,本文提出一种三目半全局立体匹配算法及其硬件计算框架。首先,在对三目立体视觉系统基本模型深入分析的基础上,提出一种硬件友好的半全局匹配算法。随后,根据FPGA硬件并行化计算和流水线处理的特点,对片上系统整体框架及各计算模块结构进行设计。最后,基于Zynq-7000 SoC FPGA搭建一套完整硬件实验系统进行算法实现,分别使用数据集图像和真实场景图像对本文算法进行评估。实验结果表明,本文算法与传统双目半全局匹配算法相比,有效像素填充率提高17.31%,错误率降低13.06%,在真实场景下可实现60 fps实时立体匹配,能够满足各类应用场景的实际需求。

自适应块匹配搜索算法研究

为从视频序列提取运动矢量,进行有效的视频检索,对现存的运动特征的提取算法存在的问题进行了分析,提出了基于自适应块匹配搜索的全局运动特征提取方法。实验表明该算法在大大提高搜索速度的同时,能够获得几乎与全搜索算法相同的峰值信噪比(PSNR)。

一种基于改进的遗传算法的块匹配运动估计方法

块匹配方法(Block Matching Algorithm,简称BMA)是目前广泛使用的运动估计方法,但该方法的最大缺点是容易陷于局部最优,这主要是由搜索模式决定的。而遗传算法(Genetic Algorithm,简称GA)是一种具有广泛适应性的全局最优的搜索算法。将块匹配方法的局域性搜索与遗传算法的全局性搜索结合起来,本文提出了一种基于改进的遗传算法的块匹配运动估计方法。实验证明,该方法的平均绝对误差(MAE)接近全搜索(FSS),优于三步法(TSS),而运算量相对较低,接近三步法。

基于ADCensus的改进半全局匹配方法

考虑到AD相似性测度对灰度信息及纹理丰富的区域的优势和Census变换对图像辐射差异具有鲁棒性的优势,将AD和Census算法融合替代单一匹配代价来改进半全局密集匹配算法,可有效提高算法的匹配精度和抗干扰性。同时用金字塔分层匹配策略来约束视差的搜索范围,实验结果表明,该方法在保证匹配精度的同时,减少内存消耗和运行时间,适用于无人机影像的密集匹配。

基于改进三维块匹配滤波的红外全息降噪算法

红外全息技术更适用于长距离的大视场成像,但其散斑噪声与高斯噪声对图像质量的影响也更加显著,限制了红外全息技术的应用与推广。本文通过引入全局傅立叶阈值与自适应维纳滤波的方法对三维块匹配滤波算法进行优化,提高了其对红外全息图像降噪的适应性与细节保留,得到改进的三维块匹配滤波算法,并与多种采用传统滤波方法的结果进行了对比。结果表明,改进后的算法可以在对红外全息图像中的高斯噪声等环境噪声与散斑噪声进行降噪的同时保留更多细节,是一种更加适用于红外全息图像的降噪方法。

一种改进的快速全局运动估计算法

结合两步法与传统梯度下降算法,提出一种改进的快速全局运动估计算法。采用稀疏抽样的MSEA快速块匹配算法估计局部运动矢量,使用迭代最小二乘法粗估计全局运动参数并排除外点(前景宏块),在排除外点的采样宏块集上选取特征像素,以上述两步法的全局运动估计参数为初始值,利用LM梯度下降算法对全局运动参数进行优化。实验结果表明,改进算法的估计速度达到11.42 ms/f,比FFRGMET算法快1.3倍,具有更高的全局运动估计精度。

一种快速鲁棒的全局运动估计算法

局部运动矢量会严重影响全局运动估计的结果,不仅降低全局运动估计的准确度,而且消耗大量的运算时间。针对上述问题提出了一种快速鲁棒的全局运动估计算法。首先采用快速的块匹配算法得到运动矢量场,然后通过改进的梯度均值残差法去除估计的不准确运动矢量,提高估计出的运动矢量场的准确性并使得全局运动估计所处理的宏块尽可能是全局运动块;其次,基于六参数仿射模型估计出初始全局运动参数,为了消除错误运动矢量产生的误差,使用匹配加权函数的方法对估计结果进行进一步修正,最终得到最优的全局运动参数。实验结果表明该算法兼顾了全局运动估计的准确性和鲁棒性,对大多数视频序列的全局运动估计具有算法复杂度低、运动参数估计准确的效果。

基于LMedS&LS的全局运动估计算法

针对全局运动估计过程常伴有局部运动的问题,提出一种基于LMedS&LS的全局运动估计算法。通过获取相邻2帧图像上对应特征块的坐标,将该算法应用到仿射变换模型中,估计出全局运动参量,并根据运动参量采用双线性内插法完成图像配准。实验证明,该算法相对于LMedS算法在精确度和实效性2个方面都有改进。

基于特征点匹配的全局运动估计

传统块匹配法只考虑平移运动,对大角度旋转无法进行有效估计。为此,根据圆形的旋转不变性,提出一种基于圆形块的匹配方法,提取圆投影矢量作为匹配特征,采用特征匹配的策略,得到当前块的运动矢量。为提高匹配效率,利用Harris算子检测特征点,获取特征点的运动矢量。通过局部运动矢量和刚体变换模型得到线性参数方程,并采用RANSAC算法进行求解,以获得全局运动参数。实验结果证明,该方法对较大的平移及旋转角度具有较强的适用性。

双目立体匹配算法的研究与实现

立体匹配是计算机立体视觉的研究核心.根据约束条件的不同,将立体匹配算法分为三类:全局立体匹配算法、半全局立体匹配算法和局部立体匹配算法.介绍了双目立体匹配的原理和立体匹配算法,深入研究了全局匹配算法中的GC算法、局部匹配算法中的BM算法和半全局匹配SGM算法.结合实验结果,分析了三种算法的匹配效果及匹配速度,并对各自优缺点进行了比较和总结.

基于深度约束的水下稠密立体匹配

针对双目水下图像匹配不满足空气中常规极线约束的问题,提出一种基于深度约束的半全局算法以实现水下稠密立体匹配.首先采用深度约束确定匹配过程的深度约束搜索区域.然后,基于深度约束区域将绝对差值和梯度计算推广到二维区域并进行加权融合.在深度约束区域内的搜索过程中,采用胜者为王的策略确定某一视差值下的最佳行差及最佳行差下的匹配代价,并将其作为能量函数的数据项应用于半全局算法中,进行匹配代价的聚合.最后采用抛物线拟合法得到亚像素级的稠密视差图.在水下图片上进行的稠密立体匹配结果表明:相较于其他半全局匹配算法,本文算法在极大提高运行速度的前提下,可以获得良好的水下稠密立体匹配效果.

基于刚性运动模型的全局运动矢量探测方法

针对帧间旋转图像序列的稳定处理,提出一种新的运动矢量探测方法.首先进行多区域的块匹配,得到不同区域的局部平移运动矢量;然后利用刚性运动模型,获得包含旋转角度的全局运动矢量.与平移运动模型相比,刚性运动模型更加符合帧间运动的真实过程,因而本方法具有更好的稳像效果.航拍图像处理结果表明,帧间峰值信噪比达到29.47 dB,比基于平移运动模型的方法提高2.02 dB.

一种有效的自适应运动估计搜索算法

提出了一种新的基于运动矢量场、方向自适应和半像素搜索的快速搜索算法(M-DAHS)。该算法根据图像序列运动矢量场的中心偏置性和时空相关性进行预判,对静止块设定阈值直接终止搜索;非静止块根据运动类型自适应选择搜索起始点和搜索策略。搜索模板具有很强的方向自适应性,对于小运动块采用菱形-线性搜索,其他块使用六边形-菱形搜索算法。整像素搜索完毕后,再以十字优先原则进行半像素搜索。实验结果表明,该算法性能优越,搜索速度快,搜索精度高,且搜索精度可以非常接近全搜索算法。

根据灰度值信息自适应窗口的半全局匹配

目的立体匹配算法是立体视觉研究的关键点,算法的匹配精度和速度直接影响3维重建的效果。对于传统立体匹配算法来说,弱纹理区域、视差深度不连续区域和被遮挡区域的匹配精度依旧不理想,为此选择具有全局匹配算法和局部匹配算法部分优点、性能介于两种算法之间、且鲁棒性强的半全局立体匹配算法作为研究内容,提出自适应窗口与半全局立体匹配算法相结合的改进方向。方法以通过AD(absolute difference)算法求匹配代价的半全局立体匹配算法为基础,首先改变算法匹配代价的计算方式,研究窗口大小对算法性能的影响,然后加入自适应窗口算法,研究自适应窗口对算法性能的影响,最后对改进算法进行算法性能评价与比较。结果实验结果表明,匹配窗口的选择能够影响匹配算法性能、提高算法的适用范围,自适应窗口的加入能够提高算法匹配精度特别是深度不连续区域的匹配精度,并有效降低算法运行时间,对Cones测试图像集,改进的算法较改进前误匹配率在3个测试区域平均减少2. 29%;对于所有测试图像集,算法运行时间较加入自适应窗口前平均减少28. 5%。结论加入自适应窗口的半全局立体匹配算法具有更优的算法性能,能够根据应用场景调节算法匹配精度和匹配速度。

基于双目立体视觉的乘员运动姿态测量方法研究

提出了基于双目立体视觉的汽车乘员运动姿态测量方法。首先使用自主搭建的双目立体视觉系统,按照张正友标定法标定相机并对图像进行立体校正;然后提出基于邻域的SGBM单参数优化算法,并依此建立乘员关键特征点与三维空间坐标间的映射关系,实现了对乘员运动姿态的非接触动态测量。实验结果表明,该方法可以有效地测量乘员运动姿态,且测量精度较高,对汽车乘员非标准坐姿下的保护策略制定具有重要的参考价值。

基于双目视觉的飞机滑行防撞辅助方法

我国航空产业的迅速发展使得飞机地面滑行阶段面临着碰撞风险增加、滞留时间延长和操作人员负担加重等挑战。针对这些问题,提出一种基于双目视觉的飞机滑行防撞辅助方法。利用多组双目相机采集机外影像数据,结合机场数据特点设计后处理方法,计算图像的深度信息,实现了飞机外部三维点云信息的提取和碰撞预警信息的生成。实验结果直观展示了飞机外部障碍物信息,证明了所提出的方法不仅确保了飞机地面滑行的安全性,还有效减轻了驾驶员的工作负担,具有重要的应用前景和实用价值,为提高飞机地面滑行阶段的安全性和效率提供了新的思路和方法。

基于SGM-SSD的电力巡检机器人障碍物定位模型

为了提升电力巡检机器人对输电线路障碍物识别的精度,对电力巡检障碍物定位识别模型进行了研究,并提出了一种结合半全局匹配(Semi-Global Matching, SGM)算法和单点多盒探测器(Single Shot Multibox Detector, SSD)的模型。采用加权最小二乘(Weighted Least Squares, WLS)滤波算法,对利用SGM算法所得视差图中的空洞和噪点进行了处理,并提出了一种轻量化单点多盒探测方法。实验测试结果显示,优化后的模型定位测量误差低于5.13%;其大小由300 MB下降到了2.03 MB;轻量化模型在89、250次迭代后的损失函数值分别降至0.23和0.33。验证了所提出的模型能够实现输电线路障碍物定位和识别,能够满足实际的应用需求。

基于FPGA的实时视频运动背景补偿校正技术

从视频运动背景中检测与跟踪运动目标通常需要对背景进行补偿校正。本文提出了一种利用高性能FPGA实时实现的技术方案。该方法基于仿射参数模型求取视频图像的全局运动参数,利用块匹配的方法得到特征点的运动位移估计,利用匹配加权函数的方法剔除目标点和噪声点对全局运动参数估计的影响。在系统实现上采用多分辨率和并行流水线的处理结构,使系统资源占用和运算效率得到了较好的统一。