基于Pynq的半全局立体匹配算法实现

立体匹配算法作为双目立体视觉技术的核心算法,具有运算复杂度高、资源占用率高、实时性差的特点。而现有的基于FPGA实现方法多采用高性能FPGA芯片,利用其板卡丰富的资源进行纯verilog语言开发。这样做虽然实时性效果不错,但存在开发难度较大、周期较长、成本较高的弊端。论文针对该问题,提出了一种基于相对低廉的Pynq-z2开发板在PL+PS端协同开发的SGM立体匹配算法,将运算量大的部分在FPGA端进行硬件加速,部分代价优化算法在ARM端利用Python语言实现。实验表明,该算法可有效降低资源占用率,基本满足在相对低廉的嵌入式设备中实现的要求。

基于SGM-SSD的电力巡检机器人障碍物定位模型

为了提升电力巡检机器人对输电线路障碍物识别的精度,对电力巡检障碍物定位识别模型进行了研究,并提出了一种结合半全局匹配(Semi-Global Matching, SGM)算法和单点多盒探测器(Single Shot Multibox Detector, SSD)的模型。采用加权最小二乘(Weighted Least Squares, WLS)滤波算法,对利用SGM算法所得视差图中的空洞和噪点进行了处理,并提出了一种轻量化单点多盒探测方法。实验测试结果显示,优化后的模型定位测量误差低于5.13%;其大小由300 MB下降到了2.03 MB;轻量化模型在89、250次迭代后的损失函数值分别降至0.23和0.33。验证了所提出的模型能够实现输电线路障碍物定位和识别,能够满足实际的应用需求。

基于SIFT算法的电动车充电孔双目视觉识别技术

基于双目视觉理论提出一种适用于不同光强、背景和任意形状充电插孔的高精度充电孔识别与定位方法。采用SIFT特征提取算法生成高斯差分金字塔进行尺度空间构建,应用机器学习最近邻搜索特征匹配算法获取匹配点映射集合,并配合半全局匹配方法进行视差计算得到高精度充电孔匹配和定位结果。通过试验验证了所提算法的有效性,得到了较为理想的匹配与测距结果。

基于双目视觉的堆叠零件识别和定位研究

针对堆叠零件识别与定位精度不高与效率低下等问题,设计了一种基于双目视觉的堆叠零件识别与定位方法。利用双目视觉中的立体匹配,结合前景分割、孔洞填充、随机抽样一致性(RANSAC)迭代法剔除误匹配点,对半全局块匹配(SGBM)算法进行改进,获取更优的视差效果图。最后,对圆形线圈骨架堆叠零件进行了测量精度和定位精度实验。实验结果表明:改进算法能够很好地解决弱纹理和遮挡区的匹配问题,系统测量精度实际偏差控制在1 mm以下,在实际应用方面具有一定参考价值。

基于半全局匹配的去遮挡方法研究

针对合成孔径集成成像系统中前景遮挡影响目标物的采集和识别的问题,提出了一种基于半全局立体匹配的去遮挡方法。首先搭建相机阵列采集目标物的前景遮挡图片,接着采用数字重聚焦技术和能量梯度函数设置分类阈值,将遮挡物和目标物进行分类并去除前景遮挡,然后利用元素图像修复技术对遮挡去除区域进行修复,最后对修复后的元素图像进行目标物重建。实验结果表明,本文方法重建出的结果图相比于传统的合成孔径成像方法在峰值信噪比(PSNR)上提高了13.271 4dB,相比块匹配方法在峰值信噪比(PSNR)上提高了5.350 3 dB。

高分七号卫星立体影像精细三维重建

为了实现高分七号卫星亚米级影像的高精度精细三维重建,针对高分七号卫星前后视线阵相机的成像特点,围绕影像的定向、影像畸变消除、密集匹配方法优化等方面,提出一套完整的精细三维重建方法和流程。利用影像间连接点几何约束关系对有理函数模型进行了二次定向消除系统误差;其次采用一种基于物方投影面的水平纠正方法对原始影像进行纠正,消除了立体像对之间大的倾斜误差;在密集匹配阶段,将全球公开数字高程模型(Digital Elevation Model,DEM)数据作为视差约束,同时引入顾及影像灰度和特征信息的AD-Census作为匹配测度,有效削弱重复纹理引起的匹配错误问题,提升了数字表面模型(Digital Surface Model,DSM)的质量。利用覆盖我国宁夏和新疆某地的两组高分七号的立体影像进行了试验,结果表明本文所提出方法可将相对误差精度由平差前的0.847 pixel和0.725 pixel分别提升到平差后的0.652 pixel和0.593 pixel,相对误差精度最大可提高23.02%,基于物方投影面的水平纠正方法能够显著消除大倾角差异带来的几何畸变,对高分七号卫星影像取得了较好质量的DSM产品,尤其是对于小尺度密集建筑物区域的重复纹理取得了较好的效果。

近景摄影测量在目标监测中的应用

本文主要介绍近景摄影测量技术中一种基于单应性矩阵进行的核线影像重采样过程,以及利用半全局匹配(SGM)算法进行核线影像匹配,在得到高精度的、密集的同名点后,通过前方交会的方法获取目标三维点云数据,然后对两期监测数据及全站仪测量数据进行对比分析,进而实现目标位移的监测研究,通过结果可知近景摄影测量能够满足目标监测的要求。希望本实验方法为今后的生产任务贡献一份微薄的力量。

基于图像三维重建的隧道超欠挖检测方法研究

提出一种基于图像三维重建的隧道超欠挖检测方法。该方法基于计算机视觉运动恢复结构算法(SFM)和半全局匹配算法(SGM)实现隧道实际开挖轮廓图像三维点云重建,再利用Delaunay三角剖分算法实现隧道实际开挖轮廓三维曲面模型重建,并基于设计开挖轮廓线和中心轴线建立隧道设计开挖轮廓三维曲面模型;以蒙华铁路大围山隧道DK1665+454—DK1665+484作为工程试验段进行现场试验分析,对所提方法有效性进行验证。研究结果表明:通过隧道实际开挖轮廓三维曲面模型与设计的开挖轮廓三维曲面模型比较分析,可实现对不同类型隧道整体超欠挖状况、超欠挖值、超欠挖面积以及超欠挖体积进行检测与评价;隧道设计开挖轮廓三维曲面模型具有数据采集设备简单、不干扰施工、检测范围全面、检测结果准确的特点;图像三维重建检测方法可实现隧道超欠挖准确检测,检测精度与三维激光扫描检测方法的相近,且比传统检测方法的精度高。

顾及纹理特征的航空影像自适应密集匹配方法

半全局匹配实质是在视差连续性假设下的离散优化方法。为克服视差断裂带影响,依赖一组参数控制视差不一致性。若参数过小,在平面内难以保证视差连续性,产生明显噪声,导致凹凸不平现象;若参数过大,将致使物体表面过于平滑,难以保留视差断裂等重要特征。为克服上述问题,本文提出了一种顾及纹理特征的自适应密集匹配方法:首先,检测影像纹理特征并定量表达纹理丰富性程度;其次,依据纹理丰富程度与视差差异存在正相关的规则知识,实现匹配参数依据纹理信息的自适应选择;最后,采用上述参数进行自适应的半全局匹配。通过ISPRS基准数据集和国产SWDC-5获取的倾斜影像进行试验分析证明,本文方法能够有效减少低纹理区域匹配噪声,同时更有效保留边缘特征。

基于SGM的多分辨率影像匹配方法

分析了SGM影像匹配算法的基本思想及其不足,给出了半全局影像匹配算法的基本模型;在此基础上,对该SGM算法模型进行了多分辨率扩展,设计了一种多分辨率半全局影像匹配方法 P-SGM,并讨论了该方法的实现步骤及其技术细节;利用实际影像数据进行了P-SGM影像匹配实验。实验结果表明,该方法能够完成大场景、大幅面遥感影像的密集匹配工作,获取实验区密集匹配点云;并具有较高的匹配性能和匹配精度。

基于斜平面平滑优化的半全局立体匹配

基于斜平面平滑的半全局匹配算法虽然能很好地处理深度不连续区域,减少视差断裂现象,具有很好的视差平滑效果.但此方法计算量大,并且若输入的左右图像对不是理想校正的,最终得到的视差图中可能会出现黑色小方块.针对上述问题,本文提出了一种基于斜平面平滑优化的双目立体视觉算法,优化了视差斜平面拟合过程,提高了斜平面平滑的运算速度;另,通过对初始视差图中无效的视差值进行临近插值填充,很好地解决了视差图中的方块现象;同时考虑到同一分割块内的像素梯度值应比较接近,对图像分割时用到的能量函数增加梯度项,使分割区域更加合理.实验结果表明,本文算法能取得更好的视差图,主观效果得到改善,运算速度提高约40%.

基于重排序Census变换的半全局立体匹配算法

针对立体匹配中传统局部算法在计算匹配代价时精度低、抗噪能力弱等问题,提出一种结合改进的Census变换和单方向动态规划优化的半全局立体匹配算法。首先,重排序不同尺度的Census变换窗口中的像素,取其中值计算Hamming距,解决了传统算法对Census变换窗口中心像素依赖的问题。其次,基于单方向动态规划的路径聚合算法对初始代价值进行优化,减少初始代价值中的异常匹配点,提高对弱纹理部分的视差重建,进一步提高匹配精度。最后,采用赢者通吃策略选择单个像素最小代价聚合值所对应的视差,并在视差优化阶段基于左右一致性原则剔除错误视差。实验结果表明,改进的半全局立体匹配算法生成的初始视差图平均误匹配率降低了8.22%,质量相对更高;且在不同噪声下的平局误匹配率均在8%以下,有效的增强了抗噪声的鲁棒性,提升了匹配精度。

基于反向合成高斯牛顿的半全局立体匹配算法

针对数字散斑投影三维测量技术中的立体匹配问题,提出基于反向合成高斯牛顿的半全局立体匹配算法。该算法采用基于Census变换的匹配代价值来衡量像素点间的相似性,通过代价聚合算法增强匹配代价对噪声的鲁棒性;在此基础上,提出基于一阶形函数的反向合成高斯牛顿算法,实现亚像素级别的视差优化;最后,提出耦合唯一性检查、左右一致性检查以及连通区域约束的错误视差剔除算法,消除由遮挡和噪声引起的错误视差。实验结果表明,该算法可精确、稠密、完整地重建出复杂物体的三维形貌,重建精度优于0.06mm。

加入结构约束的半全局立体匹配方法

将图像分割得到的场景结构信息作为一种软约束加入到半全局立体匹配的框架中,以克服原算法存在的传播路径不完全的问题,同时结构约束还被用来解决遮挡和错误匹配区域深度选择的问题。实验结果表明,该算法显著地提高了匹配精度,很好地解决了传播路径不完全引起的深度污染问题,并且为遮挡和错误匹配区域提供了可靠的深度估算。同时,算法并不破坏原算法的基本框架,保留了其高效的特点以及使用单指令多数据流技术进行加速的能力,具有广泛的实用价值。

基于ADCensus的改进半全局匹配方法

考虑到AD相似性测度对灰度信息及纹理丰富的区域的优势和Census变换对图像辐射差异具有鲁棒性的优势,将AD和Census算法融合替代单一匹配代价来改进半全局密集匹配算法,可有效提高算法的匹配精度和抗干扰性。同时用金字塔分层匹配策略来约束视差的搜索范围,实验结果表明,该方法在保证匹配精度的同时,减少内存消耗和运行时间,适用于无人机影像的密集匹配。

“℃”的中文符号是什么？

问：摄氏温度单位“℃”的中文符号是什么？答：按规则，单位名称的简称即为该单位的中文符号，如压强单位Pa的中文名称为帕斯卡，其简称“帕”即为Pa的中文符号。

基于双目立体匹配的巷道三维重建研究

针对目前矿井巷道三维重建大多依赖传统方法费时费力、激光点云数据计算量过大、具有离散性、成本昂贵等问题,提出了一种基于双目立体匹配的巷道三维重建方法。首先对双目相机完成标定和畸变矫正,通过双目相机采集巷道图像并对采集的图像进行预处理,然后对传统立体匹配方法SGM(semi-global matching)加以改进,实现巷道图像的初始代价计算、代价聚合、视差计算与优化,最终重建巷道的三维模型。在立体匹配标准测试平台验证了改进算法的可行性,通过对比实验表明,该算法生成的视差图匹配精度高,同时通过视差图生成点云,能够完成真实场景的巷道三维重建任务,证明该研究为巷道三维重建领域提供了一种新方法。

基于双目视觉的目标完整点云获取方法

快速获取复杂形状目标的完整三维点云,重构目标的三维模型是目前智能检测和机器人识别与定位的关键技术和难点。基于立体视觉,提出一种图像预处理和优化半全局立体匹配过程的方法。该方法设计了图像预处理算法,与半全局立体匹配和点云配准算法配合使用,获取复杂形状目标完整的三维点云。搭建了硬件实验平台和旋转工作台,获取多角度下目标的左右图像对,在此平台上开发了一套基于双目视觉的点云获取系统,并以复杂形状的齿轮为实验对象对该系统进行测试。测试结果表明,该方法生成的物体三维点云效果良好,为目标三维重构提供方法和理论,实用性较强,并且系统运行速度快,算法处理过程可行。

一种适应无人机平台的快速立体匹配方法

设计了一种高质量和快速的立体匹配方法，首先在粗分辨率的影像上获取立体影像的重叠区域和初始视差值，而后采用互信息作为匹配测度并采用一种通过一维路径聚合的全局优化方法得到精确的视差值。匹配方法采用图形处理器进行了加速，得到了很好的加速比。实验结果表明了该匹配方法的正确性和高效率性。

卫星线阵影像的半全局互信息匹配与重建

针对"天绘一号"卫星三线阵立体影像基高比大、视角宽造成的匹配效率和可靠性较低的问题,综合全局、局部匹配算法特性,提出了半全局互信息匹配算法。该算法首先以逐像素的互信息作为匹配基元,按照能量函数最小化原则进行整体匹配,其次采用金字塔和多基线的匹配策略,最后实现了DSM的快速获取。试验结果表明,该算法应用于天绘一号卫星影像地表模型三维重建,宏观地形表现完整,破碎地形表达准确,取得了较好的效果。