基于GAANET的立体匹配算法

端到端的立体匹配算法在计算时间和匹配效果上均有一定的优势,近年来在立体匹配任务中得到了广泛的应用。但特征提取的过程中存在特征冗余、信息丢失,以及多尺度特征融合不充分等问题,造成算法的计算量和复杂度偏高,也影响了匹配的精度。针对上述问题,在自适应聚合网络AANET的基础上,设计了更加适合立体匹配的特征提取模块,提出了改进的幽灵自适应聚合网络GAANET。采用G-Ghost阶段提取多尺度的特征,通过廉价操作生成部分特征,减少特征的冗余现象并有效保存浅层特征;采取高效的通道注意力机制,将不同的权重分配到每个通道中;采取改进的特征金字塔结构,缓解传统金字塔中的通道信息丢失并优化融合特征,为各个尺度的特征进行丰富的信息补充。在SceneFlow,KITTI2015和KITTI2012数据集上进行训练和评估,评估结果显示,与基础方法相比,所提改进算法的精度分别提升了0.92%,0.25%和0.20%,且参数量减少了13.75%,计算量减少了4.8%。

基于特征优化的Census立体匹配方法

针对传统Census立体匹配算法在弱纹理和边缘区域匹配精度较差的问题,提出一种基于特征信息优化的代价计算方法,在窗口中融入更多的差异信息以获得更精确的像素视差值。随后采用多方向路径独立的线扫描优化计算聚合代价以进一步提高匹配精度。为获得更好的遮挡区域匹配效果,提出一种基于差异填充的视差优化方法,对遮挡像素进行识别和视差填充。为提高算法的效率,提出一种基于降采样策略的算法运行模式,通过缩小视差搜索范围以减少硬件负荷。最后以五组标准图像为输入进行改进Census算法性能检验,结果显示,平均误匹配率为6.12%,较改进前降低了2.45%,算法效率平均提升17.7%。

基于多特征SAD-Census变换的立体匹配算法

视差不连续区域和重复纹理区域的误匹配率高一直是影响双目立体匹配测量精度的主要问题,为此,本文提出一种基于多特征融合的立体匹配算法。首先,在代价计算阶段,通过高斯加权法赋予邻域像素点的权值,从而优化绝对差之和(Sum of Absolute Differences,SAD)算法的计算精度。接着,基于Census变换改进二进制链码方式,将邻域内像素的平均灰度值与梯度图像的灰度均值相融合,进而建立左右图像对应点的判断依据并优化其编码长度。然后,构建基于十字交叉法与改进的引导滤波器相融合的聚合方法,从而实现视差值再分配,以降低误匹配率。最后,通过赢家通吃(Winner Take All,WTA)算法获取初始视差,并采用左右一致性检测方法及亚像素法提高匹配精度,从而获取最终的视差结果。实验结果表明,在Middlebury数据集的测试中,所提SAD-Census算法的平均非遮挡区域和全部区域的误匹配率为分别为2.67%和5.69%,测量200~900 mm距离的平均误差小于2%;而实际三维测量的最大误差为1.5%。实验结果检验了所提算法的有效性和可靠性。

基于自适应窗的动态权值代价聚合立体匹配

传统局部匹配算法通常在不同聚合窗口下采用单一权值进行代价聚集,而忽略了不同区域像素点之间的差异性,易导致基于双目视觉测量的立体匹配精度不稳定。为此,提出一种基于自适应窗的动态权值代价聚合立体匹配算法。首先,以梯度信息表征模型为约束条件,构建代价聚合自适应十字交叉窗口。其次,分析视差不连续区域与弱纹理区域的像素特征,建立基于像素距离与色差双阈值权重的代价聚集模型,进而计算各窗口的动态权重影响因子。最后,基于线性迭代聚类法分割视差图区域,剔除奇异的视差值以提高算法匹配精度。实验结果表明,在Middlebury数据集的测试中,所提算法的平均非遮挡区域和全部区域的误匹配率分别为4.11%和5.65%,优于传统匹配算法;4组测量样品的全局长度测量平均相对误差小于1.2%,全局高度测量平均相对误差小于2.7%。实验结果检验了所提算法的有效性和可靠性。

基于变分立体匹配算法的GMAW熔池形貌三维重建

为实现完整熔池表面形貌三维传感,构建了双棱镜单摄像机立体视觉传感系统.针对熔池图像纹理缺乏造成的立体匹配困难的问题,引入了全局优化的变分立体匹配算法,通过建立包含灰度差异数据项和空间连续性约束项的能量函数的可行性泛函,经过迭代求解获得具有丰富细节的熔池表面稠密视差图.对自制非标准凹面形状进行立体匹配和三维重建,结果表明,宽度误差小于3.16%,深度误差小于4.82%.基于该算法实现了熔化极气体保护焊(gas metal arc welding,GMAW)的堆焊及V形坡口对焊条件下,不同熔透状态熔池稠密视差图计算和表面形貌的三维重建.

一种密集多尺度特征引导代价聚合的改进立体匹配网络

针对目前立体匹配算法在重复纹理、无纹理、边缘等不适定性区域仍存在匹配不准确的问题,提出了一种基于PSMNet的密集多尺度特征引导代价聚合的立体匹配算法—DGNet(Dense multi-scale features Guided aggregation Network)。首先,基于密集连接空洞空间金字塔池化结构设计了密集多尺度特征提取模块,该模块利用不同膨胀率的空洞卷积提取不同尺度的区域级特征,并通过密集连接方式有效整合不同尺度的图像特征,使网络捕获丰富的上下文关系;其次,在每个视差等级下将左右特征图串联形成初始代价体,再提出密集多尺度特征引导代价聚合结构,在聚合代价体的同时自适应融合代价体和密集多尺度特征,从而使后续的解码层在多尺度上下文信息的引导下解码出更加精确和高分辨率的几何信息;最后,将全局优化后的高分辨率代价体送入视差回归模块以获得视差图。实验结果表明:所提算法在KITTI 2015和KITTI 2012数据集上的误匹配率分别降至1.76%和1.24%,SceneFlow数据集上的端点误差降至0.56 px,与GWCNet、CPOP-Net等先进算法相比,所提算法在不适定区域有明显改善。

融合梯度先验与全局聚合的立体匹配算法

现有基于学习的立体匹配算法具有一定局限性,通常特征提取部分使用的常规卷积倾向于捕捉外观信息,忽略了结构信息的提取,并且由于卷积感受野的限制,这些算法在弱纹理、重复纹理等病态区域性能较差.为此本文提出了一种融合梯度信息及全局代价聚合的立体匹配网络模型(GFGANet).首先,设计了差分卷积残差组(CDC-ResBlock-Groups),显式编码结构信息提高特征表达,然后设计全局代价聚合模块(Trans-Hourglass),有效聚合代价体并捕获全局上下文,最后采用加窗视差回归降低了视差标签不平衡的影响,此外使用StereoDRNet的后处理进行视差细化.实验表明,所提方法在重复纹理,弱纹理区域表现优异,在SceneFlow中的端点误差(EPE)仅为0.645px,KITTI 2015上的误匹配率为2.04%,与基础模型PSMNet相比,性能显著提升.

基于两阶段代价矩阵和动态注意力的双目立体匹配网络

目前大多数先进的双目立体匹配网络通过构建4D代价矩阵以保留图像的语义信息,增加了网络的计算量开销。为了解决上述问题,提出了两阶段的组合代价矩阵和多尺度动态注意力的EDNet++网络。首先从全局的、粗粒度的视差搜索范围上构建的基于相似度的代价矩阵作为引导,在局部的搜索范围上实现细粒度的组合代价矩阵,其次提出基于残差的动态注意力机制,其根据中间结果信息自适应地生成空间上的注意力分布,并且通过迁移实验证明了该方法的有效性,最后在各大公开数据集上的对比实验结果表明,相较于其他方法,EDNet++方法能够达到算法精度和实时性的良好平衡。

改进Census变换与特征融合的立体匹配算法

针对局部立体匹配算法匹配精度较低问题,提出一种改进Census变换与特征融合的立体匹配算法。首先,使用变换窗口的邻域像素信息代替中心像素,解决传统Census变换过度依赖窗口中心像素问题;其次,引入图像的颜色信息与梯度信息构建融合代价计算函数,提高初始匹配代价的可靠性;为建立邻域像素间联系,引入单向动态规划思想进行代价聚合;最后,提出一种基于八方向的视差空洞填充方法对视差图进行优化。实验结果表明:该算法在Middlebury数据集上的平均误匹配率为3.77%,优于其他改进Census变换方法,具有较高的匹配精度。

基于Pynq的半全局立体匹配算法实现

立体匹配算法作为双目立体视觉技术的核心算法,具有运算复杂度高、资源占用率高、实时性差的特点。而现有的基于FPGA实现方法多采用高性能FPGA芯片,利用其板卡丰富的资源进行纯verilog语言开发。这样做虽然实时性效果不错,但存在开发难度较大、周期较长、成本较高的弊端。论文针对该问题,提出了一种基于相对低廉的Pynq-z2开发板在PL+PS端协同开发的SGM立体匹配算法,将运算量大的部分在FPGA端进行硬件加速,部分代价优化算法在ARM端利用Python语言实现。实验表明,该算法可有效降低资源占用率,基本满足在相对低廉的嵌入式设备中实现的要求。

基于轻量化PASMnet神经网络的立体匹配方法

针对传统方法用于立体匹配、三维地形重建效果差,而深度学习的方法模型大、速度慢的问题,提出了一种轻量化PASMnet神经网络的立体匹配方法。首先,对PASMnet进行结构化剪枝,精化参数配置,减少模型参数数量,提升模型运行速度。然后对归一化后的图像进行极线校正,得到成像平面平行的立体影像,进行立体匹配任务。在KITTI2015数据集上进行验证,实验结果表明改进的模型参数量减少为原模型的1/6,运行时间为0.56 s。剪枝量化后的模型运行速度更快,推理时间缩短,并且可以用于月面影像的立体匹配,拓展了模型应用。

基于双目立体匹配的三维重建系统研究

在计算机视觉领域,基于双目立体匹配的三维重建系统是一个研究热点。首先进行双目相机标定,获取标定参数。而后采用立体校正方法,使成像平面对准共面行,借助SGBM(semi-globalblock matching)立体匹配算法可以计算出视差。得到视差图后,计算像素深度,获取像素点的三维坐标。恢复三维坐标后使用Open3D恢复并显示点云图。

空洞卷积和双边格网的立体匹配网络

为解决基于深度学习的立体匹配方法面临着网络规模大、网络结构复杂等问题,提出了一个网络规模较小、精度较高的网络结构。该网络在特征提取模块删减修改了复杂冗余的残差层并引入了空洞卷积金字塔池化模块来扩大视野范围,提取更多有用的上下文信息;在代价计算模块中使用了三维卷积层以成本聚合提升立体匹配的精度;最后,在代价聚合模块引用了双边格网模块以较低分辨率的成本量来获取精度较高的视差图。将该网络在KITTI 2015数据集和Scene Flow数据集等主流数据集上进行实验,结果显示,相较于其他主流优秀网络类如金字塔立体匹配网络(Pyramid Stereo Matching Network,PSM-Net),网络规模参数量减少了约38%,并取得了较高的实验精度,其中Scene Flow数据集的终点误差(End-point Error,EPE)为0.86,是一个同时兼顾速度与精度的立体匹配网络。

基于引导优化的立体匹配网络

为克服细节区域精细立体匹配问题,本文提出了基于引导优化的立体匹配网络.首先,构建基于引导可变形卷积的引导优化模块,不同于可变形卷积,该模块对额外输入的引导特征进行偏移量和调制标量学习,增强可变形卷积的变形参数学习能力.其次,设计基于引导优化模块的引导优化立体匹配网络,该网络提出了基于3D代价聚合和2D引导优化聚合的三级串联代价聚合模块,逐步优化细节区域的配准精度.实验结果显示,在SceneFlow、KITTI等标准数据集中,与先进算法相比,该算法可实现细节区域的高精度配准.其中,引导优化模块适用性测试结果显示,在KITTI2015数据集中,增加引导优化模块后GwcNet、AANet等先进算法的D1-noc、D1-all值均产生20%左右的提升.

引入轻量级Transformer的自适应窗口立体匹配算法

现有端到端的立体匹配算法为了减轻显存消耗和计算量而预设固定视差范围,在匹配精度和运行效率上难以平衡。提出一种基于轻量化Transformer的自适应窗口立体匹配算法。利用具有线性复杂度的坐标注意力层对低分辨率特征图进行位置编码,减轻计算量并增强相似特征的辨别力;设计轻量化Transformer特征描述模块,转换上下文相关的特征,并引入可分离多头自注意力层对Transformer进行轻量化改进,降低Transformer的延迟性;用可微匹配层对特征进行匹配,设计自适应窗口匹配细化模块进行亚像素级的匹配细化,在提高匹配精度的同时减少显存消耗;经视差回归后生成无视差范围的视差图。在KITTI2015、KITTI2012和SceneFlow数据集上的对比实验表明,该算法比基于标准Transformer的STTR在匹配效率上快了近4.7倍,具有更快的运行速度和更友好的存储性能;比基于3D卷积的PSMNet误匹配率降低了18%,运行时间快了5倍,实现了更好的速度和精度的平衡。

基于边缘领域自适应的立体匹配算法

风格迁移方法因其较好的域适应性,广泛应用于存在领域差异的计算机视觉领域。当前基于风格迁移的立体匹配任务存在如下挑战:(1)转换后的左右图像需满足配对的前提;(2)转换后图像的内容和空间信息要与原始图像保持一致。针对以上难点,该文提出一种基于边缘领域自适应的立体匹配方法(EDA-Stereo)。首先,构建了边缘引导的生成对抗网络(Edge-GAN),通过空间特征转换(SFT)层融合边缘信息和合成域图像特征,引导生成器输出保留合成域图像结构特征的伪图像。其次,提出翘曲损失函数以迫使基于转换后的右图像所重建出的左图像向原始左图像进行逼近,防止转换后的左右图像对不匹配。最后,提出基于法线损失的立体匹配网络,通过表征局部深度变化来捕获更多的几何细节,有效提高了匹配精度。通过在合成数据集上训练,在真实数据集上与多种方法进行比较,结果表明本该方法能够有效缓解领域差异,在KITTI 2012和KITTI 2015数据集上的D1误差分别为3.9%和4.8%,比当前先进的域不变立体匹配网络(DSM-Net)方法分别相对降低了37%和26%。

异形窗口快速立体匹配算法研究

针对传统的立体匹配算法需要为图像中的每个像素选择一个合适的支撑窗口,时间成本较大,并且窗口的形状和大小难以确定的问题,提出一种异形窗口的立体块匹配算法。该算法根据灰度相似性和空间邻近性选择匹配窗口,同时对目标图像中搜索窗口内的像素添加阈值范围的约束,减小深度不连续像素和遮挡像素对结果的影响。进行匹配计算,并将计算的视差作为窗口内所有像素的视差,减少逐像素计算视差。利用Middlebury官方数据集中的4组图像对算法的性能进行仿真评估。结果表明:所提算法在视差图精度基本一致的情况下,明显提高了计算速度。

面向智能驾驶的轻量化GwcNet立体匹配算法研究

智能驾驶技术作为新一代智能交通系统的核心之一,受到了广泛关注。其中,感知融合技术在实现智能驾驶的精准定位和环境感知中起着至关重要的作用。在感知融合中使用的立体匹配算法更是关乎智能驾驶的安全性和准确性,是智能驾驶环境感知领域中重要的技术环节。针对智能驾驶汽车在硬件方面算力不足,但对立体匹配算法实时性和精度均有较高要求的问题,文章基于GwcNet,为智能驾驶环境感知模块设计了一种轻量化的立体匹配算法。利用ACV模型替代GwcNet立体匹配算法中参数量、运算量最大的3D卷积模块,使得算法的实时性和精度得到提升。为了进一步减少网络复杂度,减小ACV模块中的网络参数,提出一个Fast-ACV模型。最后在KITTI 2015数据集中对立体匹配算法进行对比分析。结果表明,所提出的轻量化GwcNet立体匹配算法在精度和实时性上均优于GwcNet算法。

结合注意力机制的卫星遥感影像立体匹配

采用立体匹配技术对多视卫星遥感影像进行三维场景重建一直是摄影测量与遥感领域的核心问题。基于卷积神经网络的深度学习方法极大地促进了立体匹配技术的发展,然而其中涉及匹配困难和误匹配问题的相关研究仍然不足。为了提升卫星遥感影像不适定区域中视差估计的精度,本研究提出了一种结合注意力机制的立体匹配深度学习网络,在特征提取模块中加入注意力机制,分别从通道和空间两个维度捕获全局信息,对特征进行优化;在代价体的构建模块中构建新的代价体积,并重新设置视差的回归范围。为了验证本文方法的有效性,在US3D、WHU-Stereo两个数据集上分别与已有方法Stereo-Net、PSM-Net进行了比较分析。结果表明,本文方法在EPE(endpointerror)和D_1两个指标上均能达到最优,取得了较好的性能,提高了立体匹配的精度,尤其在无纹理、重复纹理、遮挡及视差不连续区域表现出良好的鲁棒性。

基于改进Census变换与分区域聚合的立体匹配

立体匹配作为三维重建的关键步骤之一,针对基于Census变换的立体匹配算法在视差不连续区域以及弱纹理区域匹配精度较差,且易受光照不均与噪声干扰的问题,提出一种基于改进Census变换与分区域聚合的立体匹配算法。在Census变换阶段令窗口中所有像素点根据灰度值大小进行降序排序,选取灰度值为中位数的像素点替代窗口的中心像素;然后进行Hamming距离计算得到结果,再加权融合亮度或光照差的绝对值;接下来将代价聚合阶段的图像通过梯度大小划分为边缘和平滑区域,分别使用十字交叉域完成初始代价聚合;最终采用WTA找到初始视差值,经过一系列视差优化步骤获得最终视差图。在MiddleburyV3.0版本的测试平台上对该算法进行评测,实验结果表明,总体像素的视差平均误差为8.26%,相较于AD-Census算法下降了2.95%,具有较高的匹配精度,且对光照及噪声有较好的鲁棒性。