基于两阶段代价矩阵和动态注意力的双目立体匹配网络

目前大多数先进的双目立体匹配网络通过构建4D代价矩阵以保留图像的语义信息,增加了网络的计算量开销。为了解决上述问题,提出了两阶段的组合代价矩阵和多尺度动态注意力的EDNet++网络。首先从全局的、粗粒度的视差搜索范围上构建的基于相似度的代价矩阵作为引导,在局部的搜索范围上实现细粒度的组合代价矩阵,其次提出基于残差的动态注意力机制,其根据中间结果信息自适应地生成空间上的注意力分布,并且通过迁移实验证明了该方法的有效性,最后在各大公开数据集上的对比实验结果表明,相较于其他方法,EDNet++方法能够达到算法精度和实时性的良好平衡。

空洞卷积和双边格网的立体匹配网络

为解决基于深度学习的立体匹配方法面临着网络规模大、网络结构复杂等问题,提出了一个网络规模较小、精度较高的网络结构。该网络在特征提取模块删减修改了复杂冗余的残差层并引入了空洞卷积金字塔池化模块来扩大视野范围,提取更多有用的上下文信息;在代价计算模块中使用了三维卷积层以成本聚合提升立体匹配的精度;最后,在代价聚合模块引用了双边格网模块以较低分辨率的成本量来获取精度较高的视差图。将该网络在KITTI 2015数据集和Scene Flow数据集等主流数据集上进行实验,结果显示,相较于其他主流优秀网络类如金字塔立体匹配网络(Pyramid Stereo Matching Network,PSM-Net),网络规模参数量减少了约38%,并取得了较高的实验精度,其中Scene Flow数据集的终点误差(End-point Error,EPE)为0.86,是一个同时兼顾速度与精度的立体匹配网络。

一种基于PSMNet改进的立体匹配算法

为了解决双目视觉中的立体匹配问题、减少立体匹配网络的参数数量、降低算法的计算复杂度、提高算法的实用性。在PSMNet立体匹配网络的基础上进行改进,提出了一种具备浅层结构与宽阔视野的立体匹配算法--SWNet。浅层结构表示网络层数更少、参数更少、处理速度更快;宽阔视野则表示网络的感受野更宽广,能够获取并保留更多的空间信息。SWNet由特征提取、3D卷积和视差回归3个部分构成。在特征提取部分,引入了深色空间金字塔结构(Atrous Spatial Pyramid Pool,ASPP),用于提取多尺度的空间特征信息,设计了特征融合模块,将不同尺度的特征信息有效地融合起来以构建匹配代价卷;3D卷积神经网络利用堆叠的编码解码结构进一步对匹配代价卷进行规则化处理,获得不同视差条件下特征点之间的对应关系;最后,采用回归的方式得到视差图。SWNet在SceneFlow和KITTI 2015两个公开的数据集上均取得了优异的表现,与参考算法PSMNet相比,参数数量下降了48.9%,且误匹配率仅有2.24%。

基于孪生卷积神经网络立体匹配的优化

计算机双目视觉从三维世界获取信息,对三维世界进行重构和感知。传统孪生卷积神经网络计算复杂,运算时间长。为满足特征实时提取,提出一种基于孪生卷积神经网络的立体匹配方法。首先通过卷积层和池化层来进行图像的深度特征提取,然后通过点积运算和函数进行分类,最后通过kitti数据集训练测试和现有的几种立体匹配的算法进行对比。实验结果表明,所提出的方法具有较好的立体匹配效果和实时性,具有一定的实用性,与NCC等匹配代价算法相比,PBM值提升了4.53%,平均视差误差提升了2.01%。

基于脉冲耦合神经网络和Markov随机场的立体匹配研究

立体匹配是寻找立体图像对中对应点的问题,是立体视觉的核心问题。现有立体匹配算法通常是就立体匹配问题建立适当的数学模型并进行求解,在匹配速度和匹配精度之间存在矛盾。以生物视觉研究为背景,提出一种基于脉冲耦合神经网络(PCNN)的立体匹配方法。该方法以Markov随机场(MRF)上的贝叶斯模型为基础,并利用PCNN建立其似然概率模型。将左右2幅图像分别输入到2个PCNN网络,通过迭代生成点火时间序列。引入点火时间序列的平均点火时间差的概念,利用2个像素对应神经元的平均点火时间差来评价2个像素的相似性,并以此为基础确定似然概率。最后利用信任传递(BP)算法求解Markov随机场模型的最大后验概率问题。利用广泛使用的立体视觉测试图像对算法进行了实验。实验结果表明该算法能够有效实现立体匹配,匹配效果较好。

Hopfield网络在视差空间上的立体匹配求解

由于边界区域的匹配精度是立体匹配问题的瓶颈,这里采用一种基于特征的匹配算法来重点研究场景中边界区域的匹配.首先针对立体匹配问题,提出一种基于RBF的边界提取算法,使得边界区域成为待匹配的像素点.研究像素点匹配需要满足的约束,构建相应的能量方程,接着采用Hopfield网络对能量函数进行优化来获得问题的求解.由于针对的是整个边界区域,直接将特征点输入网络会导致神经元数目过多、复杂度过高.为了降低算法复杂度,提出从视差空间上来构造网络模型.最后通过大量实验来验证算法的性能,包括标准图片、噪声图片与真实的场景图片.实验证明新算法能大大提高边界区域精度,克服了立体匹配的瓶颈,明显提高了整体区域精度,算法有很强的鲁棒性和实用性,即使在复杂情况下也能取得较好的效果.

递进式空洞残差深度双目立体匹配网络

为了实现轻量化高精度的双目立体匹配网络,提出了一种递进式空洞残差深度双目立体匹配网络——PDR_Net。在特征提取网络模块上提出了递进式的空洞残差网络结构,利用空洞卷积网络代替池化等降采样方式获取图像的多尺度特征信息,解决了利用池化等降采样方式进行尺度变换带来的图像特征信息损失的问题;同时引入残差网络弥补了空洞卷积网络自身特点带来的图像特征信息丢失的缺点,各尺度分支之间采用递进式的级联方式进行特征信息融合,促进了图像的各尺度特征信息之间的融合,既降低了网络的复杂度,也保留了更多的图像特征信息;最后,在三维卷积神经网络模块中采用堆叠的沙漏型编码解码网络结构,通过跳跃式连接使得网络能够更好地结合特征图的上下文信息,并在该模块中引入通道注意力机制模型,增强了网络对不同通道中各视差下特征信息之间的聚合学习能力,加深了特征点在不同视差条件下的联系。PDR_Net网络与现有网络相比,具有参数量少、速度快、精度高等优点。

多成本融合的立体匹配网络

立体匹配网络中的特征提取是提高双目视觉立体匹配精确度的关键步骤。为充分提取图像特征信息,结合密集空洞卷积、空间金字塔池化和堆叠沙漏的特点,构建一种多成本融合的立体匹配网络DCNet。引入密集空洞卷积和空间金字塔池化方法提取多尺度特征信息,同时使用轻量化注意力模块优化多尺度特征信息,构建多特征融合的匹配代价卷。在此基础上,利用3D卷积神经网络和堆叠沙漏网络聚合匹配代价信息,并通过回归的方式生成视差图。实验结果表明,该网络在KITTI2015数据集上的误匹配率为2.12%,相比PSMNet、DisNetC、PDSNet等网络,在特征提取部分能够获得更丰富的特征信息,且提升特征匹配的效果。

一种用于立体匹配的改进的神经网络方法

实现了一种用于静态视觉立体匹配的神经网络方法。文献［１］提出了一种用于静态体视匹配的神经网络方案，其方案用于随机点图对时存在严重的缺陷。针对随机点图对的特点，对神经网络的偏置输入进行了修正，改进的神经网络能够有效地提取随机点图对中的立体深度信息。为了进一步提高收敛速度和平滑边缘特征，又在偏置输入中引入射线特征，改进了神经元的初始化。在工作站上进行的大量实验模拟表明，我们所做的改进提高了网络的迭代速度和视差图的边缘特征平滑性。

一种基于Hopfield网络的立体匹配方法

立体匹配是计算机视觉研究的经典难题 ,其算法的复杂度和精度直接影响了视觉系统对外部景物的重建性能。为此提出了一种新的基于神经网络的立体匹配方法 ,其基本思想是 :在实现核线重排的前提下 ,利用唯一性、相容性以及相似性等匹配约束条件 ,建立反映对应极线间所有匹配点约束关系的能量函数 ,将其映射到二维 Hopfield网络进行极小化求解 ,网络最后的稳态表示匹配点的对应关系 ;通过对图中所有极线进行上述操作 ,可以得到所求的视差图。与传统方法相比 ,本算法具有两个明显的特点 :(1)匹配基元采用了普通的图像点 ,可以直接获得稠密的深度图 ;(2 ) Hopfield网的外部输入不再为常数 ,而是一个反映对应点灰度相似性关系的值。通过对合成图以及真实图景进行测试 ,验证了该方法的有效性。

结合注意力机制的卫星遥感影像立体匹配

采用立体匹配技术对多视卫星遥感影像进行三维场景重建一直是摄影测量与遥感领域的核心问题。基于卷积神经网络的深度学习方法极大地促进了立体匹配技术的发展,然而其中涉及匹配困难和误匹配问题的相关研究仍然不足。为了提升卫星遥感影像不适定区域中视差估计的精度,本研究提出了一种结合注意力机制的立体匹配深度学习网络,在特征提取模块中加入注意力机制,分别从通道和空间两个维度捕获全局信息,对特征进行优化;在代价体的构建模块中构建新的代价体积,并重新设置视差的回归范围。为了验证本文方法的有效性,在US3D、WHU-Stereo两个数据集上分别与已有方法Stereo-Net、PSM-Net进行了比较分析。结果表明,本文方法在EPE(endpointerror)和D_1两个指标上均能达到最优,取得了较好的性能,提高了立体匹配的精度,尤其在无纹理、重复纹理、遮挡及视差不连续区域表现出良好的鲁棒性。

基于GAANET的立体匹配算法

端到端的立体匹配算法在计算时间和匹配效果上均有一定的优势,近年来在立体匹配任务中得到了广泛的应用。但特征提取的过程中存在特征冗余、信息丢失,以及多尺度特征融合不充分等问题,造成算法的计算量和复杂度偏高,也影响了匹配的精度。针对上述问题,在自适应聚合网络AANET的基础上,设计了更加适合立体匹配的特征提取模块,提出了改进的幽灵自适应聚合网络GAANET。采用G-Ghost阶段提取多尺度的特征,通过廉价操作生成部分特征,减少特征的冗余现象并有效保存浅层特征;采取高效的通道注意力机制,将不同的权重分配到每个通道中;采取改进的特征金字塔结构,缓解传统金字塔中的通道信息丢失并优化融合特征,为各个尺度的特征进行丰富的信息补充。在SceneFlow,KITTI2015和KITTI2012数据集上进行训练和评估,评估结果显示,与基础方法相比,所提改进算法的精度分别提升了0.92%,0.25%和0.20%,且参数量减少了13.75%,计算量减少了4.8%。

基于边缘领域自适应的立体匹配算法

风格迁移方法因其较好的域适应性,广泛应用于存在领域差异的计算机视觉领域。当前基于风格迁移的立体匹配任务存在如下挑战:(1)转换后的左右图像需满足配对的前提;(2)转换后图像的内容和空间信息要与原始图像保持一致。针对以上难点,该文提出一种基于边缘领域自适应的立体匹配方法(EDA-Stereo)。首先,构建了边缘引导的生成对抗网络(Edge-GAN),通过空间特征转换(SFT)层融合边缘信息和合成域图像特征,引导生成器输出保留合成域图像结构特征的伪图像。其次,提出翘曲损失函数以迫使基于转换后的右图像所重建出的左图像向原始左图像进行逼近,防止转换后的左右图像对不匹配。最后,提出基于法线损失的立体匹配网络,通过表征局部深度变化来捕获更多的几何细节,有效提高了匹配精度。通过在合成数据集上训练,在真实数据集上与多种方法进行比较,结果表明本该方法能够有效缓解领域差异,在KITTI 2012和KITTI 2015数据集上的D1误差分别为3.9%和4.8%,比当前先进的域不变立体匹配网络(DSM-Net)方法分别相对降低了37%和26%。

基于协作Hopfield网络的迭代立体匹配算法

针对立体匹配算法中求解能量函数全局最小问题,提出一种基于协作Hopfield网络的迭代立体匹配算法.它采用两个具有相似结构的Hopfield神经网络协作求解匹配问题,两个网络的不同之处是匹配过程中所采用的基准图不同.然后根据左右一致性约束实现两个Hopfield网络之间的协作,从而避免落入局部最小.为加快收敛速度,该算法将视差图的最优搜索问题转换为二值神经网络的迭代收敛过程.利用局部匹配算法的结果预标记初始视差,以设定神经网络初始权重.并根据局部匹配算法中隐含的假定条件,提出了局部匹配算法视差结果的评估准则,以确定各像素的视差搜索范围,从而减少各次迭代过程中状态待确定的神经元个数.实验表明该方法在性能和收敛速度上都要优于传统的Boltzmann机方法.

适应立体匹配任务的端到端深度网络

针对现有立体匹配深度网络中特征提取模块冗余度高以及用于视差计算的3D卷积模块感受野受限问题,提出改进的端到端深度网络.相比现有网络,该网络特征提取模块遵循立体匹配特性,结构更简洁;引入分离3D卷积实现大卷积核3D卷积运算以扩充感受野.在SceneFlow数据集上,从匹配精度和计算开销等方面评估所提出网络.实验结果显示:所提出网络在准确度上达到了先进水平;相比现有同类型模块,所提出特征提取模块在保证结果精度的同时能减少90%的参数量,并减少约25%的训练时间;相比3D卷积,所提出的分离3D卷积将卷积核大小提升至覆盖整个视差维度,搭配群组归一化(group normalization, GN),其端点误差(end-point-error, EPE)较基础方法降低了12%的相对量.

基于卷积神经网络的高效精准立体匹配算法

针对基于卷积神经网络的立体匹配算法普遍存在参数量巨大、精度不足等问题,提出一种基于卷积神经网络的高效精准立体匹配算法.首先设计了一个融合多尺寸上下文信息的特征提取网络,提高不适定区域(Ill-posed regions)的匹配精度;其次,改进现有的相似度计算步骤,在保证匹配精度的同时,大量减少了网络的参数量;最后,提出一种轻量级的基于注意力机制的视差精修算法,从通道与空间维度上关注并修改初始视差图错误的像素点.与GC-Net在标准数据集Sceneflow上的对比实验表明,该算法在参数量减少14%的同时,匹配精度提高超过了50%.

基于图像先验信息的立体匹配算法

立体匹配是双目视觉系统分析中的重要环节之一,直接决定三维信息重建的质量和效率。为提升立体匹配实时性与准确性,提出一种基于图像先验信息的立体匹配算法。算法首先采用BP神经网络MIV方法提取并筛选图像有效特征值,并以视觉系统应用环境不同将图像数据分为的简单背景图像和复杂背景图像,然后在测距1-2m的实验室条件,利用双目摄像头和CORE I7处理器采集图像数据,并在Visual Studio 2015中按照3:2对图像进行大小裁剪,最后基于BM优化算法与SGBM改进算法对图像进行立体匹配。简单背景仿真结果表明,未裁剪BM优化算法的测量误差未0.9%,仿真时间为2s,较其它算法而言,仿真时间最短,实时性最高;复杂背景仿真显示,裁剪后的SGBM改进算法,测量误差为0.4%,仿真时间2.5s,测量误差大幅降低。在图像先验信息的基础上,通过优化BM算法提高了立体匹配实时性,基于改进SGBM算法提高了立体匹配准确性,为双目视觉系统的实际应用提供了理论依据。

基于多尺度卷积神经网络的立体匹配方法

为充分利用图像的特征信息,提出一种改进的卷积神经网络(CNN)方法来匹配图像。网络训练阶段,在结构上改用多分支和不同尺寸卷积核,实现图像多尺度信息的提取与融合,使计算的图像块相似度更可靠。视差计算阶段,将网络模型用于度量图像对的匹配程度,利用该相似度初始化匹配代价,通过交叉代价聚合和优化策略获取粗糙的视差图,对视差图精细化处理。实验结果表明,该方法在Middlebury测试集上能获取更精确的视差。

基于特征级联卷积网络的双目立体匹配

针对图像序列病态区域匹配歧义性以及稠密视差图连通性的问题,本文提出一种基于特征级联卷积神经网络的双目立体匹配计算方法.构造特征重用的全卷积密集块,利用“跳连接”机制将浅层提取的特征图级联到后续子层,对深层卷积丢失的局部特征信息进行补偿.引入指示函数划分一定大小的训练集,将其批量输入特征级联卷积网络模型进行前向传播,同时通过小批量梯度下降(Mini-Batch Gradient Descent,MBGD)策略更新初始权重和偏置参数.根据负连接神经元对网络模型的输出进行初始匹配代价计算,并利用十字交叉域代价聚合(Cross Based Cost Aggregation,CBCA)和半全局立体匹配(Semi-Global Matching,SGM)等算法对代价函数进行优化,求得精准稠密的视差图.分别采用Middlebury数据库提供的训练和测试立体图像集对本文方法和深度学习方法MC-CNN、CBMV、MC-CNN-WS等具有代表性方法进行对比测试.实验结果表明,本文方法具有较高的视差计算精度和鲁棒性,尤其对复杂场景、光照变化以及弱纹理等困难场景图像序列能有效提高匹配率和保持图像细节.

基于全连接神经网络和边缘感知视差传播的立体匹配算法研究

提出一种基于全连接神经网络和边缘感知视差传播(Edge-aware Disparity Propagation,EDP)的立体匹配算法。首先通过全连接网络获得初始的匹配代价,并利用胜者为王(Winner Takes All,WTA)算法生成初始视差图;然后进行一致性检测,对不一致视差点采用EDP和测地距滤波算法计算得到新的匹配代价和视差值,并填充初始视差图;最后,对填充后的视差图进行亚像素增强优化。实验数值表明,该算法能有效降低立体匹配的误匹配率,提高视差图精度,特别是在非闭塞区域有较低的误匹配率。