针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvL...针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。展开更多
针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像...针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像进行独立的梯度计算并在梯度与原图像的基础上使用卷积神经网络提取特征,提高了梯度信息在特征图中的彩响力,增强了特征图对光照变化因素影响的抑制力.其次,针对多视图重建中特征提取步骤只关注当前视图而没有考虑视图间的潜在空间关系的问题,提出一个融合高斯过程回归算法的视图特征增强模块,有效地增益了视图间相关信息对多视立体视觉重建任务的影响,提高了多视立体视觉重建结果的完整度.最后,通过衡量参考图像与相邻图像特征体之间的匹配程度计算不同视图对Costvolume的贡献度,重新构建符合视觉感知的CostVolume.在DTU和Tanks and Temples数据集上进行实验,结果表明,与主流的多视立体视觉重建方法相比,该方法在三维重建的完整度方面有较大提升,并且拥有良好的泛化性.展开更多
文摘针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。
文摘针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像进行独立的梯度计算并在梯度与原图像的基础上使用卷积神经网络提取特征,提高了梯度信息在特征图中的彩响力,增强了特征图对光照变化因素影响的抑制力.其次,针对多视图重建中特征提取步骤只关注当前视图而没有考虑视图间的潜在空间关系的问题,提出一个融合高斯过程回归算法的视图特征增强模块,有效地增益了视图间相关信息对多视立体视觉重建任务的影响,提高了多视立体视觉重建结果的完整度.最后,通过衡量参考图像与相邻图像特征体之间的匹配程度计算不同视图对Costvolume的贡献度,重新构建符合视觉感知的CostVolume.在DTU和Tanks and Temples数据集上进行实验,结果表明,与主流的多视立体视觉重建方法相比,该方法在三维重建的完整度方面有较大提升,并且拥有良好的泛化性.
