针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvL...针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。展开更多
针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像...针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像进行独立的梯度计算并在梯度与原图像的基础上使用卷积神经网络提取特征,提高了梯度信息在特征图中的彩响力,增强了特征图对光照变化因素影响的抑制力.其次,针对多视图重建中特征提取步骤只关注当前视图而没有考虑视图间的潜在空间关系的问题,提出一个融合高斯过程回归算法的视图特征增强模块,有效地增益了视图间相关信息对多视立体视觉重建任务的影响,提高了多视立体视觉重建结果的完整度.最后,通过衡量参考图像与相邻图像特征体之间的匹配程度计算不同视图对Costvolume的贡献度,重新构建符合视觉感知的CostVolume.在DTU和Tanks and Temples数据集上进行实验,结果表明,与主流的多视立体视觉重建方法相比,该方法在三维重建的完整度方面有较大提升,并且拥有良好的泛化性.展开更多
为了提高侵蚀沟立体建模与监测的精度,该文采用消费级无人机作为低空遥感平台,以黄土高原一典型切沟为研究对象,通过无人机采集的倾斜影像与部署的地面控制点,采用多视立体运动恢复结构方法(structure from motion with multi-view ster...为了提高侵蚀沟立体建模与监测的精度,该文采用消费级无人机作为低空遥感平台,以黄土高原一典型切沟为研究对象,通过无人机采集的倾斜影像与部署的地面控制点,采用多视立体运动恢复结构方法(structure from motion with multi-view stereo,Sf M-MVS)构建了高精度侵蚀沟表面模型,对其建模精度与数字高程模型、正射影像等成果进行分析,并与传统正射航图建模成果进行了比较。结果表明:构建的侵蚀沟稠密点云模型的水平均方根误差约为0.096 m,高程均方根误差约为0.018 m,满足1:500比例尺数字线划图与正射影像图的要求。与正射航图建模成果相比,高程误差减小了50%;侵蚀沟稠密点云的整体密度与地面激光雷达相当,且避免了后者多站拼接造成的密度不均问题。除了沟头部分的小块内凹区域,沟壁、沟头部分没有明显的空洞,植被覆盖的区域也能够正常建模。而正射航图的建模成果中在沟头内凹部分以及植被覆盖部分存在大块的空洞;由侵蚀沟的数字高程模型与等高线图可见,构建的侵蚀沟模型能够准确地反映切沟的形态特征。总体而言,该方法在侵蚀沟的高精度建模与监测方面具有显著优势,具有推广应用的潜力。展开更多
The linear multi-baseline stereo system introduced by the CMU-RI group has been proven to be a very effective and robust stereovision system. However, most traditional stereo rectification algorithms are all designed ...The linear multi-baseline stereo system introduced by the CMU-RI group has been proven to be a very effective and robust stereovision system. However, most traditional stereo rectification algorithms are all designed for binocular stereovision system, and so, cannot be applied to a linear multi-baseline system. This paper presents a simple and intuitional method that can simultaneously rectify all the cameras in a linear multi-baseline system. Instead of using the general 8-parameter homography transform, a two-step virtual rotation method is applied for rectification, which results in a more specific transform that has only 3 parameters, and more stability. Experimental results for real stereo images showed the presented method is efficient.展开更多
文摘针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。
文摘针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像进行独立的梯度计算并在梯度与原图像的基础上使用卷积神经网络提取特征,提高了梯度信息在特征图中的彩响力,增强了特征图对光照变化因素影响的抑制力.其次,针对多视图重建中特征提取步骤只关注当前视图而没有考虑视图间的潜在空间关系的问题,提出一个融合高斯过程回归算法的视图特征增强模块,有效地增益了视图间相关信息对多视立体视觉重建任务的影响,提高了多视立体视觉重建结果的完整度.最后,通过衡量参考图像与相邻图像特征体之间的匹配程度计算不同视图对Costvolume的贡献度,重新构建符合视觉感知的CostVolume.在DTU和Tanks and Temples数据集上进行实验,结果表明,与主流的多视立体视觉重建方法相比,该方法在三维重建的完整度方面有较大提升,并且拥有良好的泛化性.
文摘为了提高侵蚀沟立体建模与监测的精度,该文采用消费级无人机作为低空遥感平台,以黄土高原一典型切沟为研究对象,通过无人机采集的倾斜影像与部署的地面控制点,采用多视立体运动恢复结构方法(structure from motion with multi-view stereo,Sf M-MVS)构建了高精度侵蚀沟表面模型,对其建模精度与数字高程模型、正射影像等成果进行分析,并与传统正射航图建模成果进行了比较。结果表明:构建的侵蚀沟稠密点云模型的水平均方根误差约为0.096 m,高程均方根误差约为0.018 m,满足1:500比例尺数字线划图与正射影像图的要求。与正射航图建模成果相比,高程误差减小了50%;侵蚀沟稠密点云的整体密度与地面激光雷达相当,且避免了后者多站拼接造成的密度不均问题。除了沟头部分的小块内凹区域,沟壁、沟头部分没有明显的空洞,植被覆盖的区域也能够正常建模。而正射航图的建模成果中在沟头内凹部分以及植被覆盖部分存在大块的空洞;由侵蚀沟的数字高程模型与等高线图可见,构建的侵蚀沟模型能够准确地反映切沟的形态特征。总体而言,该方法在侵蚀沟的高精度建模与监测方面具有显著优势,具有推广应用的潜力。
文摘The linear multi-baseline stereo system introduced by the CMU-RI group has been proven to be a very effective and robust stereovision system. However, most traditional stereo rectification algorithms are all designed for binocular stereovision system, and so, cannot be applied to a linear multi-baseline system. This paper presents a simple and intuitional method that can simultaneously rectify all the cameras in a linear multi-baseline system. Instead of using the general 8-parameter homography transform, a two-step virtual rotation method is applied for rectification, which results in a more specific transform that has only 3 parameters, and more stability. Experimental results for real stereo images showed the presented method is efficient.
