针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvL...针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。展开更多
为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和...为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和不同相机数获取的图像重建作物三维点云,通过重建效率和精度(Hausdorff距离)评估,以及基于点云提取表型参数(株高、幅宽、凸包体积和总表面积)的可靠性评价,优化作物三维点云重建策略。结果显示,对于结构相对稀松、遮挡较少的盆栽植株(苗期、蕾薹期、盛花期、成熟期油菜)、结构相对紧凑、遮挡较多的植株地上部(花铃期棉花、抽穗期水稻、拔节期和灌浆期小麦)以及器官密集、遮挡严重且有较多细长结构的地上部和根系(分蘖期小麦和成熟期水稻地上部、成熟期玉米和油菜根系),分别采用3~4、6和10个相机为其最优重建策略(Hausdorff距离小于或接近0.20 cm,且重建时长和Hausdorff距离归一化值之和最小)。采用不少于4个相机获取的图像重建作物三维点云,可提取较为可靠的表型参数(决定系数R2>0.90,相对均方根误差RRMSE≤9%)。该研究提出的最优重建策略平衡了自动成像系统构建成本、三维重建效率和精度以及适用植株复杂程度,为实现多种作物高效、低成本、高精度三维重建和表型参数提取提供了重要依据。展开更多
针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像...针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像进行独立的梯度计算并在梯度与原图像的基础上使用卷积神经网络提取特征,提高了梯度信息在特征图中的彩响力,增强了特征图对光照变化因素影响的抑制力.其次,针对多视图重建中特征提取步骤只关注当前视图而没有考虑视图间的潜在空间关系的问题,提出一个融合高斯过程回归算法的视图特征增强模块,有效地增益了视图间相关信息对多视立体视觉重建任务的影响,提高了多视立体视觉重建结果的完整度.最后,通过衡量参考图像与相邻图像特征体之间的匹配程度计算不同视图对Costvolume的贡献度,重新构建符合视觉感知的CostVolume.在DTU和Tanks and Temples数据集上进行实验,结果表明,与主流的多视立体视觉重建方法相比,该方法在三维重建的完整度方面有较大提升,并且拥有良好的泛化性.展开更多
文摘针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。
文摘为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和不同相机数获取的图像重建作物三维点云,通过重建效率和精度(Hausdorff距离)评估,以及基于点云提取表型参数(株高、幅宽、凸包体积和总表面积)的可靠性评价,优化作物三维点云重建策略。结果显示,对于结构相对稀松、遮挡较少的盆栽植株(苗期、蕾薹期、盛花期、成熟期油菜)、结构相对紧凑、遮挡较多的植株地上部(花铃期棉花、抽穗期水稻、拔节期和灌浆期小麦)以及器官密集、遮挡严重且有较多细长结构的地上部和根系(分蘖期小麦和成熟期水稻地上部、成熟期玉米和油菜根系),分别采用3~4、6和10个相机为其最优重建策略(Hausdorff距离小于或接近0.20 cm,且重建时长和Hausdorff距离归一化值之和最小)。采用不少于4个相机获取的图像重建作物三维点云,可提取较为可靠的表型参数(决定系数R2>0.90,相对均方根误差RRMSE≤9%)。该研究提出的最优重建策略平衡了自动成像系统构建成本、三维重建效率和精度以及适用植株复杂程度,为实现多种作物高效、低成本、高精度三维重建和表型参数提取提供了重要依据。
文摘针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像进行独立的梯度计算并在梯度与原图像的基础上使用卷积神经网络提取特征,提高了梯度信息在特征图中的彩响力,增强了特征图对光照变化因素影响的抑制力.其次,针对多视图重建中特征提取步骤只关注当前视图而没有考虑视图间的潜在空间关系的问题,提出一个融合高斯过程回归算法的视图特征增强模块,有效地增益了视图间相关信息对多视立体视觉重建任务的影响,提高了多视立体视觉重建结果的完整度.最后,通过衡量参考图像与相邻图像特征体之间的匹配程度计算不同视图对Costvolume的贡献度,重新构建符合视觉感知的CostVolume.在DTU和Tanks and Temples数据集上进行实验,结果表明,与主流的多视立体视觉重建方法相比,该方法在三维重建的完整度方面有较大提升,并且拥有良好的泛化性.
