针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在...针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。展开更多
针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvL...针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。展开更多
针对基于成本体积金字塔的多视图立体网络在初始构建成本体积时存在深度预测误差大的问题,提出了一种利用注意力权重特征图补充三维卷积的方法。该方法引入注意力机制关注感受野空间特征,计算源视角图像特征金字塔的注意力权重,将其加...针对基于成本体积金字塔的多视图立体网络在初始构建成本体积时存在深度预测误差大的问题,提出了一种利用注意力权重特征图补充三维卷积的方法。该方法引入注意力机制关注感受野空间特征,计算源视角图像特征金字塔的注意力权重,将其加权到原始特征图中,同时设计引导成本体积激励模块,通过特征图丰富三维卷积。在DTU(Danish Test of Urban Competencies)基准数据集上的结果显示,该方法表现很好,准确度达到了0.291,相较于CVPMVSNET(Cost Volume Pyramid Based Depth Inference for Multi-View Stereo),整体精度提高了6.55%,表明该模型的改进有效。展开更多
针对多视图三维重建中存在的内存和时间消耗过大、高分辨率重建完整性差等问题,提出一种基于深度学习的多视图重建网络。网络由特征提取模块、级联的Patchmatch模块和深度图优化模块组成。首先,设计U型的特征提取模块,提取多阶段特征图...针对多视图三维重建中存在的内存和时间消耗过大、高分辨率重建完整性差等问题,提出一种基于深度学习的多视图重建网络。网络由特征提取模块、级联的Patchmatch模块和深度图优化模块组成。首先,设计U型的特征提取模块,提取多阶段特征图,并在每个阶段引入相对位置编码的局部自注意力层,捕捉图像中的局部细节和全局上下文,提升网络特征提取性能。其次,设计深度残差网络,通过密集连接和残差结构对特征进行融合,充分利用彩色图像先验知识来约束深度图,提升深度估计的准确性。在公开数据集DTU(Technical University of Denmark)上进行测试,实验结果表明,三维重建质量到了有效的提升,与PatchmatchNet相比在完整性上提升了6.1%,在整体性上提升了2.5%,与其他的SOTA(State-Of-The-Art)方法相比,在完整性和整体性上都得到了较大提升。展开更多
目前基于学习的多视图三维重建研究已经取得了显著成果,但依然存在特征提取不完全和成本代价体之间相关性差的问题,从而导致重建精度不高。针对这一问题,设计了一种级联网络PAA-MVSNet。为了获得输入图像更加完整和准确的特征信息,该模...目前基于学习的多视图三维重建研究已经取得了显著成果,但依然存在特征提取不完全和成本代价体之间相关性差的问题,从而导致重建精度不高。针对这一问题,设计了一种级联网络PAA-MVSNet。为了获得输入图像更加完整和准确的特征信息,该模型采用了“自顶向下”的特征提取方法,在不同尺度上进行特征提取,并将这些特征进行拼接,最后输出3个不同尺度的特征层;此外,引入改进的SE注意力模块优化三维代价体正则化过程,增强了代价体成本体积之间的相关性,提高了重建的精度和完整性。在DTU数据集上和基准网络CasMVSNet相比,该模型的准确性误差和完整性误差指标分别降低了5%和1.4%,且相较于其他模型均有不同程度提升。此外Tanks and Temples数据集上的实验结果表明,该模型有很好的泛化性。提出的基于路径聚合的特征提取模块和注意力优化代价体正则化模块均取得了效果,在重建精度上相比于其他模型都有一定的提升,验证了该模型的有效性。展开更多
为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和...为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和不同相机数获取的图像重建作物三维点云,通过重建效率和精度(Hausdorff距离)评估,以及基于点云提取表型参数(株高、幅宽、凸包体积和总表面积)的可靠性评价,优化作物三维点云重建策略。结果显示,对于结构相对稀松、遮挡较少的盆栽植株(苗期、蕾薹期、盛花期、成熟期油菜)、结构相对紧凑、遮挡较多的植株地上部(花铃期棉花、抽穗期水稻、拔节期和灌浆期小麦)以及器官密集、遮挡严重且有较多细长结构的地上部和根系(分蘖期小麦和成熟期水稻地上部、成熟期玉米和油菜根系),分别采用3~4、6和10个相机为其最优重建策略(Hausdorff距离小于或接近0.20 cm,且重建时长和Hausdorff距离归一化值之和最小)。采用不少于4个相机获取的图像重建作物三维点云,可提取较为可靠的表型参数(决定系数R2>0.90,相对均方根误差RRMSE≤9%)。该研究提出的最优重建策略平衡了自动成像系统构建成本、三维重建效率和精度以及适用植株复杂程度,为实现多种作物高效、低成本、高精度三维重建和表型参数提取提供了重要依据。展开更多
针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法内存消耗过大、推理速度慢,以及对病态区域重建效果不佳的问题,提出了一种基于双边网格和融合代价体的轻量级级联的MVS重建网络。首先利用基于双边网格的代价体上采样模块...针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法内存消耗过大、推理速度慢,以及对病态区域重建效果不佳的问题,提出了一种基于双边网格和融合代价体的轻量级级联的MVS重建网络。首先利用基于双边网格的代价体上采样模块将较低分辨率代价体高效地恢复成高分辨率代价体。随着采用轻量级的动态区域卷积和粗粒度代价体融合模块,提升网络对病态区域特征的表示能力以及对场景整体信息和结构信息的感知能力。实验结果表明,该网络在DTU数据集以及Tanks and Temples数据集上均取得了具有竞争性的结果,并且在内存消耗以及推理速度上都显著优于其他方法。展开更多
针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像...针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像进行独立的梯度计算并在梯度与原图像的基础上使用卷积神经网络提取特征,提高了梯度信息在特征图中的彩响力,增强了特征图对光照变化因素影响的抑制力.其次,针对多视图重建中特征提取步骤只关注当前视图而没有考虑视图间的潜在空间关系的问题,提出一个融合高斯过程回归算法的视图特征增强模块,有效地增益了视图间相关信息对多视立体视觉重建任务的影响,提高了多视立体视觉重建结果的完整度.最后,通过衡量参考图像与相邻图像特征体之间的匹配程度计算不同视图对Costvolume的贡献度,重新构建符合视觉感知的CostVolume.在DTU和Tanks and Temples数据集上进行实验,结果表明,与主流的多视立体视觉重建方法相比,该方法在三维重建的完整度方面有较大提升,并且拥有良好的泛化性.展开更多
文摘针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。
文摘针对在基于深度学习技术的特征提取网络中,深层次的卷积神经网络提取的特征缺乏低级语义信息的问题,该文提出了语义增强的多视立体视觉方法。首先,提出了一种ConvLSTM(Convolutional Long Short-Term Memory)语义聚合网络,通过使用ConvLSTM网络结构,对多个卷积层提取的特征图进行预测,得到融合每层语义信息的特征图,有助于在空间上层层抽取图像的高级特征时,利用长短期记忆神经网络结构的记忆功能来增强高层特征图中的低级语义信息,提高了弱纹理区域的重建效果,提高了3D重建的鲁棒性和完整性;其次,提出了一种可见性网络,在灰度图的基础上,通过突出特征图上可见区域的特征,加深了可见区域在特征图中的影响,有助于提高三维重建效果;最后,提取图像的纹理信息,并进入ConvLSTM语义聚合网络提取深层次特征,提高了弱纹理区域的重建效果。与主流的多视立体视觉重建方法相比,重建效果较好。
文摘针对基于成本体积金字塔的多视图立体网络在初始构建成本体积时存在深度预测误差大的问题,提出了一种利用注意力权重特征图补充三维卷积的方法。该方法引入注意力机制关注感受野空间特征,计算源视角图像特征金字塔的注意力权重,将其加权到原始特征图中,同时设计引导成本体积激励模块,通过特征图丰富三维卷积。在DTU(Danish Test of Urban Competencies)基准数据集上的结果显示,该方法表现很好,准确度达到了0.291,相较于CVPMVSNET(Cost Volume Pyramid Based Depth Inference for Multi-View Stereo),整体精度提高了6.55%,表明该模型的改进有效。
文摘针对多视图三维重建中存在的内存和时间消耗过大、高分辨率重建完整性差等问题,提出一种基于深度学习的多视图重建网络。网络由特征提取模块、级联的Patchmatch模块和深度图优化模块组成。首先,设计U型的特征提取模块,提取多阶段特征图,并在每个阶段引入相对位置编码的局部自注意力层,捕捉图像中的局部细节和全局上下文,提升网络特征提取性能。其次,设计深度残差网络,通过密集连接和残差结构对特征进行融合,充分利用彩色图像先验知识来约束深度图,提升深度估计的准确性。在公开数据集DTU(Technical University of Denmark)上进行测试,实验结果表明,三维重建质量到了有效的提升,与PatchmatchNet相比在完整性上提升了6.1%,在整体性上提升了2.5%,与其他的SOTA(State-Of-The-Art)方法相比,在完整性和整体性上都得到了较大提升。
文摘目前基于学习的多视图三维重建研究已经取得了显著成果,但依然存在特征提取不完全和成本代价体之间相关性差的问题,从而导致重建精度不高。针对这一问题,设计了一种级联网络PAA-MVSNet。为了获得输入图像更加完整和准确的特征信息,该模型采用了“自顶向下”的特征提取方法,在不同尺度上进行特征提取,并将这些特征进行拼接,最后输出3个不同尺度的特征层;此外,引入改进的SE注意力模块优化三维代价体正则化过程,增强了代价体成本体积之间的相关性,提高了重建的精度和完整性。在DTU数据集上和基准网络CasMVSNet相比,该模型的准确性误差和完整性误差指标分别降低了5%和1.4%,且相较于其他模型均有不同程度提升。此外Tanks and Temples数据集上的实验结果表明,该模型有很好的泛化性。提出的基于路径聚合的特征提取模块和注意力优化代价体正则化模块均取得了效果,在重建精度上相比于其他模型都有一定的提升,验证了该模型的有效性。
文摘为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和不同相机数获取的图像重建作物三维点云,通过重建效率和精度(Hausdorff距离)评估,以及基于点云提取表型参数(株高、幅宽、凸包体积和总表面积)的可靠性评价,优化作物三维点云重建策略。结果显示,对于结构相对稀松、遮挡较少的盆栽植株(苗期、蕾薹期、盛花期、成熟期油菜)、结构相对紧凑、遮挡较多的植株地上部(花铃期棉花、抽穗期水稻、拔节期和灌浆期小麦)以及器官密集、遮挡严重且有较多细长结构的地上部和根系(分蘖期小麦和成熟期水稻地上部、成熟期玉米和油菜根系),分别采用3~4、6和10个相机为其最优重建策略(Hausdorff距离小于或接近0.20 cm,且重建时长和Hausdorff距离归一化值之和最小)。采用不少于4个相机获取的图像重建作物三维点云,可提取较为可靠的表型参数(决定系数R2>0.90,相对均方根误差RRMSE≤9%)。该研究提出的最优重建策略平衡了自动成像系统构建成本、三维重建效率和精度以及适用植株复杂程度,为实现多种作物高效、低成本、高精度三维重建和表型参数提取提供了重要依据。
文摘针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法内存消耗过大、推理速度慢,以及对病态区域重建效果不佳的问题,提出了一种基于双边网格和融合代价体的轻量级级联的MVS重建网络。首先利用基于双边网格的代价体上采样模块将较低分辨率代价体高效地恢复成高分辨率代价体。随着采用轻量级的动态区域卷积和粗粒度代价体融合模块,提升网络对病态区域特征的表示能力以及对场景整体信息和结构信息的感知能力。实验结果表明,该网络在DTU数据集以及Tanks and Temples数据集上均取得了具有竞争性的结果,并且在内存消耗以及推理速度上都显著优于其他方法。
文摘针对使用深度神经网络进行多视角图像三维重建时存在特征图对光照变化敏感以及重建不完整的问题,提出了一种融合梯度和高斯过程回归的多视图重建方法.首先,针对光照变化影响提取特征的问题,设计一个融合梯度的特征提取网络.通过对图像进行独立的梯度计算并在梯度与原图像的基础上使用卷积神经网络提取特征,提高了梯度信息在特征图中的彩响力,增强了特征图对光照变化因素影响的抑制力.其次,针对多视图重建中特征提取步骤只关注当前视图而没有考虑视图间的潜在空间关系的问题,提出一个融合高斯过程回归算法的视图特征增强模块,有效地增益了视图间相关信息对多视立体视觉重建任务的影响,提高了多视立体视觉重建结果的完整度.最后,通过衡量参考图像与相邻图像特征体之间的匹配程度计算不同视图对Costvolume的贡献度,重新构建符合视觉感知的CostVolume.在DTU和Tanks and Temples数据集上进行实验,结果表明,与主流的多视立体视觉重建方法相比,该方法在三维重建的完整度方面有较大提升,并且拥有良好的泛化性.
