基于深度学习的单视图彩色三维重建

从单个图像中同时恢复3D形状及其表面颜色的任务极具挑战性,为此提出一个端到端的网络模型来解决这一难题,该模型采用编码器与解码器结构。以单张图像作为输入,首先通过编码器提取特征,再将其同时送入形状生成器和颜色生成器中,得到形状估计以及与其对应的表面颜色,最后通过可微渲染框架渲染生成最终的彩色三维模型。为了保证重构三维模型的细节,在网络的编码器中引入注意力机制以进一步提高重建效果。实验结果表明,与三维重建网络模型相比,所设计的模型在真实三维模型交并比上分别提高10%和3%;与开源项目相比,所设计的模型在结构相似性上提高了3%,在均方误差上降低了1.2%。

废旧机械零部件三维彩色模型重建方法

为了提高废旧机械零部件再制造效率,并对废旧机械零部件的失效状态进行实时监测,提出了一种低成本、高效率的废旧机械零部件三维彩色模型重建方法。采用运动的深度相机获取深度数据流,经过数据预处理、位姿估计以及表面几何重建后,利用纹理映射算法对相机姿态以及图片质量进行联合优化,构建废旧机械零部件三维彩色模型,同时提出主客观两种评价体系以及综合评价参数方案。实验表明,重建方法误差较小、细节清晰,并可获得最佳参数设置方案,对于实际生产过程具有指导意义。

基于改进SGM的废旧机械零件彩色三维重建方法

为提高废旧机械零件再制造效率,对其表面失效状态进行全面检测,提出一种基于改进半全局匹配(SGM)的废旧机械零件彩色三维重建方法。针对机械零件结构复杂、实际环境下光照干扰大等因素导致的传统SGM算法生成的视差图效果不佳问题,提出一种多特征代价融合策略,通过融合颜色代价、Census变换及梯度信息,构建更为全面的相似性度量函数以提高初始代价的可靠性。在代价聚合过程中,增设梯度阈值判定条件划分弱纹理和边缘区域,并采用高斯函数对局部交叉域进行距离加权,提高算法在图像光照失真区域以及零件弱纹理区、边缘复杂结构处的匹配效果。最后,通过视差计算和多步骤视差优化处理得到最终的精细视差图,进而通过RGB图像纹理映射实现对废旧机械零件的彩色三维模型重建。实验结果表明,所提方法重建的三维彩色模型纹理清晰且尺寸误差较小,所提方法适用于实际产线中对废旧机械零件的表面失效信息在线分析。

多传感器彩色纹理色彩差异修正方法

针对三维彩色扫描仪多个传感器获得的彩色纹理图像存在色彩差异,导致重建的三维彩色模型表面出现色彩分块现象的问题,提出一种基于色彩迁移的纹理图像色彩修正方法。首先,利用综合质量图像评价函数(CAF)进行图像质量评价,从多个传感器获得的彩色纹理图像中选出一幅质量最佳的作为标准图像;然后,参照该图像调整其他纹理图像各个色彩通道的色彩均值、方差等统计量。将所提方法用于三维人体彩色扫描仪的纹理图像色彩修正,结果表明,色彩修正后纹理图像间的色彩差异减小,得到的三维人体彩色模型色彩分块现象得到明显改善,色彩更加均衡自然。与经典色彩变换方法、改进色彩变换方法、基于最小角度选择的融合方法相比,实验的主观效果和客观图像综合质量评价值都表明了该方法的优越性。