传统的植株器官分割方法依赖经验选择阈值参数,而当前的深度学习浅层框架可能会导致植株重要的几何特征丢失,并难以有效整合植株的局部和全局特征。因此,提出了一个基于三维点云的植株器官分割网络(local global feature fusion segment...传统的植株器官分割方法依赖经验选择阈值参数,而当前的深度学习浅层框架可能会导致植株重要的几何特征丢失,并难以有效整合植株的局部和全局特征。因此,提出了一个基于三维点云的植株器官分割网络(local global feature fusion segmentation network,LGF-SegNet)模型,通过引入双权重注意力机制模块和位置编码,更适合在植株点云数据中表达几何特征。在提出的框架的解码层引入特征聚合模块,融合植株点云的局部和全局特征,使得该框架能够关注植株的整体特征轮廓同时保留细节植物纹理(如茎和叶)。实验结果表明,提出的架构在语义分割的交并比、精确率和F1分数的平均值分别达到85.76%、93.18%、91.08%,在实例分割的平均精确率、平均实例覆盖率以及平均实例加权覆盖率达到85.27%、78.46%、79.63%,优于当前流行的植株点云分割任务中使用的深度学习网络架构,并适用于植株语义分割和实例分割的双重任务。这为后续的植株生长预测等研究奠定基础。展开更多
在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤。然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割。该研究提出了一个基于三维点云的植物多任务分割网络...在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤。然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割。该研究提出了一个基于三维点云的植物多任务分割网络(a multi-task segmentation network for plant on 3D point cloud,MT-SegNet),结合多值条件随机场(multi-value conditional random field,MV-CRF)模型,同时实现茎、叶语义分割和叶实例分割。在MT-SegNet中,为解决用最大池化或平均池化方法来聚合邻域点特征可能会导致重要信息丢失的问题,该研究提出了一种基于注意力机制的多头注意力池化模块。它能自动学习到重要的邻域点特征,从而有利于提高网络的分割性能。同时,MT-SegNet分成两个不同的分支,分别用于预测点的语义类别和将这些点嵌入到高维向量,以便将这些点聚类为实例。最后,使用MV-CRF进行多任务的联合优化。在彩叶芋点云数据集上的试验结果表明,该方法的茎、叶语义分割的交并比、准确率、召回率和F1分数的平均值分别为84.54%、93.64%、91.39%、92.48%,叶实例分割的平均准确率、平均召回率、平均实例覆盖率和平均加权实例覆盖率分别为88.10%、78.44%、76.24%、76.93%,均优于PointNet、JSNet等现有的深度学习网络。该模型也适用于类似植物的点云分割类任务。这有助于为植物自动化表型测量提供必要的技术条件。展开更多
为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和...为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和不同相机数获取的图像重建作物三维点云,通过重建效率和精度(Hausdorff距离)评估,以及基于点云提取表型参数(株高、幅宽、凸包体积和总表面积)的可靠性评价,优化作物三维点云重建策略。结果显示,对于结构相对稀松、遮挡较少的盆栽植株(苗期、蕾薹期、盛花期、成熟期油菜)、结构相对紧凑、遮挡较多的植株地上部(花铃期棉花、抽穗期水稻、拔节期和灌浆期小麦)以及器官密集、遮挡严重且有较多细长结构的地上部和根系(分蘖期小麦和成熟期水稻地上部、成熟期玉米和油菜根系),分别采用3~4、6和10个相机为其最优重建策略(Hausdorff距离小于或接近0.20 cm,且重建时长和Hausdorff距离归一化值之和最小)。采用不少于4个相机获取的图像重建作物三维点云,可提取较为可靠的表型参数(决定系数R2>0.90,相对均方根误差RRMSE≤9%)。该研究提出的最优重建策略平衡了自动成像系统构建成本、三维重建效率和精度以及适用植株复杂程度,为实现多种作物高效、低成本、高精度三维重建和表型参数提取提供了重要依据。展开更多
为提高植物三维重建的精度,更好地实现植物数字化研究,提出了基于TOF(time of flight)深度传感的植物三维点云数据获取与去噪方法。首先通过TOF深度传感来获取植物点云数据,采用直通滤波器对点云数据进行预处理,减少背景噪声;其次采用...为提高植物三维重建的精度,更好地实现植物数字化研究,提出了基于TOF(time of flight)深度传感的植物三维点云数据获取与去噪方法。首先通过TOF深度传感来获取植物点云数据,采用直通滤波器对点云数据进行预处理,减少背景噪声;其次采用改进密度分析的离群点去噪算法,该算法通过结合邻近点平均距离和邻域点数数量2个特征参数,对点云数据中的离群点噪声进行检测和去除;最后采用双边滤波算法对点云内部的小尺寸噪声进行检测和去除。以番茄植株进行相关试验,试验结果表明:与传统双边滤波算法比较,该文算法最大误差降低了11.2%,平均误差降低了23.2%;与拉普拉斯滤波算法比较,最大误差降低了20.6%,平均误差降低了39.2%,表明该文提出的算法在保持点云特征的情况下,能简单高效地去除植物三维点云数据中的不同尺度噪声。展开更多
文摘在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤。然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割。该研究提出了一个基于三维点云的植物多任务分割网络(a multi-task segmentation network for plant on 3D point cloud,MT-SegNet),结合多值条件随机场(multi-value conditional random field,MV-CRF)模型,同时实现茎、叶语义分割和叶实例分割。在MT-SegNet中,为解决用最大池化或平均池化方法来聚合邻域点特征可能会导致重要信息丢失的问题,该研究提出了一种基于注意力机制的多头注意力池化模块。它能自动学习到重要的邻域点特征,从而有利于提高网络的分割性能。同时,MT-SegNet分成两个不同的分支,分别用于预测点的语义类别和将这些点嵌入到高维向量,以便将这些点聚类为实例。最后,使用MV-CRF进行多任务的联合优化。在彩叶芋点云数据集上的试验结果表明,该方法的茎、叶语义分割的交并比、准确率、召回率和F1分数的平均值分别为84.54%、93.64%、91.39%、92.48%,叶实例分割的平均准确率、平均召回率、平均实例覆盖率和平均加权实例覆盖率分别为88.10%、78.44%、76.24%、76.93%,均优于PointNet、JSNet等现有的深度学习网络。该模型也适用于类似植物的点云分割类任务。这有助于为植物自动化表型测量提供必要的技术条件。
文摘为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和不同相机数获取的图像重建作物三维点云,通过重建效率和精度(Hausdorff距离)评估,以及基于点云提取表型参数(株高、幅宽、凸包体积和总表面积)的可靠性评价,优化作物三维点云重建策略。结果显示,对于结构相对稀松、遮挡较少的盆栽植株(苗期、蕾薹期、盛花期、成熟期油菜)、结构相对紧凑、遮挡较多的植株地上部(花铃期棉花、抽穗期水稻、拔节期和灌浆期小麦)以及器官密集、遮挡严重且有较多细长结构的地上部和根系(分蘖期小麦和成熟期水稻地上部、成熟期玉米和油菜根系),分别采用3~4、6和10个相机为其最优重建策略(Hausdorff距离小于或接近0.20 cm,且重建时长和Hausdorff距离归一化值之和最小)。采用不少于4个相机获取的图像重建作物三维点云,可提取较为可靠的表型参数(决定系数R2>0.90,相对均方根误差RRMSE≤9%)。该研究提出的最优重建策略平衡了自动成像系统构建成本、三维重建效率和精度以及适用植株复杂程度,为实现多种作物高效、低成本、高精度三维重建和表型参数提取提供了重要依据。
文摘为提高植物三维重建的精度,更好地实现植物数字化研究,提出了基于TOF(time of flight)深度传感的植物三维点云数据获取与去噪方法。首先通过TOF深度传感来获取植物点云数据,采用直通滤波器对点云数据进行预处理,减少背景噪声;其次采用改进密度分析的离群点去噪算法,该算法通过结合邻近点平均距离和邻域点数数量2个特征参数,对点云数据中的离群点噪声进行检测和去除;最后采用双边滤波算法对点云内部的小尺寸噪声进行检测和去除。以番茄植株进行相关试验,试验结果表明:与传统双边滤波算法比较,该文算法最大误差降低了11.2%,平均误差降低了23.2%;与拉普拉斯滤波算法比较,最大误差降低了20.6%,平均误差降低了39.2%,表明该文提出的算法在保持点云特征的情况下,能简单高效地去除植物三维点云数据中的不同尺度噪声。
