基于立体视觉和YOLO深度学习框架的焊缝识别与机器人路径规划算法

为了实现机器人焊接的免示教路径规划,结合深度学习与点云处理技术,开发了一种高效、稳定的焊缝智能识别算法.首先,采用ETH(Eye-to-hand)构型的工业级3D相机获取焊件周围的二维图像和3D点云模型,利用预先训练的YOLOv8目标检测模型识别焊件所在的ROI区域(region of interest,ROI),模型识别精度为99.5%,从而实现快速剔除背景点云,并基于RANSAC平面拟合、欧式聚类等点云处理算法,对ROI区域的三维点云进行焊缝空间位置的精细识别;最后根据手眼标定结果转化为机器人用户坐标系下的焊接轨迹.结果表明,文中所开发的算法可实现随机摆放的焊缝自动识别和焊接机器人路径规划,生成的轨迹与人工示教轨迹效果相当,偏差在0.5 mm以内.

点云的红绿立体三维可视化方法研究

传统的立体观察方式主要应用于立体像对建立的模型,近年来三维激光扫描点云立体视模型构建的研究也逐渐成为热点。针对激光点云的立体观测方法,对三维点云数据组织及可视化方法展开研究。实验结果表明,点云可视化可以通过透视变换、点云图像线性混合以及红绿影像互补色生成。

基于四目立体视觉的三维全自动建模

为保护并传承敦煌莫高窟世界文化遗产,研究基于四目立体视觉系统的三维全自动建模技术。由于提取的点云数量较大,导致自动建模过程中,点云的三角构网步骤无法顺利进行,因此着重研究点云的精简算法。将包围盒算法与点云的曲率特征相结合,提出一种点云精简算法,即改进的包围盒法。实验结果表明,该方法对点云的采样精度高于原始包围盒法,点云精简率可达93.6%,点云数据精简后三维建模效率大大提高,生成的三维模型精度较高。

基于多视角立体视觉的拔节期玉米水分胁迫预测模型

针对现有采用生理特性指标的玉米水分胁迫检测方法影响玉米植株生长的问题,提出了一种基于多视角立体视觉的玉米水分胁迫预测模型。首先,利用RGB相机获取玉米拔节期-30°、0°(玉米叶片展开平面)和30°的3视角图像;然后,基于加速稳健特征点(Speeded up robust features,SURF)检测的双目立体视觉原理,建立-30°~0°、0°~30°2个玉米点云模型,采用基于KD树(K-dimensional tree,Kd-tree)的最近迭代(Iterative closest point,ICP)点云配准算法,将2个玉米点云模型数据合并到同一坐标系下;最后,用L1-中值法提取玉米点云骨架,在该玉米骨架基础上提取玉米节间高度、叶片长度及株高等参数,建立基于单一参数的玉米水分胁迫预测模型,并建立基于多参数纠错输出编码思想的支持向量机(Error correcting output codes-support vector machine,ECOC-SVM)水分胁迫预测模型。试验结果表明,玉米叶片长度、节间高度和玉米株高每日生长量与水分胁迫程度呈显著线性关系,故分别以节间高度、株高每日生长量和全展叶叶长为自变量,以土壤含水率为因变量,建立水分胁迫预测模型,得到相关系数分别为0.8922、0.8928和0.8176,RMSE分别为2.92%、2.53%和2.76%。为了准确判断玉米水分胁迫程度,以上述3个玉米参数为特征向量,建立ECOC-SVM水分胁迫预测模型,该模型测试集预测准确率为93.33%,具有较高的准确性。本研究可以快速检测拔节期玉米的水分胁迫情况,为农情信息精准获取提供技术支持。

基于多视角自动成像系统的作物三维点云重建策略优化

为满足高通量作物表型分析需求,提升三维点云重建效率和精度,该研究针对不同作物、不同生育时期、不同植株部位(地上部和根系),基于研发的多视角自动成像系统和SFM(structure from motion)-MVS(multi-view stereo)算法,采用不同视角和不同相机数获取的图像重建作物三维点云,通过重建效率和精度(Hausdorff距离)评估,以及基于点云提取表型参数(株高、幅宽、凸包体积和总表面积)的可靠性评价,优化作物三维点云重建策略。结果显示,对于结构相对稀松、遮挡较少的盆栽植株(苗期、蕾薹期、盛花期、成熟期油菜)、结构相对紧凑、遮挡较多的植株地上部(花铃期棉花、抽穗期水稻、拔节期和灌浆期小麦)以及器官密集、遮挡严重且有较多细长结构的地上部和根系(分蘖期小麦和成熟期水稻地上部、成熟期玉米和油菜根系),分别采用3~4、6和10个相机为其最优重建策略(Hausdorff距离小于或接近0.20 cm,且重建时长和Hausdorff距离归一化值之和最小)。采用不少于4个相机获取的图像重建作物三维点云,可提取较为可靠的表型参数(决定系数R2>0.90,相对均方根误差RRMSE≤9%)。该研究提出的最优重建策略平衡了自动成像系统构建成本、三维重建效率和精度以及适用植株复杂程度,为实现多种作物高效、低成本、高精度三维重建和表型参数提取提供了重要依据。

基于双目视觉稀疏点云重建的输电线路弧垂测量方法

弧垂是输电线路设计和运行的主要指标,必须严格控制在规定的设计容限内。笔者提出了一种基于双目视觉稀疏点云重建的输电线路弧垂测量方法,通过获取电力走廊影像对,采用数字图像处理技术对输电线路进行定位与提取,使用标定参数采样核线影像对,并利用核线约束解算其稀疏点云,最后通过悬链线拟合技术重建线路三维矢量,由此模型计算出精确的弧垂指标。研究结果表明,当被测对象处于中短距离的情况下,本方法具有较高的弧垂测量精度,且在工程应用中具有较大的灵活性。

基于散斑视觉测量的叶片模型重构

叶片是航空发动机的重要部件,由于工作环境恶劣,容易出现损坏。对损坏的叶片进行修复是比较经济的做法,模型重构是航空发动机叶片修复的关键技术之一。为此提出了一种基于散斑视觉测量的叶片模型重构方法。采用散斑视觉系统采集叶片曲面散斑点;通过散斑点立体匹配得到局部点云数据;通过点云拼接得出叶片整体点云;根据叶片点云曲率提取边界点,通过三次B样条曲线对叶片点云边界点进行拟合,得出叶片包络曲线;利用包络曲线和点云重建叶片模型;进行了实验验证,证明了方法的可行性。