基于3D视觉与深度学习的焊接钢管端部引熄弧板切割点空间定位方法

针对目前焊接钢管端部引熄弧板切割点空间定位精度低、速度慢和环境适应性差的问题,提出了一种基于3D视觉技术和深度学习的高效、高精度的切割点空间定位方法。首先,利用3D视觉技术获取钢管端部的点云数据,通过三维点云处理方法提取有效点云和过滤点云中的离群点,并采用二维图像处理方法将其投影为二维图像;然后通过深度学习中目标检测方法确定二维图像中钢管端部与引熄弧板连接边缘区域;最后计算分析钢管端部与引熄弧板在二维图像中的交点信息并将交点信息映射至原始三维点云,完成钢管端部引熄弧板切割点的空间定位。实验测试了896个不同的钢管端部带有引、熄弧板点云数据(正样本)和104个不带有引熄弧板数据(负样本),统计测试结果:正样本管端和引熄弧板连接边缘定位准确率达到99.56%、误检率为0.15%,负样本检出率为0.29%。使用本文方法测试294次钢管端部引熄弧板切割点空间位置,统计测试结果与实际切割点位综合误差,结果均在±2 mm以内,钢管端部引熄弧板切割点空间定位平均耗时为5.8 s。测试结果表明,该方法可以有效解决上述问题。

基于图注意力机制的三维点云感知

基于PointNet++网络的三维点云感知方法能够通过提取目标的几何特征信息来对目标进行分类。虽然PointNet++网络能够提取到点云数据的局部特征,但未考虑点与其邻域点之间的关系,因此一旦缺失一个点的局部特征,网络的性能会受到较大的影响。针对这一问题,该文提出一种基于图注意力机制(graphic attention mecahnism)的新网络架构GA-PointNet++。模型利用图注意力机制在点与其邻域点之间分配注意力系数,完成点云局部特征的提取。在分类实验中,该文在ModelNet40数据集上的实验结果表明,提出的GA-PointNet++模型最终的平均分类准确率达到了88.8%,总体准确率达到了91.3%。相较于PointNet++基线模型总体准确率提高1.1百分点,验证了GA-PointNet++在分类任务中的有效性。

基于改进超点图的移动激光点云数据自动分类

针对点云数据无序、无结构、数据量大、点云密度不均匀、数据处理难度较大等问题,将超点图三维语义分割网络模型应用于移动激光点云数据自动分类领域,并提出两点优化方法:1)在PointNet网络中引入多尺度网络结构,同时获取点云的局部特征和全局特征,实现多尺度特征重用;2)使用Adam优化算法代替原有的梯度下降算法,提升深度学习性能。实验使用真实道路数据进行训练与验证,结果表明,相较于PointNet、PointNet++、PointSIFT及SPG等方法,在复杂道路情况下,精确性和均交并比有一定提高,且具有很好的鲁棒性。

莲蓬采摘点与采摘姿态计算算法

针对研发莲蓬采摘机器人遇到的采摘点识别问题,提出了一种莲蓬采摘点与采摘姿态计算方法。提出了一种基于YOLO(you only look once)与Deeplab v3+的二阶段分割网络,并通过Mobilenet v2特征提取网络对算法进行轻量化改进,最后对分割后的结果进行图像处理,进一步计算得到莲蓬采摘点及采摘姿态。将50幅原始图像进行验证试验的结果表明,算法计算成功率为88.89%,平均帧率为34.41 FPS。得到的算法能够为莲蓬自动化采摘机械提供有效信息,具有轻量化、效率高的特点,促进了计算机视觉与神经网络在现代农业的应用。

激光成像处理技术研究现状及展望(特邀)

激光成像在多个领域中应用广泛,其成像时包含一系列的信号和信息处理过程,会对成像质量造成关键性的影响,并在成像信息运用的过程中起着关键性作用。文中主要针对典型激光成像处理技术进行综述性研究。首先,讨论了典型成像体制的激光成像处理技术特征,按照信号处理和信息处理两个阶段归纳了主要的共性处理方法和内容。其次,分析了激光信号去噪、辐射与几何校正和激光点云处理技术,激光测距、图像重建、目标检测的信息处理技术的发展现状,研究了典型处理技术特别是基于深度学习的激光成像智能处理技术的实现过程。最后,分析了激光成像处理技术的发展需求和未来发展方向,希望能对激光成像的相关研究带来一定的参考作用。

基于高程感知多尺度图卷积网络的地物分类

机载激光雷达获取的点云具有类别分布不均匀、样本高程差异大的复杂特点,现有方法难以充分识别其细粒度的局部结构。针对该问题,堆叠使用多层边缘卷积算子同时提取局部信息和全局信息,并引入高程注意力权重作为特征提取的补充,设计了一种用于机载激光雷达点云地物分类的端到端网络,提出基于高程感知多尺度图卷积网络的地物分类方法。对原始点云划分子块并采样到固定点数;采用多尺度边缘卷积算子提取多尺度局部-全局特征并进行融合,同时采用高程感知模块生成注意力权重并应用于特征提取网络;利用改进的焦点损失函数进一步解决类别分布不均问题,完成分类。采用国际摄影测量与遥感学会(ISPRS)提供的标准测试数据集对所提方法进行验证,所提方法的总体分类精度达到0.859,单类别分类精度特别是对建筑物的提取精度较ISPRS竞赛中公开的最好结果提高了4.6%。研究结果对实际应用和网络设计优化具有借鉴意义。

三维点云深度学习分类模型学习策略分析——以机载多光谱LiDAR点云为例

近年来,随着三维计算机视觉的发展,三维点云深度学习方法得到越来越多学者的关注。然而,目前大多数三维点云深度学习方法仅在标准数据集上进行精度和性能评估,这些方法在设计过程中通常会根据特定数据集设定特定的学习策略以达到最佳点云分类精度,从而影响模型的泛化能力。在三维点云深度学习方法的遥感应用中,往往会出现诸如复杂的网络模型方法并不一定取得更好的数据处理精度,以及原始网络模型学习策略并不一定获得最优结果等问题。对此,为了探究学习策略对三维点云深度学习方法在实际遥感应用的影响,文中以机载多光谱LiDAR点云分类应用为例,以深度学习经典模型PointNet++为主,在分析当前学习策略的基础上构建一套较为通用的深度学习策略,以提高点云分类精度的稳定性和鲁棒性。机载多光谱LiDAR点云分类实验表明,学习策略对于点云分类精度影响不容忽视,学习策略的调整可以有效地提高模型对海量三维点云分类能力。

嵌入深度信念网络的点过程模型用于关键词检出

基于点过程模型的关键词检出系统是一种新颖的连续语音关键词检出系统,虽然该系统具有对样本数要求不高、计算速度快等优点,但其检出性能比较依赖于前端音素探测器的准确度,而目前广泛用于音素探测器的高斯混合模型存在表征和建模能力不强的问题。针对这一缺陷,本文提出了一种嵌入深度信念网络的点过程模型并将其应用于关键词检出,该模型采用表征能力强的深度信念网络来建立音素探测器,改进了高斯混合模型在表征能力上的不足。实验结果表明该方法能够获得比原模型更高的检出率,并且降低了计算复杂度,更适用于需要实时检测关键词的场合。

颅缝早闭手术中颅骨切割方案生成方法

为实现颅缝早闭手术方案制定的规范化,提出一种结合深度学习、立体视觉和点云处理技术的颅骨切割轨迹生成方法,用于建立切割方案模板库和生成新的病例切割方案。该方法将深度学习应用于颅骨外表面的实例分割中,利用Mask R-CNN对手术区域进行检测和分割,利用简化轮廓提取算法提取切割轨迹,并结合点云处理技术将切割轨迹坐标进行2D-3D映射,实现切割轨迹自动化提取;在此基础上建立典型病例模板库,通过模板匹配方法自动生成新病例的切割方案。实验证明:该轨迹提取方法可以准确高效地检测出颅骨切割轨迹,并将轨迹坐标进行3D映射,点云深度测量误差小于3 mm,达到临床可用标准;模板匹配方法也有效生成新病例的切割轨迹,符合资深医生的手术方案。

新能源电力系统中的分布式光伏净负荷预测

为响应碳达峰、碳中和的需求,构建一套完整的"源-网-荷-储"的新能源电力系统,提出了一种基于Hamiltonian Monte Carlo推断深度高斯过程(HMCDGP)算法的分布式光伏净负荷预测模型.首先,分别使用直接预测和间接预测两种形式对预测模型的精度进行实验并得到点预测结果;其次,使用所提出的模型进行概率预测实验并得到区间预测结果;最后,通过以澳洲电网记录的300户净负荷数据为基础的对比实验验证所提模型的优越性.在得到准确的净负荷概率预测后,可以通过电力调度充分利用光伏产出,减少化石能源使用,从而减少碳排放.

一种基于改进YOLOv4算法的茶树芽叶采摘点识别及定位方法

针对复杂环境下农业采茶机器人无法快速、准确地识别与定位茶树芽叶采摘点的问题,本文采用改进型YOLOv4-Dense算法和OpenCV图像处理方法,对茶树芽叶采摘点的定位问题进行研究。首先,基于YOLOv4算法,将CSPDarkNet53主干特征提取网络中的ResNet单元替换为DenseNet单元,使用改进后的算法模型对采集的茶树数据集进行芽叶目标检测;其次,运用OpenCV图像处理方法进行RGB-HSV颜色转换获取芽叶的轮廓,并基于形态学算法定位采摘点的位置;最后,开展采摘点定位方法的对比实验,分别与矩函数法、最小外接矩形中心点法的定位结果进行对比。实验结果表明:1)改进型YOLOv4-Dense算法在芽叶目标检测上的精确率为91.83%,召回率为68.84%,AP值为86.55%,F1分数为0.79;与YOLOv4模型的精确率、召回率、AP值、F1分数相比分别提升了2.21%,2.00%;2.05%,0.02;与YOLO v3模型相比它们分别提升了,5.56%,15.26%;9.13%,0.13;2)针对自然条件下的茶树芽叶,采用OpenCV图像处理方法定位采摘点的精确率为80.8%,召回率为83.2%,与矩函数法、最小外接矩形中心点法相比,分别提升了3.5%,7.1%;1.4%,6.1%。实验数据说明本研究方法对于芽叶采摘点的准确识别与定位具有一定的借鉴意义。

单元特性提取中采样点偏离现象的研究

为使应用于集成电路设计中的单元时序信息库更能反映实际情况,研究了特性提取中出现的采样点分布偏移和格点偏离现象,并提出了有效的解决方法。该方法通过建立查表模型,无需多次重复仿真就能准确定位任意采样点。理论分析和仿真结果均表明,该方法不仅耗费时间少,定位也能满足单元建库的要求,经过实例化后,能很好地应用于超深亚微米工艺下的单元特性提取。

引入深度补全与实例分割的三维目标检测

三维目标检测是自动驾驶系统与机器人系统的关键技术,目前对该技术的研究大多基于深度相机获取的RGB-D图,但在室外自动驾驶场景中,输入雷达点云更符合三维目标检测系统的应用环境。以RGB图与雷达点云为输入,结合IP-Basic算法在消除噪声的同时将稀疏雷达点云补全成稠密深度图;采用降维原理,结合Mask R-CNN在RGB图上进行实例分割,进而提取目标在深度图上的对应区域;结合点云的自然不变性,将目标对应深度图转化为点云后输入到卷积神经网络进行特征学习。在公开数据集Kitti上进行实验,实验结果表明:该方法在公开三维目标检测数据集上达到了较好的检测精度。

深度学习在点云分类中的研究综述

点云数据被广泛用于多种三维场景,深度学习凭借提取特征自动化、泛化能力强等优势在三维点云的应用领域快速发展,逐渐成为点云分类的主流研究方法。根据提取方式的不同,将现有算法归纳为传统方法以及深度学习算法。着重介绍基于深度学习的代表性方法和最新研究,总结其基本思想以及优缺点,对比分析主要方法的实验结果;展望深度学习在点云分类领域的未来工作以及研究发展方向。

深水浊积水道训练图像建立与多点地质统计建模应用

深水浊积水道具有丰富油气,是油气勘探开发的热点领域。以安哥拉深水浊积水道为对象,开展基于多点地质统计的储层建模研究。针对深水水道沉积以及迁移特征,对基于沉积过程的Alluvsim算法进行了改进。通过在Alluvsim中增加整体迁移算法,模拟浊积水道的整体迁移沉积过程。根据浊积水道决口少而弯曲度增加的特点,在Alluvsim中增加了弯曲度指标约束,从而再现浊积水道的弯曲特征。根据安哥拉深水浊积水道地质知识库文献调研,获得了研究区浊积水道形态以及统计特征参数信息。采用改进的Alluvsim算法获得了研究区浊积水道的训练图像。以此训练图像作为模式输入,以井资料作为条件输入,以地震资料作为趋势约束,采用多点地质统计Snesim算法建立了安哥拉深水浊积水道三维地质模型,再现了安哥拉浊积水道的空间分布特征。对模型进行了检验表明,建立的地质模型计算的变差函数与地震属性获得变差函数具有较好的一致性,建立的三维地质模型可以用于后续油藏工程与数值模拟研究,指导油田勘探开发。该研究不仅为多点地质统计应用于实际储层建模提供了完整的建模流程,也为浊积水道训练图像自动生成提供了技术保障。

基于立体视觉的动态鱼体尺寸测量

获取渔业养殖鱼类生长态势的人工测量方法费时费力,且影响鱼的正常生长。为了实现水下鱼体信息动态感知和快速无损检测,该研究提出立体视觉下动态鱼体尺寸测量方法。通过双目立体视觉技术获取三维信息,再通过Mask-RCNN(Mask Region Convolution Neural Network)网络进行鱼体检测与精细分割,最后生成鱼表面的三维点云数据,计算得到自由活动下多条鱼的外形尺寸。试验结果表明,长度和宽度的平均相对误差分别在4.7%和9.2%左右。该研究满足了水产养殖环境下进行可视化管理、无接触测量鱼体尺寸的需要,可以为养殖过程中分级饲养和合理投饵提供参考依据。

基于YOLOv3检测和特征点匹配的多目标跟踪算法

针对传统多目标跟踪算法中行人检测速度慢、易受光照变化、行人快速移动及部分遮挡因素的影响造成行人目标跟踪性能差等问题,提出一种根据经典的Tracking-by-Detection模式,采用深度学习YOLOv3算法检测行人目标,然后利用FAST角点检测算法与BRISK特征点描述算法对相邻帧间的行人目标进行特征点匹配,实现多目标行人跟踪的算法。实验结果表明行人目标在背光、快速移动、部分遮挡等复杂环境下均获得了良好的连续跟踪效果,平均精度达到87.7%,速度达到35帧/s。

基于改进Mask R-CNN的纸箱堆垛分割与定位方法

我国物流仓储行业发展迅速,利用仓储机器人实现仓库无人化是发展趋势,如何使机器人自主识别纸箱并进行定位具有重要的研究意义。为提升图像处理网络模型的性能,以完成对纸箱的分割与定位任务,对现有网络存在的不足进行理论分析,并结合仓储环境下纸箱的特点和机器人作业的要求,提出一种Mask R-CNN网络的改进方法。针对漏检误检率不理想和定位不精准等问题,分别提出了引入上下文机制和改善损失函数等改进方案,实验证明,改进后的Mask R-CNN网络在识别率与定位准确率上都有大幅提高。

深孔加工关键技术在实际生产中的研究与应用

论述了应用枪钻在自制组合机床上加工深孔的方法。简述了枪钻的工作原理、组成结构,论述了枪钻切削加工深孔的工艺改善过程,包括其主要参数如何通过试验、经数据分析后再调整参数,最后固化工艺及参数。应用实例表明:枪钻具有加工精度高、排屑好的特点,合理应用才能在"小直径深孔加工"方面具有良好的效果。

基于3D-MobileNetv2的多目标实时跟踪框架

为了克服卡尔曼滤波在远距离以及遮挡情形下跟踪不准确的问题,设计了一个多目标实时跟踪框架,利用神经网络预测目标物体在三维空间里的状态,使用匈牙利算法逐帧进行数据关联,设计轨迹管理模块管理相应的轨迹,实现多目标跟踪。相较于传统的框架,该框架不需要在图像空间执行卡尔曼滤波,不仅能在高帧速率准确跟踪遮挡目标,而且对远距离目标也有优异的表现。以KITTI数据集进行测试,性能指标如下:多目标跟踪准确度为79.22,多目标跟踪精确度为78.33,多数丢失数为54.19,多数跟踪数为13.21,ID转变数为16,运行速度为39帧/秒。相较于传统的卡尔曼框架,准确率提升了11%,并且抗遮挡性也有大幅度提升。