基于深度学习与点云数据的3D检测系统应用研究

为了解决高低差场景中平坦度高的2D视觉检测乏力的问题,基于深度学习和点云数据处理平台,融合3D点云格式图像和深度学习技术,建立微米精度、在线检测、成本可控的3D检测架构机制。采用相移和光栅投影结构光技术的硬件方案获取3D点云原始数据,基于强大的CPU和GPU处理芯片,对经过被测物体调制的光栅图案进行重新编码,并结合标定参数解算3D点云数据。对2D深度学习模型进行升级开发,可对点云数据进行标注、学习训练和检测,并将3D硬件、3D软件和3D算法进行整合。实验结果表明,所提系统有利于3D缺陷检测系统的落地,为智能3D检测设备奠定算法和软件基础。

基于X射线的BGA空洞缺陷3D检测方法

目的对球栅阵列封装(Ball Grid Array,BGA)芯片中由于焊接过程中产生的气体未能及时逸出所致的空洞缺陷进行3D检测,以降低缺陷检测难度和提高准确率,为实现BGA产品的流水线检测奠定基础.方法利用X射线三维显微镜对BGA芯片进行扫描与重建得到3D模型,将模型等距切片后转为灰度图像,根据3D可视化结果和灰度直方图选择固定阈值进行全局阈值分割,将分割得到的二值图进行连通区域标记并计算各区域面积,最后采用积分法求取焊球和空洞体积并计算空洞率.结果与2D检测方法对比,该方法可以有效去除图像中的多元器件重叠的不利因素,可直接观察空洞缺陷的大小及位置;在BGA切片图像中标记分割阈值的等值面并测量焊球和空洞的直径,将测量结果与DR图像中的测量值对比,最大误差为3.726μm,表明该方法可以准确地分割焊球及空洞特征.结论该方法可以有效地检测出BGA中的空洞缺陷,并准确地计算出焊球和空洞体积及基于体积的空洞率.

煤矿井下无人驾驶无轨胶轮车目标3D检测研究

基于3D检测的环境感知是实现煤矿井下无轨胶轮车无人驾驶技术的基础。因井下环境中光照不足,导致RGB图像信息缺失,且巷道空间狭小导致激光雷达采集的点云数据存在较多噪声,现有的基于图像或雷达点云的目标3D检测方法在井下难以取得较好的检测效果。针对该问题,提出一种融合图像和雷达点云的无人驾驶无轨胶轮车目标3D检测方法。针对获取的无轨胶轮车行驶环境数据进行预处理:采用全局直方图均衡化方法提升RGB图像亮度,降低井下光照不均影响;对雷达点云数据进行双边滤波去噪及主成分分析降维处理,以提升点云数据质量,减少运算时间。设计了一种融合图像与雷达点云检测模型,采用区域生成网络生成2D图像候选区域,对其与点云数据进行早期特征级融合生成3D候选区域,并与经感兴趣区域池化的图像和点云数据进行后期区域级融合,输出3D检测锚框,实现目标检测。实验结果表明,与基于YOLO3D,MV3D模型的检测方法相比,该方法对待测目标的检测精度较高,较好地实现了精度与检测速度的平衡。井下测试结果表明,该方法能够准确检测出无轨胶轮车行驶环境中的行人或车辆位置,无漏检情况,具有良好的井下适应性。

基于焊缝3D检测系统应用的超高强钢焊接工艺优化

焊接工序作为热镀锌及合金产品生产的头道工序,在确保产业流水线的顺利运转中显得尤为重要。通过在窄搭接焊机上搭建三维激光扫描仪和涡流检测设备,利用C^#开发在线分析软件处理采集到的数据,从而实现对焊缝缺陷的实时监测。在焊缝检测结果的基础上根据现场生产、调试情况,优化生产工艺参数,摸索超高强钢的作业方式,实现了超高强钢焊接工艺优化,形成了一整套全面可行的解决方案。

基于激光点云3D检测的车辆外廓尺寸测量研究

为了维持良好的车辆生产和交通运输发展,有必要对车辆的非法改装以及超载超限行为进行有力的遏制,车辆外廓尺寸测量则是一种重要识别车辆非法改装的方法。通过提取车辆的激光点云数据,按一定的规则形成对应的点云鸟瞰图,运用深度学习中的卷积神经网络对点云鸟瞰图进行模型训练,使模型对车辆具有快速、准确的识别效果。识别得到的包围框通过坐标像素的转换可求得车辆的长、宽、高,达到车辆外廓尺寸的测量结果,并可转换为3D检测效果。通过试验表明,提出的基于激光点云3D检测的车辆外廓尺寸测量方法测量精度损失较小,检测效率高于传统测量方法。

贴片3D检测技术的应用研究

本文主要对贴片机3D检测技术的应用进行研究,从贴片3D检测的原理进行分析,引出3D检测的影响因素,分析引脚起翘的高度关系,通过DOE实验过程,得到贴片3D的最佳检测参数,以及最佳的引脚起翘公差,将芯片引脚变形严重的芯片拦截在贴装前,从而保证贴片的质量,避免返修对产品可靠性带来的影响。

基于尺度和深度不确定性的Mono3D检测算法研究

在现实空间中的目标物进行交互和决策相关的自动驾驶技术应用中,3D目标检测起着非常重要的作用。目前的3D物体检测,着重依赖3D传感器的检测方法存在一些缺陷。本文通过对单目相机对采集到的图像进行3D目标检测,阐述Mono3D检测算法研究。

基于深度与实例分割融合的单目3D目标检测方法

针对单目3D目标检测在视角变化引起的物体大小变化以及物体遮挡等情况下效果不佳的问题,提出一种融合深度信息和实例分割掩码的新型单目3D目标检测方法。首先,通过深度-掩码注意力融合(DMAF)模块,将深度信息与实例分割掩码结合,以提供更准确的物体边界;其次,引入动态卷积,并利用DMAF模块得到的融合特征引导动态卷积核的生成,以处理不同尺度的物体;再次,在损失函数中引入2D-3D边界框一致性损失函数,调整预测的3D边界框与对应的2D检测框高度一致,以提高实例分割和3D目标检测任务的效果;最后,通过消融实验验证该方法的有效性,并在KITTI测试集上对该方法进行验证。实验结果表明,与仅使用深度估计图和实例分割掩码的方法相比,在中等难度下对车辆类别检测的平均精度提高了6.36个百分点,且3D目标检测和鸟瞰图目标检测任务的效果均优于D4LCN(Depth-guided Dynamic-Depthwise-Dilated Local Convolutional Network)、M3D-RPN(Monocular 3D Region Proposal Network)等对比方法。

一种多层多模态融合3D目标检测方法

在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法:首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息(Red Green Blue,RGB)涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果.在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.

基于多分支特征融合的车载激光雷达3D目标检测算法

该文基于多分支特征融合的3D目标检测算法将无序的点云划分为规则的体素,利用体素特征编码模块和卷积神经网络学习体素特征,再将稀疏的3D数据压缩为稠密的二维鸟瞰图,最后通过2D骨干网络的粗糙分支和精细分支对多尺度鸟瞰图特征进行深度融合。该文实现了对多尺度特征的语义信息、纹理信息和上下文信息的聚合,得到了更加精确的原始空间位置信息、物体分类、位置回归和朝向预测,在KITTI数据集上取得优异的平均精度,并在保持一定帧率的同时具有较强的稳健性。

基于点云稀疏空间特征聚合激励的单阶段3D目标检测模型

针对目前基于点云的3D目标检测中单阶段体素法存在感受野固定、特征尺度单一,导致模型对点云特征学习不够充分、模型检测效果存在瓶颈等问题,提出了一种可端对端训练的基于体素的单阶段3D目标检测模型.首先,利用多尺度稀疏空间特征聚合模块,聚合点云在不同稀疏空间尺度上的特征,使特征充分保留点云的空间信息;然后,对特征进行分层激励,通过多尺度感受野对特征进行分层学习,强化特征的表达能力,降低噪声信息对检测结果的影响;最后,将特征输入检测头进行候选框的分类和回归.在公开的自动驾驶数据集KITTI上与主流单阶段3D目标检测模型进行了对比实验,包含对3类目标共9个的难度等级目标的检测.所提模型在其中5个等级中的平均准确率有明显提升,尤其对点云稀疏的目标,表现出较好的检测效果.实验结果表明,所提模型能够充分提取点云空间信息并有效地学习点云多尺度特征.

基于深度学习的自动驾驶场景3D目标检测方法

针对传统PV-RCNN在点云上采样效率低下和采样精度存在偏差等问题,提出了一种基于PV-RCNN改进的3D目标检测方法。更改关键点采样策略,使得有限的关键点可以更加地聚集在proposal区域范围内,更多的编码有效前景点特征来用于后面的proposal refinement,有效产生更具有代表性的关键点。用局部特征聚合的VectorPool聚合模块取代体素集抽象和ROI网格池化模块中的集合抽象,更高效的针对稀疏和不规则点云数据进行编码。在KITTI数据集上对算法验证,结果表明:行人鸟瞰图检测,困难级别检测精度提升较为显著,达到了10.46%,整体帧率提升为33.74%,文中的方法拥有更好的检测性能。

基于改进Centerfusion的自动驾驶3D目标检测模型

针对自动驾驶路面上目标漏检和错检的问题,提出一种基于改进Centerfusion的自动驾驶3D目标检测模型。该模型通过将相机信息和雷达特征融合,构成多通道特征数据输入,从而增强目标检测网络的鲁棒性,减少漏检问题;为了能够得到更加准确丰富的3D目标检测信息,引入了改进的注意力机制,用于增强视锥网格中的雷达点云和视觉信息融合;使用改进的损失函数优化边框预测的准确度。在Nuscenes数据集上进行模型验证和对比,实验结果表明,相较于传统的Centerfusion模型,提出的模型平均检测精度均值(mean Average Precision,mAP)提高了1.3%,Nuscenes检测分数(Nuscenes Detection Scores,NDS)提高了1.2%。

基于改进YOLOv5l的设施番茄3D信息检测方法

针对温室环境中由于遮挡和光线复杂等原因造成的果实识别和定位不准确这一问题,将深度学习目标检测算法与Intel RealSense D435i深度相机相结合,提出一种获取番茄在三维空间中协同位置的方法,用于温室中采摘机器人执行番茄定位和采摘任务。基于YOLOv5网络,使用Ghost-Convolution替换原始网络中的CSP结构,并采用BiFPN的多尺度连接方法,最大限度地利用不同特征层提取番茄特征信息,以提高边界框回归的准确性。比较不同的注意机制,并选择CBAM注意机制插入到模型的特征提取网络中。该模型通过RGB-D相机获取检测到的番茄的中心点,并计算其在相机坐标系中的空间坐标信息。为最大限度地减少复杂温室环境对目标识别以及最终采摘效果的影响,筛选所有超过1.5 m的视频流,以便视觉算法只专注于识别和检测1.5 m范围内的目标。试验表明,模型检测红色和绿色番茄的平均精度均值分别为82.4%和82.2%。最后,介绍深度相机与目标检测网络相结合以检测番茄物体深度的方法。为番茄采摘机器人视觉系统提供理论支持。

HetGNN-3D:基于异构图神经网络的3D目标检测优化模型

3D感知是自动驾驶场景的核心问题,传感器融合可以综合利用激光雷达和摄像机的优点以达到更高的3D目标检测准确率.传感器融合涉及点云到图像对准问题,预先对传感器标定可以得到点到图像位置的投影关系,然而这种对准方式受传感器相对位置偏移与采集时间偏移影响而在干扰下对模型产生负面影响.针对该问题,本文把场景中实体在各个传感器下的不同表达作为不同对象,以对象为节点建立包含两类节点与三类边的异构图描述该场景,并提出了基于该异构图的3D目标检测优化模型HetGNN-3D.该模型通过图结构捕获对象间潜在联系并找到点云对象节点与图像对象节点间对应关系,从而减弱干扰带来的影响.HetGNN-3D包含图初始化、消息传递、图读出三大模块.图初始化模块使用基于点云的3D目标检测模型的输出和基于图像的2D目标检测模型的输出建立对象级异构图.消息传递模块针对异构图特性分类聚合与更新消息.图读出包含用于对象关系预测的边读出与属于同一实体的对象子图读出,然后基于对象子图得到3D目标检测结果.在nuScenes数据集的实验表明,HetGNN-3D有效融合点云信息与图像信息优化了3D目标检测结果,此外,基于对象级异构图的边关系预测使融合过程与预先标定得到的传感器映射矩阵解耦合,从而提升了融合模型的容错性与鲁棒性.

自动驾驶中基于深度学习的3D目标检测方法综述

随着激光雷达传感器和深度学习技术的快速发展,针对自动驾驶3D目标检测算法的研究呈现爆发式增长。为了探究3D目标检测技术的发展和演变,对该领域中基于深度学习的3D检测算法进行了综述。根据车载传感器的不同,将当前基于深度学习的自动驾驶3D目标检测算法分为基于相机RGB图像、基于激光雷达点云、基于RGB图像–激光雷达点云融合的3D目标检测3种类型。在此基础上,分析了各类算法的技术原理及其发展历程,并根据平均检测精度(mAP)指标,对比了它们的性能差异与模型优缺点。最后,总结和展望了当前自动驾驶3D目标检测中仍然面临的技术挑战及未来发展趋势。

基于点云图卷积神经网络的3D目标检测

随着激光雷达传感器的快速发展,目标检测算法从传统的2D检测快速转向3D检测。然而,激光雷达产生的点云是不规则和非结构化的数据,传统的卷积神经网络无法对其进行处理。基于此提出了一种新颖的图卷积神经网络,能够更好地利用数据的几何关系和拓扑结构直接从点云中学习特征以进行3D目标检测。首先将原始激光雷达点云数据进行下采样,再进行固定半径邻域图的构建,随后设计了一个新型的图卷积神经网络对点云进行编码来预测图中每个顶点所属对象的类别和形状。为提升检测准确度,网络中加入了一种校准机制来减少特征在不同维度变化时引入的平移误差,此外还引入了注意力机制,以使用权重来进一步强化输出的顶点特征。在KITTI数据集上进行实验,实验结果表明,此方法能够有效对3D目标进行检测。对比其他多种检测算法,此方法在检测准确度上具有一定的优势。

基于Tv-SECOND的自动驾驶场景下的3D目标检测

针对自动驾驶场景中复杂环境下的3D目标检测任务,特别是远距离和遮挡条件下,为提高模型的检测准确率,在SECOND的基础上提出了Tv-SECOND两阶段算法。该算法提出一种基于Transformer架构的提案框特征提取模块,并在传统体素特征编码基础上提出可变形的体素特征编码模块。在KITTI数据集上进行测试,结果显示,所提出的算法相比SECOND在远距离和遮挡严重的情况下分别提高了7.49%、9.72%。同时与其他先进的两阶段方法相比,检测精度有不同程度的提升,证明了Tv-SECOND算法的有效性。新算法能够建立特征之间的依赖关系,聚合周边广域的上下文信息,增强模型的学习推理能力,有效提升了模型在远距离和遮挡的情况下的检测性能。