基于改进DeepSORT的路侧感知方法在露天矿山中的应用

在露天矿山无人驾驶运输作业系统中,路侧感知系统可为无人驾驶车辆提供辅助路况信息。目前的矿卡无人驾驶系统采用基于摄像头、激光雷达和毫米波雷达的多传感器融合技术的路侧感知方法,存在系统成本高、结构复杂、鲁棒性差等问题。对此,文章提出一种基于改进DeepSORT的路侧感知方法。该方法首先使用摄像头采集矿山中车辆和行人数据,采用YOLOv5s算法对摄像头画面中的车辆、行人进行精准识别;然后结合改进的DeepSORT算法对所识别的车辆与行人进行实时跟踪;最后,对跟踪目标进行统计分析,完成车流量统计、车辆异常停车判定和行人侵入判定等功能。在神延西湾露天煤矿矿区8号十字路口对该方法进行了测试,结果表明,采用单一传感器可以很好地实现对矿山十字路口车辆和行人的识别与跟踪,相比基于多传感器融合的路侧感知技术,其有效降低路侧感知系统复杂度并节约了成本。

基于轻量级卷积神经网络的地铁轨道线路状态检测系统

轨道作为承载车辆运行的重要部件,其工作状态对地铁运营的安全性有重要影响。传统人工巡检或者采用轨检车的检测模式只能在正线停运后进行作业,工作效率低。针对该问题,提出一种基于地铁运营列车的轨道线路状态检测系统,该系统采用高速线扫相机对轨道线路进行实时图像采集,并将采集数据送入轻量级RegNet骨干神经网络提取图像深层特征。在此基础上,加入双向特征金字塔网络进行多层次特征融合。最后将融合特征输入目标检测头实现轨道线路状态的实时检测。结合基于云边协同的困难样本挖掘以及模型部署加速技术,算法可实现高准确率、高实时性的检测性能。试验表明,该系统针对11类钢轨伤损及扣件状态的检测平均准确率(mAP)达到0.951,推理速度大于20 f/s,满足地铁在载客运营同时对轨道线路状态进行实时检测的需求。

露天矿山运输车辆相机与激光雷达标定算法研究

在露天矿山运输车辆智能驾驶系统中,相机与激光雷达的数据融合对智能驾驶系统的障碍物检测、识别与跟踪有着至关重要作用。针对相机与激光雷达空间坐标系的统一问题,即建立图像二维坐标系与点云三维坐标系对应关系,文章提出了一种基于棋盘格标定板的相机雷达标定方法。其首先采用张正友标定方法对相机内参标定,得到内参矩阵和畸变系数;然后相机与激光雷达分别提取标定板边缘角点坐标,得到多组点云三维坐标和图像二维坐标,再基于多组特征点对采用EPnP算法得到相机与激光雷达的外参矩阵。为了验证标定精度,文章将点云投影在图像平面并比较其点对的准确度。实验结果表明,该方法可以获取相机与激光雷达之间位姿关系,其投影误差在3个像素以内,有效解决了露天矿山运输车辆相机与激光雷达空间标定问题。

复杂矿山环境下作业车辆的实时检测与跟踪

针对复杂矿山环境下作业车辆与背景图像相似而检测效果差、多类型车辆跟踪稳定性低等问题,文章提出了一种多类别、多目标的复杂矿山环境下作业车辆实时检测与跟踪算法。其基于轻量级骨干网络YOLO并结合多尺度特征融合模块构建模型框架,该模型以DIoU为损失函数,采用K-means聚类回归候选框尺寸,通过轻量级骨干网络学习图像特征,输出多尺度预测结果。在此基础上,将多类别作业车辆目标的特征作为相似性度量,结合表征运动信息的马氏距离度量和余弦度量进行级联匹配,并串联IoU匹配和卡尔曼滤波来确认轨迹,从而实现多作业车辆实时跟踪。实验结果显示,该算法的车辆检测平均准确率mAP@0.5-0.95为58.40%,多目标跟踪精度达到82.60%,每帧图像处理时间为26.5 ms,表明采用该算法能够有效进行作业车辆的实时检测与跟踪。