一种基于棋盘格标定板的激光雷达-相机标定方法

激光雷达-相机标定作为各类融合算法的基础,校准结果直接影响融合性能。依据外部校准理论,论文提出了一种基于目标物(棋盘格标定板)的激光雷达-相机标定方法。该方法针对点云的稀疏性,利用时域积分从多帧点云数据中提取特征。根据棋盘格点云的反射强度分布约束,使用棋盘测量估计三维角点。结合图像中检测的二维角点,将两种角点顺序对应之后,通过求解非线性优化问题来生成外部校准矩阵。实验结果表明,该方法可以在受控环境下进行准确、稳定地标定。

激光距离选通三维成像技术研究进展(特邀)

随着人工智能时代的到来,同时获得反映目标辐射特性和纹理特征的高分辨率强度图像以及反映目标和所处场景的三维空间信息的稠密点云数据/三维图像的激光相机雷达技术已成为激光雷达的发展趋势。传统的摄像机与激光雷达复合的技术方案存在异源数据融合问题,尤其是在雾雨雪天气条件下以及水下等传输链路中存在严重散射的情况时难以有效工作。激光距离选通三维成像技术利用单一门控成像器件可同时获得高质量二维强度图像和高分辨率三维图像,其二维图像中的像素和三维图像中的体素一一对应,并继承了激光距离选通成像透散射成像的技术优势,具有实现高性能激光相机雷达的技术潜力。论文系统综述了步进延时扫描、增益调制、距离能量相关等激光距离选通三维成像技术的研究进展,介绍了该类技术的国内外典型应用情况,最后分析了该领域所面临的挑战及进一步发展方向和应用前景。

用于海洋宏生物原位观测的水下激光雷达相机

海洋宏生物原位"观"和"测"对于海洋生态环境、海洋生物资源和海底矿产资源的研究和评估具有重要的意义。目前用于海洋宏生物原位观察的传统水下摄像机存在目标辐射特性、水体光散射、距离信息丢失等导致的低对比度目标探测难的问题。针对此,提出了水下激光雷达相机,可以兼顾并超越传统激光扫描雷达与摄像机复合的技术方案,利用单一系统同时获得百万像素高对比度的二维强度图像和高分辨率的三维图像,且二维图像中的像素和三维图像中的体素一一对应,并介绍了基于该技术研制的"凤眼"系统,其光立体采样区体积可调,距离分辨率优于1 cm,像素数为1360×1024。自2018年起,"凤眼"在我国南海海域进行了4个航次的海上试验,获取了海底宏生物及微地形地貌图像,最大工作深度达到3291 m。

基于视觉和激光传感器信息融合的楼梯结构参数估计

针对在室内楼梯环境下履腿复合机器人的自主攀爬过程中的楼梯结构参数确定问题,提出了一种基于视觉和激光传感器信息融合的楼梯目标识别与结构参数确定方法。将三维点云数据处理为二值图像,利用霍夫变换提取的特征直线确定台阶深度和宽度,通过点云直线间距离与台阶边缘直线距离比确定台阶高度。验证试验结果表明:所提方法能够快速、有效地获取足够精度的楼梯结构参数,为楼梯攀爬控制提供任务环境反馈信息。

基于传感器融合里程计的相机与激光雷达自动重标定方法

智能驾驶车辆行驶环境复杂多样,不可避免地导致传感器相对位姿发生变化,此时需要进行重新标定。针对智能驾驶车辆的相机和激光雷达发生漂移后的重标定问题,提出一种基于传感器融合里程计的自动重标定方法。基于点云投影和图像配准原理建立基准点云和观测图像之间的3D-2D点对,利用N点透视投影得到平移尺度不准的相机运动;通过融合估计的激光雷达运动来恢复准确尺度的相机运动,并将基准点云根据相机运动转换到观测位置下,与观测点云通过点云配准求解变换矩阵,使用时域均值滤波得到最终的外参矩阵。基于智能驾驶车辆试验平台进行室内外实车试验。结果表明所提出的基于传感器融合里程计的方法无需设置标定板,不受环境和数据特征限制,能够实现相机和激光雷达的精确重标定,对传感器漂移具有较高的鲁棒性。

单目相机-3维激光雷达的外参标定及融合里程计研究

针对单目相机与3维激光雷达的融合里程计问题,提出了双阶段外参标定方法和基于混合残差的融合里程计方法.双阶段相机-激光雷达外参标定结合了基于运动和基于互信息2种标定方法.第1阶段为基于运动的外参标定法,在无初值的情况下得到外参的粗估计.第2阶段为基于互信息的外参标定法,以第1阶段的结果作为初值,利用互信息原理校准激光雷达反射率和相机灰度值,来优化标定结果.为进一步提高标定精度,第2阶段采用了一种针对稀疏激光雷达点云的遮挡点检测方法.所提出的双阶段外参标定方法在无需预设初值的前提下保证了标定结果的精度.在此基础上,提出了一种基于混合残差的相机与激光雷达融合里程计方法.该方法同时利用图像的直接和非直接图像特征计算重投影残差和光度残差.然后将不同类型的残差统一到非线性优化框架下,实现里程计估计.针对激光雷达数据稀疏性带来的深度信息缺失的问题,提出了一种基于颜色信息的深度插值方法,有效补充了特征点数量.最后,基于实物和公共数据集实验,对所提出的外参标定和融合里程计算法的鲁棒性和精度进行了评估.实验结果表明,所提出的外参标定方法可以在没有初值的情况下,给出精确的外参估计;所提出的融合里程计方法在公共数据集上和实物实验中均表现出了良好的估计精度和鲁棒性.

FSAC赛车融合感知算法研究

针对中国大学生无人驾驶方程式大赛(formula student autonomous China,FSAC)中的单一传感器检测环境适应性差等问题,提出一种基于激光雷达和相机融合的障碍物检测算法。对激光点云进行滤波、去地面和条件欧式聚类处理,确定锥桶位置;采用YOLOv7算法对图像进行检测并获取颜色信息;将传感器进行时空对齐,采用二次最近邻算法进行匹配,获取锥桶障碍物的位置和颜色信息。采用FSAC赛车作为实验平台,在动态测试中,该算法比取交集融合算法的准确率提升了5.52%,误差降低了29.47%,速度提升了21.66%,可以很好地满足检测的准确性和实时性,较好地实现了无人赛车的感知任务,同时为无人驾驶车辆的融合感知提供了一定参考依据。

基于图像与点云融合的巷道锚护孔位识别定位方法

煤矿掘进巷道锚护位置的精准识别与定位是钻锚机器人实现智能永久支护亟需突破的关键技术。笔者提出一种基于视觉图像与激光点云融合的巷道锚护孔位智能识别定位方法,包括图像目标识别、点云图像特征融合和定位坐标提取3个步骤:①针对煤矿井下低照度、水雾和粉尘等环境因素导致的锚孔轮廓成像模糊的问题,采用IA(Image-Adaptive)-SimAM-YOLOv7-tiny网络对巷道待锚护孔位进行视觉识别,该网络能够自适应地增强图像亮度和对比度,恢复锚孔边缘的高频信息,并使模型重点关注锚孔特征,提高锚孔检测的成功率;②求解激光雷达和工业相机联合标定的外参矩阵,将图像检测的锚孔边界框通过透视投影关系生成锥形感兴趣区域(Region Of Interest,ROI),获得对应的目标点云团簇;③采用点云处理算法提取锚护孔位边界点云,获得孔位中心坐标及其法向量,并通过坐标深度差比较判断锚孔识别的正确性。文中搭建了锚杆台车机械臂钻孔定位系统,对算法自主定位的精度以及准确度进行验证,试验结果表明:IA-SimAM-YOLOv7-tiny模型的平均精度均值(Mean Average Precision,mAP)为87.3%,较YOLOv7-tiny模型提高了4.6%;提出的融合算法定位误差为3 mm,单锚孔情况下系统平均识别时间为0.77 s,与单一视觉方法相比,采用激光与视觉多源融合不仅可以降低环境和小样本训练对定位性能的影响,而且可以获得锚护孔位的法向量,为机械臂调整钻孔位姿实现精准锚固提供依据。