改进SAF-FCOS的雷视融合目标检测算法

针对雷视特征融合目标检测网络难以有效利用雷达点云信息和图像特征,在恶劣天气环境下,仍然容易出现误检、漏检的问题,提出了一种改进SAF-FCOS雷视融合目标检测网络。对SAF-FCOS的骨干网络结构进行改进,在C3、C4特征层进行雷达特征信息的多尺度融合,使网络模型更充分地利用雷达信息;在检测层前使用改进的LNblock模块——LNblcok_GAM,能够以较低的计算成本提取图像特征的同时提高网络的检测性能;在回归损失方面,使用基于EIOU与GIOU改进的CEIOU替换原网络中的GIOU,提高了网络的检测精度,提升了模型的鲁棒性。在NuScenes数据集上,改进网络的mAP_(0.5:0.95)达到了70.7%,AP_(50)达到了90.5%,比原网络SAF-FCOS分别提高了1.7个百分点和0.9个百分点,漏检、误检的情况得到了有效改善,同时,该改进网络的总体检测效果要优于其他经典的纯视觉目标检测算法。

毫米波雷达和视觉融合的车辆鲁棒跟踪方法

针对单传感器实际工作环境中的漏检错检问题,提出了一种具有鲁棒性的摄像头毫米波雷达并联融合识别追踪车辆方法。构建基于毫米波雷达多维数据的目标识别网络R-DenseNet,毫米波雷达数据经过初筛后输入R-DenseNet神经网络得到毫米波雷达识别结果;摄像头的图像数据输入YOLO-v4tiny网络得到摄像头识别结果。对原始目标采用融合规则进行融合,筛选掉雷达错检点和噪点;对融合成功目标点采用真实目标存活判断方法进行持续追踪,捕捉摄像头毫米波雷达错检漏检的情况,使用Kalman滤波、YOLO重识别等方法补齐数据。实验结果证明:该融合方法可以有效排除错误目标,对于跟踪期间单传感器漏检、错检及两传感器同时漏检的情况具有较好的鲁棒性,跟踪较为稳定。

基于多信息融合的带式输送机堆煤检测系统

在煤矿行业中,带式输送机的运输通常会采用级联多台的方式,这会导致在转载点处经常出现煤炭堆积的情况。而传统的人工巡检和堆煤传感器无法及时准确判断输送机堆煤故障,这给煤矿生产的安全带来了潜在威胁。针对此问题,提出了一种基于多信息融合的带式输送机堆煤检测系统。在带式输送机转载点处安装雷达增强处理感知装置以及防尘高清工业相机,通过雷达获取煤堆的全方位状态参数,并结合经过图像算法处理后的高清工业相机拍摄的图像数据,综合判断带式输送机的堆煤状况,同时配备现场可编程的智能边缘一体机,根据监测结果实时反馈给控制系统,以调整设备参数或执行相应的控制策略。通过对雷达数据及机器视觉的多信息融合,提高了堆煤检测的准确性和可靠性,有效预测了潜在的堆煤风险,为煤矿生产提供了有效的安全保障。

基于雷视融合YOLOv5变电站行人检测

针对变电站安全监控场景下的行人识别,纯视觉传感器目标检测极易受到光照条件和物体遮挡的影响,存在误检和精度不高等问题,主流雷达视觉融合目标检测网络存在实时性差、精度低的问题,提出了一种以YOLOv5作为主干网络的多尺度雷视融合目标检测算法,实验结果显示该算法在平均精度均值(mean Average Precision,mAP)0.5:0.95和帧率(Frames Per Second,FPS)上均显著优于其他主流目标检测算法。在YOLOv5结构上,额外增添了一条毫米波雷达点云多尺度特征融合分支。雷达点云RGB图像首先通过通道压缩(Channel Block Squeeze,CBS)、跨阶局部网络(Cross Stage Partial Network,CSP)模块提取特征之后,继续通过卷积注意力模块(Convolutional Block Attention Module,CBAM)和最大池化层对雷达点云信息进行不同层次的特征提取,使用空间注意力融合模块的改进对雷达点云特征和视觉特征进行3次多尺度特征融合。实验分析表明,所提算法mAP0.5:0.95比原始YOLOv5网络有显著提升,FPS也远优于目前主流雷视融合算法。

融合毫米波雷达与机器视觉的田间道路视觉引导线提取

针对传统机器视觉算法难以获取准确视觉引导线的问题,该研究提出了一种利用深度学习算法获取视觉引导线的方法,并将毫米波雷达探测的目标运动状态信息考虑到视觉引导线的提取中,以安全避开障碍物。首先通过数据预处理方法过滤部分雷达目标数据,再利用多目标跟踪算法过滤干扰数据并对动态目标持续跟踪,为后续数据融合提供准确的雷达目标数据。然后制作田间道路环境数据集,搭建基于Deeplabv3 plus的改进语义分割网络。继而利用时间戳对齐和基于最小二乘法的坐标变换实现毫米波雷达数据与视觉数据在时间与空间维度的同步。最后基于无动态目标状态信息和有动态目标状态信息两种情况提出了相应的视觉引导线提取策略,进行相关试验测试了视觉引导线提取方法的效果。相比于人工测量的真实道路中点,在无动态目标场景下提取的视觉引导线的平均误差为1.60~9.20像素;而在有动态目标的场景下,能够成功获取避障的视觉引导线。研究结果有助于提升丘陵山区农业机械的智能化水平。

农业轮式机器人三维环境感知技术研究进展

[目的/意义]作为未来农机装备的研究重点,农业轮式机器人正向着智能化与多功能化的方向发展。三维环境感知技术因其获取的信息量丰富、复杂环境下的鲁棒性和适应性好,成为了农业轮式机器人智能化无人作业的基础与关键,其发展水平直接影响到包括农业轮式机器人在内的无人农机的作业质量与效率。[进展]本文首先总结了农业轮式机器人和农业环境感知技术的发展现状,分析了不同类型农业轮式机器人的使用特点和应用现状。其次分析了在农业轮式机器人上实现三维环境感知所主要使用的感知设备及其对应的关键技术,重点阐述了基于激光雷达、视觉传感器和多传感器融合的农业轮式机器人三维环境感知技术的研究进展。[结论/展望]结合农业作业特点与实际需求,指出了农业轮式机器人三维环境感知技术在适用性、环境信息处理和感知效果等方面存在的一些问题,并提出了提升传感器的农业适用性、发展基于深度学习的农业环境感知技术、发展智能化的高速在线多传感器信息融合技术三个方面的建议,以期为农业轮式机器人三维环境感知技术发展提供参考与借鉴。

基于注意力机制的毫米波雷达和视觉融合目标检测算法

传统目标检测大多基于摄像头采集图像进行,虽然近些年出现了许多优秀的检测网络,但在复杂场景下,仍存在大量漏检、误检等问题。针对这些问题,提出了一种基于注意力机制的毫米波雷达和视觉融合目标检测算法。首先将毫米波雷达数据进行扇形点云柱编码(Fan-shaped Cloud Pillar Code,FCPC),将其转换为前景伪图像;然后,再将其通过坐标关系映射到像素平面,使用卷积注意力模块(Convolutional Block Attention Module,CBAM)对两者特征数据进行融合;采用Yolov4-tiny对融合特征进行检测,并引入Focal Loss对原损失函数进行改进以解决正负样本不均的问题。在Nuscenes数据集上进行模型验证与对比,结果表明,该算法在复杂场景下相比其他单传感器检测算法如Yolov3、Efficientent以及Faster-RCNN等,无论平均检测精度(mean Average Precision,mAP)还是每秒检测帧数(Frames Per Second,FPS)都有明显的提升。

毫米波雷达与视觉融合在现代智慧交通目标检测中的研究综述

目标检测是现代智慧交通感知的基础研究内容之一,近年来随着传感器技术与机器学习算法的发展,基于多传感器融合的目标检测方法得到了广泛的关注。针对毫米波雷达与视觉融合的目标检测方法展开了较为全面的综述。介绍了目标检测的评估指标与常见公开数据集;简述了毫米波雷达与视觉传感器的标定方法,然后从前融合、后融合、特征融合三个角度对相关数据融合方法进行了对比;结合目前研究现状与难点问题对未来的研究方向进行了展望。研究表明,毫米波雷达和视觉传感器的融合检测方案可以突破单一传感器检测的固有缺陷,在复杂场景下表现出更优秀的检测性能和鲁棒性,是未来实现高等级智能交通的一条可行之路。现有的方法受限于算力、数据集质量、传感器数量等因素,多停留在理论与试验阶段,后续研究应注重实际的复杂场景、融合更多传感器,使其在检测精度、检测速度、鲁棒性等方面更接近于使用,使之更好地服务于工程实际。

基于雷达和视觉融合的地铁工程车障碍物检测系统

目的:为改变当前地铁工程车仍采用传统人工瞭望方式进行障碍物检测的困境,以激光雷达、高清相机作为数据采集传感器,设计了基于雷达和视觉融合的障碍物检测系统。方法:结合K-means算法进行基于激光点云的障碍物检测,运用YOLOv5-seg算法提取轨道走行区图像,并采用YOLOx算法完成基于视觉的障碍物检测,然后将基于激光点云的障碍物检测结果与基于视觉的障碍物检测结果进行后融合得到最终检测结果。结果及结论:建立了基于雷达和视觉融合的地铁工程车障碍物检测系统,完成了不同场景下的行人侵限检测实验和白天、黑夜下不同尺寸障碍物侵限检测试验。试验结果验证了该系统检测能力满足要求,能够实现地铁工程车自主障碍物检测。

基于毫米波雷达和视觉的目标检测方法

为了提高目标检测网络对远距离目标的检测能力,以及改善由单一视觉传感器的感知系统抗环境干扰能力差的问题,提出了一种基于毫米波雷达和视觉传感器的多源目标检测方法,视觉图像经由多个毫米波雷达获取的点云信息增强后进行检测。首先,对增强同一视觉图像的多个雷达点云进行数据拼接,通过坐标转换将雷达点云投影至视觉图像平面,并对超出雷达探测距离的异常点和经过坐标转换后位于视野外部的无效点进行剔除,生成雷达点云图像。然后,根据雷达点云图像中各雷达点的位置与深度信息,形成对应的感兴趣区域,生成雷达特征图像。最后,将雷达特征图像与视觉图像在YOLOv4网络中的主干特征提取部分进行多级融合,并使用通道注意力机制分配通道权重。实验结果表明,基于雷达增强的目标检测网络的平均检测精度提高了10.93%,并提高了远距离目标和弱光照条件下的检测精度,具有比传统机器视觉的目标检测方法更好的可靠性和鲁棒性。

一种基于雷达和机器视觉信息融合的车辆识别方法

为提高先进驾驶员辅助系统对车辆前方环境识别的准确性,提出一种基于雷达和视觉传感器信息融合的车辆识别方法。系统工作前预先对毫米波雷达和摄像头进行联合标定,并确定雷达坐标系和摄像头坐标系的变换关系。车辆识别过程中,首先根据雷达信息确定图像坐标系中的车辆识别感兴趣区域;然后对感兴趣区域进行对称性分析获得车辆对称中心,并对车辆底部阴影特征进行分析处理完成车辆边缘检测;最后根据逆透视变换得到车辆识别宽度,根据识别宽度对识别结果进行验证。结果表明该算法具有较强的环境适应性和准确率,弥补了单一传感器在车辆识别中的不足。

毫米波雷达与视觉传感器信息融合的车辆跟踪

为提高车辆前向防碰撞预警系统对前方道路环境感知的准确性,提出一种毫米波雷达与视觉传感器信息融合的车辆跟踪方法。提出的剔除雷达干扰目标算法缩短了对干扰目标的处理时间;提出的对称检测算法可对雷达目标兴趣区域进行对称检测,减小雷达目标兴趣区域的横向位置误差;提出的KCF-KF组合滤波算法可提高跟踪车辆的精度。实车试验表明,该方法可有效跟踪车辆位置信息,像素坐标系下的X、Y坐标跟踪准确率分别超过97.34%与95.19%。

基于激光雷达和摄像机的前方车辆检测

考虑到激光雷达和机器视觉间信息的互补性,提出了一种融合图像和雷达信息的前方目标车辆检测方法.分析激光雷达数据的特点,提出了改进的基于密度的空间聚类算法实现雷达数据的聚类.目标车辆检测时,首先通过信息融合确定车辆的初始检测区域,生成车辆假设;然后利用模糊推理系统融合车辆多个特征验证车辆假设,实现车辆检测.试验结果表明,算法实现了无约束条件下的目标车辆检测,并且具有较好的适应能力和抗干扰能力,能准确地检测前方目标车辆.

基于毫米波雷达和机器视觉的夜间前方车辆检测

为研究夜间追尾事故中本车智能防撞预警方法,提出了一种基于毫米波雷达和机器视觉的前方车辆检测方法。利用多传感器融合数据,检测前方车辆的距离、速度等。建立传感器之间转换关系,转换雷达目标的世界坐标到图像坐标。在图像上形成感兴趣区域,利用图像处理方法减少干扰点,运用Dempster-Shafer(D-S)证据理论,融合特征信息,得到总的信任度值检验感兴趣区域内的车辆。实验采集多段夜间道路行车视频数据,统计实现尾灯识别的帧数,与主观判断进行比较。结果表明:该方法能够实现对夜间前方车辆的检测和定位。

融合视觉与雷达数据的改进粒子滤波车辆目标跟踪

针对视觉跟踪中由于尺寸变化累积误差导致目标丢失的问题,提出一种融合视觉与毫米波雷达数据的改进粒子滤波车辆跟踪算法。首先,引入遗传算法改善标准粒子滤波中的粒子退化与粒子衰退问题,根据退化程度计算动态自适应的遗传交叉概率,并利用高斯分布替代平均分布计算种群适应度。然后,将图像HSV直方图特征与改进粒子滤波算法结合,实现车辆多目标跟踪。最后,通过雷达目标投影点与视觉跟踪框的位置关系实现关联匹配,利用深度信息修正跟踪框的位置与尺寸。实验结果表明,相对于标准粒子滤波,改进的粒子滤波算法可以使平均跟踪准确率与精度分别提高22.1%与21.1%。相对于仅采用视觉跟踪,融合雷达数据的跟踪算法能够使车辆目标跟踪精度再次提高9.2%。

基于1R1V感知信息融合的若干关键问题研究

针对单一传感器无法实现对车辆周围环境的准确感知,通常需要多种类型的传感器同时作为感知源提供信息。基于1R1V的感知架构,研究梳理1R1V信息融合过程中的几个重要问题。首先开展毫米波雷达和摄像头的联合标定,实现1R1V的空间配准;其次通过系列算法实现毫米波雷达和摄像头的时间同步;最后挖掘整理1R1V多传感器在智能驾驶中的融合策略。基于1R1V这两种类型传感器在信息融合过程中所面临的关键问题进行研究,明确提出时空同步、信息融合策略等解决方案,进而提升多传感器信息融合的开发效率。

基于激光与视觉融合的无人船靠泊环境感知系统设计

为满足无人船自主靠泊过程中对船岸相对距离测量的连续性与高精度的需求,文中以无人船自主靠泊环境感知为研究对象,对无人船自主靠泊的过程进行分析与研究,将立体视觉技术和激光测距技术相结合,设计了一种用于无人船自主靠泊过程中的环境感知系统。运用多传感器数据融合技术对相机和激光雷达的数据进行分析与有效融合,利用视觉识别与快速定位到岸边系泊机械装置,调整旋转云台使激光雷达精确测距,再依据空间坐标转换修正视觉测量值,达到对无人船自主靠泊过程中环境信息的统一认知,得到无人船靠泊过程中高精度的距离信息。实验结果表明,通过融合算法得到的距离值误差可控制在10 mm范围内,为实现无人船自主靠泊提供一种高精度测量方法,促进了无人船领域的发展。

基于视觉信息融合技术的水面船只检测技术开发

无人船艇作为一种新兴船舶,不论在军事领域还是商业领域都具有非常重要的价值。本文的研究方向是水面无人船目标检测技术开发,分别介绍了毫米波雷达目标探测技术和计算机视觉目标识别技术的原理,基于2种目标探测手段,开发一种基于信息融合的水面船舶目标检测技术,从时间配准和空间配准等方面进行详细阐述。

基于毫米波雷达和机器视觉信息融合的障碍物检测

提出一种基于毫米波雷达和机器视觉传感器信息融合的障碍物检测方法。首先对毫米波雷达和摄像头进行联合标定,实现雷达与图像数据的时空同步,将雷达探测到的目标位置准确投影到图像中,进而提出一种生成雷达目标感兴趣区域的方法,同时对图像信息运用帧差法,检测图像中运动的物体,得到检测区域。最后将雷达检测区域与机器视觉检测区域进行对比,计算重合度,并根据重合度初步区分目标为行人或车辆。实验结果表明,该方法能够很好地实现毫米波雷达与机器视觉联合检测障碍物,弥补了单一传感器在障碍物检测中的不足。

机器视觉与毫米波雷达信息融合的车辆检测技术

为提升辅助驾驶系统(ADAS)对于行驶环境中车辆的感知能力,运用机器视觉与毫米波雷达信息融合技术对车辆进行检测。融合系统中将摄像头和雷达进行联合标定,确定两者的转化关系,对深度学习算法SSD进行改进,提升对于小目标车辆的检测精度,同时对雷达数据进行处理,借助雷达模拟器确定合适阈值参数实现对车辆目标的有效提取,并采用卡尔曼滤波算法对目标数据进行处理,根据雷达有效目标数据对摄像头采集的图像进行选择与建立感兴趣区域,通过改进的SSD车辆识别算法对区域中的车辆进行检测,经测试,车辆的检测准确率最高达到95.3%,且具备较高的实时性和环境适应性。