AF-CenterNet:基于交叉注意力机制的毫米波雷达和相机融合的目标检测

对于自动驾驶领域而言,确保在各种天气和光照条件下精确检测其他车辆目标是至关重要的。针对单个传感器获取信息的局限性,提出一种基于cross-attention注意力机制的融合方法(AF),用于在特征层面上融合毫米波雷达和相机信息。首先,将毫米波雷达和相机进行空间对齐,并将对齐后的点云信息投影成点云图像。然后,将点云图像在高度和宽度方向上进行扩展,以提高相机图像和点云图像之间的匹配度。最后,将点云图像和相机图像送入包含AF结构的CenterNet目标检测网络中进行训练,并生成一个空间注意力权重,以增强相机中的关键特征。实验结果表明,AF结构可以提高原网络检测各种大小目标的性能,特别是对小目标的检测提升更为明显,且对系统的实时性影响不大,是提高车辆在多种场景下检测精度的理想选择。

基于交叉注意力的多任务交通场景检测模型

感知是自动驾驶的基础和关键,但大多数单个模型无法同时完成交通目标、可行驶区域和车道线等多项检测任务。提出一种基于交叉注意力的多任务交通场景检测模型,可以同时检测交通目标、可行驶区域和车道线。使用编解码网络提取初始特征,利用混合空洞卷积对初始特征进行强化,并通过交叉注意力模块得到分割和检测特征图。在分割特征图上进行语义分割,在检测特征图上进行目标检测。实验结果表明:在具有挑战性的BDD100K数据集中,所提模型在任务精度和总体计算效率方面优于其他多任务模型。

基于改进YOLOv7的自动驾驶目标检测方法

针对自动驾驶场景下,车辆目标密集、相互遮挡和目标过小导致的误检、漏检问题,提出一种改进YOLOv7的车辆目标检测算法。在主干网络SPPCSPC后加入ACmix混合注意力机制,充分挖掘特征信息,增强网络对车辆信息的关注度,减少其他目标的干扰,提高检测精度;在Neck端中加入Swin Transformer,收集全局信息;添加160×160尺寸目标检测头,以增加锚点的数量和密度,提高网络对小目标的感知能力;最后利用Soft-NMS柔性非极大值抑制剔除冗余候选框,改善漏检能力。通过实验验证了改进的可行性并与五种主流网络进行了对比,平均精度达到91.5%,与基础网络YOLOv7相比,平均精度提高7.1%,运行速度达到105 FPS,证明了改进方法的有效性。

自动驾驶目标检测不确定性估计方法综述

随着自动驾驶技术的发展,目标检测的准确性和可靠性变得至关重要。深度学习作为自动驾驶系统中的核心组成部分,其预测结果的不确定性估计对于系统的安全性和稳定性具有显著影响。总结了深度学习不确定性估计理论在自动驾驶目标检测中的应用,并探讨了有效的不确定性评价体系的重要性。介绍了深度学习不确定性估计的基本理论,包括贝叶斯神经网络、蒙特卡洛方法以及集成学习方法等。这些方法通过不同的途径量化模型预测的不确定性,为自动驾驶系统提供了更丰富的信息。深入探讨了自动驾驶目标检测中不确定性估计的应用。通过案例分析,展示了如何利用不确定性信息来提高目标检测的准确性,特别是在面对复杂环境和极端条件时,不确定性估计可以作为决策支持,帮助系统避免潜在的风险。总结了自动驾驶目标检测不确定性估计评价指标,同时,考虑了模型的预测性能、不确定性估计的准确性。

考虑速度模式的纯电动公交进出站生态驾驶策略

新能源汽车的大力推广给节能减排带来新机遇的同时,也突显出由于动力系统与传统燃油车存在差异,驾驶人延用传统燃油车的操作方式与驾驶习惯引起电动汽车能耗高的问题。为增加进站能量回收,减少出站能量消耗,本文考虑实际进出站速度模式建立进出站生态驾驶策略。首先,采集纯电动快速公交自然驾驶数据,分析其与燃油公交车的能量消耗差异性。其次,剖析实际进出站速度模式,并基于此分别建立5种考虑速度模式的进站减速策略和出站加速策略,对比能源消耗率分别确定进站和出站生态驾驶策略。之后,在基于速度模式生态驾驶策略的基础上,建立基于快速基因非支配排序的遗传算法(NSGA-Ⅱ)的生态驾驶策略。最后,利用3种驾驶风格下的实际进出站数据验证两种生态驾驶策略的节能效益。结果发现,基于速度模式和NSGA-Ⅱ的生态驾驶策略对耗能型、一般型和节能型这3种驾驶风格的节能率分别为17.04%/23.58%、14.76%/21.48%和5.78%/13.21%,提出的策略对于耗能型驾驶风格的节能率最高,其次为一般型,对节能型驾驶风格的节能率最低。基于NSGA-Ⅱ的策略比基于速度模式的策略节能7.89%。

基于CNN-OBIA的黄河源区水体提取及时空变化

准确识别水体信息是分析地表水时空动态变化的重要技术手段。针对目前各种长时序水体信息提取方法精度低的问题,基于Landsat遥感影像,选用1986~2022年5484景黄河源区遥感影像,分别运用卷积神经网络结合面向对象(CNN-OBIA)和多指数水体检测规则(MIWDR)两种方法提取了黄河源区的地表水体,并对两种方法的提取精度进行了对比分析。在此基础上,探究了1986~2022年黄河源区水体信息的时空变化特征,并对其主要气候因素进行相关分析。结果表明:①CNN-OBIA的总体精度和Kappa系数分别为96.78%和0.93,MIWDR的总体精度和Kappa系数分别为94.28%和0.88,总体而言,CNN-OBIA的提取精度高于MIWDR方法。CNN-OBIA的提取结果可以很好地保持水体边界完整性和有效去除山体阴影,可以较好地对细小河流进行提取。②研究区水体总面积呈现出先减少(1986~2001年)后增加(2001~2022年)的变化趋势。③相关性分析表明,降水和气温与水体面积的变化均表现出显著正相关。

基于Contextual Transformer的自动驾驶单目3D目标检测

针对当前单目3D目标检测中存在的漏检和多尺度目标检测效果不佳的问题,提出了一种基于Contextual Transformer的自动驾驶单目3D目标检测算法(CM-RTM3D)。在ResNet-50网络中引入Contextual Transformer(CoT),构建ResNet-Transformer架构以提取特征。设计多尺度空间感知模块(MSP),通过尺度空间响应操作改善浅层特征的丢失情况,嵌入沿水平和竖直两个空间方向的坐标注意力机制(CA),使用softmax函数生成各尺度的重要性软权重。在偏移损失中采用Huber损失函数代替L1损失函数。实验结果表明:在KITTI自动驾驶数据集上,相较于RTM3D算法,该算法在简单、中等、困难三个难度级别下,AP3D分别提升了4.84、3.82、5.36个百分点,APBEV分别提升了4.75、6.26、3.56个百分点。

BEV特征下激光雷达和单目相机融合的目标检测算法研究

为提高自动驾驶汽车对周围目标物的检测精度,提出了一种激光雷达和单目图像数据在鸟瞰图特征上融合的目标物检测算法(monocular-bird’s eye view fusion,Mono-BEVFusion)。为构建相机BEV特征,搭建了简单高效的深度预测网络预测相机特征的深度,基于显式监督的方法用深度真值对其进行监督。构建激光雷达BEV特征时,将激光点云体素化为柱状网格转化到BEV特征下,设计BEV特征融合网络将激光点云BEV特征和相机BEV特征融合,将融合特征输入到目标检测框架得到目标物(汽车、行人和骑行人)检测结果。利用KITTI数据集和实车路采数据对Mono-BEVFusion融合算法进行评估,实验结果表明该算法相较于现有融合算法综合平均精度提升了2.90个百分点,其中汽车类和行人类单项检测精度分别提升3.38个百分点和4.13个百分点。Mono-BEVFusion融合算法对遮挡目标或者距离较远的目标有较稳定的检测效果,能够有效避免单传感器的漏检现象,具有较好的实际应用价值。

基于伪点云特征增强的多模态三维目标检测方法

环境感知是自动驾驶汽车落地的关键技术之一,它对于提高自动驾驶汽车的安全性和可靠性至关重要.三维目标检测是其中的一项核心任务,旨在识别和定位三维空间中的物体,为后续决策提供重要的信息.点云和图像是该任务最常用的输入数据,点云由三维空间中不规则分布的点组成,而图像则是由二维空间上规则分布的像素组成.因此,点云和图像之间难以进行有效的融合.而伪点云作为一种点云表征的图像信息,近几年受到了该领域学者的广泛关注.现阶段基于伪点云的三维目标检测方法还存在伪点云特征提取粗糙和相应感兴趣区域(Region-of-Intersts,RoI)特征表征能力差的问题.本文针对上述问题开展研究,分别提出细粒度注意力卷积和多尺度分组稀疏卷积.细粒度注意力卷积将规则图像处理中常用的深度可分离卷积引入不规则点云的处理流程,并在此基础上嵌入通道和分组注意力机制,进行精细的特征提取,增强伪点云特征;多尺度分组稀疏卷积将格网池化后的Ro I特征分组,进行差异化特征学习,获取不同尺度的Ro I特征,增强伪点云Ro I格网特征的表征能力.基于此,本文在SFD(Sparse Fuse Dense)网络的伪点云特征提取流程中引入细粒度注意力卷积,同时在其伪点云Ro I特征学习流程中引入多尺度分组稀疏卷积,构建SFD++多模态三维目标检测网络.在权威KITTI自动驾驶数据集上的实验结果表明,SFD++每秒可以处理8.33帧数据,其精度在简单、中等和困难的三维汽车检测上达到95.74%、88.80%和86.04%,比次优SFD的精度高出0.15%、0.84%和0.58%.除此之外,一系列消融和补充实验结果验证了所提出卷积的有效性和相关参数设置的合理性.

一种蜗杆传动多目标优化设计方法

蜗杆传动的传统设计方法主要是设计者借鉴已有的设计实例和经验,首先试选基本参数,再通过校核确定该参数是否满足使用要求。若不满足要求,则重新选择参数进行校核,若满足要求则作为最终的设计方案。由于不同设计者选择的参数一般不同,就会导致同一设计要求出现不同设计方案的现象,且方案一般不是最佳。多目标优化设计方法在排除传统设计方法人为主观因素的基础上,以与蜗杆制造成本和传动性能紧密相关的蜗轮齿冠体积、蜗杆传动中心距、滑动速度等目标为优化对象,建立优化目标函数,确定设计约束条件,利用有关软件优化工具箱寻找最优解进行优化。结果表明,多目标优化设计与常规设计相比,在传动效率小幅提升的前提下,多目标优化设计的蜗轮齿冠体积大幅下降65.42%,传动中心距缩小24.8%,优化设计效果显著,优化后机构综合性能更强。

基于改进YOLOv5的鱼眼图像目标检测算法

针对自动驾驶场景下车载鱼眼相机采集到的图像存在畸变严重、场景复杂、尺度变化剧烈、小目标多以及传统的目标检测模型的检测精度不高的问题,提出了一种基于YOLOv5s改进的鱼眼图像检测模型YOLOv5s-R.首先,为解决小目标难识别的问题,提出随机裁剪多尺度训练的数据增强方法,该方法优于消融实验所得的最优数据增强方法.其次,为了提高模型的检测精度,在网络头部添加置换注意力机制与轻量化解耦头,增强模型对特征的提取能力与识别能力,并抑制噪声干扰.最后,模型额外增加角度预测项,实现旋转框目标检测.通过构建环形标签并用高斯函数对标签平滑,解决了旋转框角度的周期性问题;又对损失函数进行了优化,提出了RIOU,在CIOU的基础上增加角度惩罚项,提高了回归精度并加快了模型的收敛.实验结果表明,提出的YOLOv5s-R模型在WoodScape数据集上取得良好的检测效果,相比于原始的YOLOv5s模型,mAP@0.5、mAP@0.5∶0.95分别提升了6.8%、5.6%,达到82.6%、49.5%.

基于多通道交叉注意力融合的三维目标检测算法

针对现有单阶段三维目标检测算法对点云下采样特征利用方式单一、特征对长程上下文信息的聚合程度无法满足算法性能提升需求的问题,本文提出了基于多通道交叉注意力融合的单阶段三维目标检测算法。首先,设计通道交叉注意力模块用于融合下采样特征,可基于交叉注意力机制在通道层面上增强多尺度特征对不同感受野下长程空间信息的表达能力;然后,提出级联特征激励模块,结合原始下采样特征对通道交叉注意力加权特征进行级联激励,提升算法对关键空间特征的学习能力。在公共自动驾驶数据集KITTI上进行了大量实验并与主流算法对比,本文算法作为单阶段目标检测算法,在车辆类别3个难度级别上的检测准确率分别为91.34%、79.85%和75.98%,较基线算法分别提升了4.83%、3.26%和3.32%。实验结果证明了本文算法及所提模块在三维目标检测任务上的有效性和先进性。

摆线针轮减速机参数对传动效率的影响与参数优化

为进一步提高摆线针轮减速机的传动效率,对减速机传动效率的影响规律进行了深入研究,提出了考虑设计参数与工况参数变化的摆线针轮减速机传动效率计算模型,并对参数进行了优化。首先,考虑摩擦力和啮合齿隙,建立了摆线针轮传动机构的多齿承载接触分析模型,计算了摆线针齿啮合力与载荷分布规律;然后,考虑摆线针轮减速机的啮合损耗、输出损耗、轴承损耗、润滑损耗和密封损耗,提出了摆线针轮减速机传动效率计算模型,并分析了设计参数和工况参数对摆线针轮减速机传动效率的影响规律。研究表明,在考虑摩擦受力的情况下,转速、负载、针齿销半径、针齿分布圆半径、偏心距、针齿套半径是影响传动效率的主要参数,针齿销数、柱销分布圆半径、柱销半径和摆线轮齿宽次之。最后,以齿轮强度、齿轮宽度、齿廓形状、齿间间隙和承载能力作为参数优化范围,将效率和体积作为目标对设计参数进行多目标优化分析,得到最优参数解,进而获得了更小体积、更高传动效率的摆线针轮减速机。

基于鸟瞰图的多任务端到端3D目标检测方法

由于在自动驾驶过程中激光雷达扫描过程中受到空间限制,采集到的点云数据损失了过多的信息。在聚合表示方法的基础上,提出了基于鸟瞰图的多任务端到端3D目标检测方法。首先,利用纹理特征提取器与语义特征提取器对特征金字塔的高级特征层与低级特征层进行特征融合,获得扩展的特征金字塔层,使得自动驾驶过程中的中等目标(骑自行车的人)与小目标(行人)不再耦合在同一级别的特征金字塔层,提高了点云拓扑信息的区域细节性。其次,在损失函数中引入用于分类的Focal loss与用于回归的CIOU loss,改善了正负样本比例,对目标检测框进行了约束,使得目标框在回归过程中能够以更高精度收敛。实验结果表明,提出的方法在自动驾驶中小目标检测中具有更强的检测能力与更高的检测精度。

基于激光雷达点云的动态驾驶场景多任务分割网络

在自动驾驶场景理解任务中进行准确的可行驶区域以及动静态物体分割对于后续的局部运动规划和运动控制至关重要。然而当前基于激光雷达点云的通用语义分割方法并不能在车端边缘计算设备上实现实时且鲁棒的预测,且不能预测当前时刻的物体运动状态。为解决该问题本文提出一种可行驶区域及动静态物体多任务分割网络MultiSegNet。该网络利用激光雷达输出的深度图及处理后得到的残差图像作为编码空间特征和运动特征的表征输入到网络用于特征学习,从而避免直接处理无序高密度点云。针对深度图在不同方向视角内目标分布数量差异较大的特点,本文提出了变分辨率分组输入策略。该方法能在降低网络计算量的同时提高网络的分割精度。为适配不同尺度目标所需要的卷积感受野尺寸本文提出了深度值引导的分层空洞卷积模块。同时本文为有效关联并融合不同时域下物体的空间位置和姿态信息提出了时空运动特征增强网络。为验证所提出MultiSegNet的有效性,本文在大规模点云驾驶场景数据集SemanticKITTI及nuScenes上进行验证。结果表明:可行驶区域、静态物体和动态物体的分割IoU分别达到98%、97%和70%,性能优于主流网络,且在边缘计算设备上实现实时推理。

基于运动合成的旋转变速运动建模及其驱动机构演变

为满足织机开口运动停—升—停的工艺特性及其动力学性能,提出一种基于运动合成的旋转变速运动规律构造方法。从组合机构角度提出旋转变速运动驱动机构及其演变,建立不同驱动机构的相对运动传递函数模型。采用目标优化法对旋转变速机构尺寸参数进行设计,在相同的中心距半径和转子臂初始位置的情况下建立优化函数并进行求解。仿真结果表明:偏移系数是影响旋转变速运动的关键参数,且变速运动静止时间、相对位移和速度峰值随偏移系数增加而减小;传递函数是影响旋转变速机构运动特性的重要参数,当偏移系数为0.4147时,随传动比的减小,转子臂相对位移减小,同时影响旋转变速机构凸轮特性,传动比大于0.9后不能满足旋转变速机构约束条件;用导杆滑块机构和铰接四杆机构对齿轮机构进行代换,可近似实现变速规律相对运动的传递,其传动误差分别为0.010、0.003 rad;通过减小中心距对铰接四杆机构重新优化可以提高旋转变速机构传动性能,满足高速运动需求。

基于多传感器融合的协同感知方法

该文提出了一种新的多模态协同感知框架,通过融合激光雷达和相机传感器的输入来增强自动驾驶感知系统的性能。首先,构建了一个多模态融合的基线系统,能有效地整合来自激光雷达和相机传感器的数据,为后续研究提供了可比较的基准。其次,在多车协同环境下,探索了多种流行的特征融合策略,包括通道级拼接、元素级求和,以及基于Transformer的融合方法,以此来融合来自不同类型传感器的特征并评估它们对模型性能的影响。最后,使用大规模公开仿真数据集OPV2V进行了一系列实验和评估。实验结果表明,基于注意力机制的多模态融合方法在协同感知任务中展现出更优越的性能和更强的鲁棒性,能够提供更精确的目标检测结果,从而增加了自动驾驶系统的安全性和可靠性。

基于改进HybridNets的多任务驾驶感知方法

针对计算资源有限的自动驾驶系统和多任务驾驶感知算法精度低问题,提出了一种改进的HybridNets多任务驾驶感知算法。选择EfficientNetV2-S作为该算法的主干网络,降低参数数量,提高训练速度和识别准确率;结合深度可分离卷积并采用shuffle-channel方式卷积降低模型计算量;使用三个独立的解码器来解决不同难度的问题,并在主干网络与Neck端之间加入A2-Nets双重注意力机块,充分提取全局特征。与基础网络HybridNets相比,该模型在车辆检测任务中mAP50可达79.8%,提高了2.6%;可行驶区域分割任务中mIoU可达91.8%,提高了1.2%;车道线检测任务中IoU可达32.55%,提高了0.93%。运行速度达到38 FPS。实验结果表明,与现有方法相比,所提方法的准确率有较大提高。

YOLO算法及其在自动驾驶场景中目标检测综述

自动驾驶场景下的目标检测是计算机视觉中重要研究方向之一,确保自动驾驶汽车对物体进行实时准确的目标检测是研究重点。近年来,深度学习技术迅速发展并被广泛应用于自动驾驶领域中,极大促进了自动驾驶领域的进步。为此,针对YOLO(You Only Look Once)算法在自动驾驶领域中的目标检测研究现状,从以下4个方面分析。首先,总结单阶段YOLO系列检测算法思想及其改进方法,分析YOLO系列算法的优缺点;其次,论述YOLO算法在自动驾驶场景下目标检测中的应用,从交通车辆、行人和交通信号识别这3个方面分别阐述和总结研究现状及应用情况;此外,总结目标检测中常用的评价指标、目标检测数据集和自动驾驶场景数据集;最后,展望目标检测存在的问题和未来发展方向。

改进YOLOX的自动驾驶场景目标检测算法

针对原始YOLOX在自动驾驶场景中易出现小目标的误检及漏检问题,提出一种改进YOLOX网络模型的检测方法。增加一个检测头,显著提高了小目标的检测精度。用更快的空间金字塔池化(spatial pyramid poolingfast,SPPF)替代传统的空间金字塔池化(spatial pyramid pooling,SPP)结构,并引入了高效通道注意力机制(efficient channel attention,ECA),以增强模型对复杂背景和小目标的识别能力,有效降低了小目标的漏检率。在网络的neck部分,采用深度可分离的卷积方法,进一步提高了计算效率。基于KITTI数据集,设计了一种新的数据增强技术,提高模型的训练稳定性。实验结果表明,优化后YOLOX算法的小目标平均精度APS和平均召回率AR分别提升了0.20和0.097,在小目标检测上取得了显著进步,并大大降低了漏检率。