基于多模态中间表示的端到端自动驾驶模型

对驾驶环境的准确理解是实现自动驾驶的先决条件之一。为提高自动驾驶车辆的场景理解能力,提出了一种基于语义分割、水平视差和角度编码的多模态中间表示的端到端自动驾驶模型。该端到端自动驾驶模型利用深度学习技术构建感知-规划网络。感知网络以RGB和深度图为输入生成多模态中间表示,实现道路环境及周围障碍物的空间分布描述;规划网络使用多模态中间表示进行道路环境特征提取和航路点预测。基于CARLA仿真平台进行模型的训练和性能测试,结果表明:该端到端自动驾驶模型能够实现对城市道路环境的场景理解,有效地减少了碰撞;相较于单模态中间表示的基线模型,其驾驶性能指标提升了31.47%。

自动驾驶场景类间相似特征自适应分类网络

解决类间相似度问题是自动驾驶场景分类研究中一项充满挑战的任务,主要研究在相似度较高的真实复杂交通场景中,利用网络学习目标特征的差异性,并构建特征之间整体关联性进行场景分类。提出一种多尺度自适应特征筛选的自动驾驶场景分类网络。采用双重多尺度特征提取模块预处理,初步提取不同尺度下的类间相似特征;设计了特征分化筛选模块完成场景相似特征筛选,使网络更关注不同场景类别的典型易区分特征;将特征筛选结果和多尺度特征图共同传递至特征融合分类模块进行场景分类,捕捉场景特征之间的关联性;由自适应学习算法通过输出结果动态调整训练参数,加快网络收敛速度并提升精度。所提方法在三种数据集BDD100k、BDD100k+和自制数据集上与现有网络方法进行比较,相较Top2网络在精度上分别领先了3.29%、5.59%、12.65%(相对),实验结果表明了所提方法的有效性,并展现了很好的泛化能力。提出的场景分类方法旨在学习不同复杂场景类别下的典型易区分的特征及其关联性,降低多目标类间相似的影响,使得在真实交通场景数据集中场景分类结果更加准确。

基于组合代价函数的智能汽车轨迹规划

针对智能汽车在多车道公路场景行驶中的安全性、舒适性问题,提出一种基于组合代价函数的轨迹规划方法。利用Frenet坐标系分别求解车辆的横向和纵向运动轨迹,通过五次多项式拟合生成候选轨迹集;以危险程度和轨迹偏离程度为基准,以车辆在多车道公路行驶中的安全性、舒适性为目标,设计一种新的代价函数组合,通过求解代价函数从而选择最优轨迹。仿真结果表明:该方法能够使车辆在三车道动态公路场景中实现跟车与变道。

基于改进YOLOv8的露天矿区行车障碍物检测

露天矿区场景复杂,行车障碍物检测受扬尘和颗粒物等粉尘噪声干扰严重,难以准确识别障碍物,尤其是光线较差的夜间,不利于做出正确决策,从而影响无人作业的安全性和整体效率。针对以上问题,提出了一种基于YOLOv8n模型的露天矿区行车障碍物检测算法YOLOv8n-Enhanced。该算法主要从3个方面进行了改进,具体包括:首先,针对受粉尘噪声干扰严重和夜间光线不足的问题,提出了C2fCA模块结构,提高了模型特征提取能力;其次,使用轻量级卷积技术GSConv和VoV-GSCSP模块,减轻模型复杂性,实现检测器更高的计算成本效益;最后,使用WIOU损失函数,提高了模型泛化能力。试验结果表明:改进算法在保持实时性的前提下,可将YOLOv8n的平均精度(mean Average Precision,mAP)分别提高1.8%和2.6%,实现白天与夜间场景下不同尺度的障碍物识别。

锚框校准和空间位置信息补偿的街道场景视频实例分割

街道场景视频实例分割是无人驾驶技术研究中的关键问题之一,可为车辆在街道场景下的环境感知和路径规划提供决策依据.针对现有方法存在多纵横比锚框应用单一感受野采样导致边缘特征提取不充分以及高层特征金字塔空间细节位置信息匮乏的问题,本文提出锚框校准和空间位置信息补偿视频实例分割(Anchor frame calibration and Spatial position information compensation for Video Instance Segmentation,AS-VIS)网络.首先,在预测头3个分支中添加锚框校准模块实现同锚框纵横比匹配的多类型感受野采样,解决目标边缘提取不充分问题.其次,设计多感受野下采样模块将各种感受野采样后的特征融合,解决下采样信息缺失问题.最后,应用多感受野下采样模块将特征金字塔低层目标区域激活特征映射嵌入到高层中实现空间位置信息补偿,解决高层特征空间细节位置信息匮乏问题.在Youtube-VIS标准库中提取街道场景视频数据集,其中包括训练集329个视频和验证集53个视频.实验结果与YolactEdge检测和分割精度指标定量对比表明,锚框校准平均精度分别提升8.63%和5.09%,空间位置信息补偿特征金字塔平均精度分别提升7.76%和4.75%,AS-VIS总体平均精度分别提升9.26%和6.46%.本文方法实现了街道场景视频序列实例级同步检测、跟踪与分割,为无人驾驶车辆环境感知提供有效的理论依据.

面向模拟环境的自动驾驶道路场景生成方法研究

针对生成自动驾驶系统道路场景的问题,提出面向模拟环境的道路场景生成方法。该方法定义并实现了八类道路组件,使用基于指导的道路组件拼接方法将道路组件拼接为道路场景,根据道路场景的拓扑结构计算道路场景之间的相似度完成去重。去重后的道路场景在自动驾驶系统与模拟器中开展联合仿真。实验表明,相较于基于随机拼接的道路场景生成方法,该方法能够生成可以直接应用于自动驾驶系统测试的多样化的道路场景,弥补了几何与拓扑结构多样性不足的局限性问题。

基于风险场景搜索的自动驾驶测试方法

自动驾驶测试方法是自动驾驶研究体系中重要的组成部分,也是当前研究的热点之一。提出了基于风险场景搜索的自动驾驶测试方法,通过NGSIM数据集提取出换道场景,确定场景参数空间范围和特征,通过基于遗传算法的场景搜索方法构建自动驾驶测试场景。为了提高场景生成效率,改进了场景参数的搜索过程,对前车换道场景设置了约束,对单个场景的仿真时间进行优化,增加了记忆模块以防止相同场景进行复测试。基于PreScan/Simulink平台构建了三车道前车换道场景,生成并完成了439个场景的测试,其中有266个场景发生了车辆碰撞。分析发现,碰撞失效是由于被测算法制动不及时和未触发紧急制动所导致。

基于多模态的急救车载无人机设计研究

本研究旨在对无人机进行创新设计,在多模态理论的指导下,提高急救车驾驶场景下其他车辆驾驶人员的反应效率以提升患者的存活率。首先通过分析系统急救场景的全流程得出本研究的重要性,随后深入急救场景对利益相关者的行为和心理进行细致剖析,得出本文拟解决的问题,并分析得出可以通过视觉和听觉的信息传达来敦促其正确驾驶从而提高其反应速度,之后将多模态理论介入无人机产品设计,并得出基于多模态理论的急救车载无人机设计模型,基于该理论模型,最终输出一套完整的设计实践。理论与实践均表明,基于多模态理论的急救车载无人机设计研究在设计者的设计过程中确实起到了积极的作用。这将为其他急救场景下的产品设计者以及无人机产品设计者提供参考,在一定程度上可促进我国急救车相关产品产业的发展。

自动驾驶合规性虚拟测试场景构建方法研究进展

基于场景的测试推动了自动驾驶技术的开发与应用,如何构建合规性虚拟测试场景已成为自动驾驶技术领域的关键问题。首先针对不同主体对于合规性的需求进行了详细分析,基于场景交互性对测试场景构建方法进行分类,回顾了一系列虚拟测试场景构建方法,对各类场景构建方法从研究进展、应用情况和优缺点等方面进行归纳总结。此外,为解决不同主体差异化测试需求的场景构建方法适用问题,提出了覆盖度、边缘性、真实性三类测试场景构建方法评价指标,并用三类指标对各类场景方法的优势和局限性进行了综合评估。最后,基于评估结果详细分析了各类测试方法对差异化测试需求的适用性,并对当前存在的不足和未来研究趋势进行了总结和分析,以期为自动驾驶测试场景构建研究提供有益参考。

基于不同驾驶习惯的自动泊车系统控制策略测试方法研究

自动泊车系统的准确性与有效性的提高,将推动自动泊车技术发展。文章对自动车系统进行了测试方案设计、关键测试场景选取、驾驶习惯分析,分析了自动泊车系统在不同场景及工况下的表现。通过功能分析、场景测试、信号采集和数据分析,为自动泊车功能的研发设计提出了方案。测试结果显示,无论针对平行车位或是垂直车位,基于副驾驶侧的自动泊入有效性优于主驾驶侧的自动泊入,但在耗时与效率方面有待进一步提升,性能参数有待进一步优化。

基于驾驶场景的高效多模态融合检测方法

目标检测是自动驾驶中重要的组成部分。为解决在弱光条件下单一的可见光图像不能满足实际驾驶场景检测的需求并进一步提高检测精度,提出一种用于红外和可见光融合图像的交通场景检测网络,简称AM-YOLOv5。AM-YOLOv5中改进的Repvgg结构可以提升对融合图像特征的学习能力。此外,在主干网络末端引入自注意力机制并提出一种新的空间金字塔模块(SimSPPFCSPC)充分获取信息;为提升网络推理速度,在颈部网络的前端使用一种全新的卷积(GS卷积)。实验结果表明,AM-YOLOv5在FLIR数据集融合图像上的mAP_(0.5)达到了69.35%,与原YOLOv5s相比,在没有牺牲推理速度的前提下,检测精度提升了1.66%。

自动驾驶仿真测试场景库体系建设方法综述

基于自动驾驶仿真测试场景库可以有效加速测试进度,提高测试的安全性和覆盖度。对自动驾驶中的场景进行分析,论述了相关的场景定义、场景元素以及场景来源;对场景中的数据处理、特征提取、场景聚类进行描述,总结提出自动驾驶测试仿真场景库的体系搭建方法,并对未来发展趋势作了相关预期分析,可以为自动驾驶测试开发提供参考和借鉴。

基于轨迹预测的智能汽车行驶风险评估方法

提出了基于预测轨迹的行车风险评估方法,首先建立了沿预测轨迹两侧具有渐变高斯截面特征的驾驶风险域DRF以表征驾驶员行为的不确定性,然后考虑车辆与周围静态、动态障碍物处于特定状态的风险后果建立环境事件成本,得到适应复杂行车场景不确定性的量化感知风险,并基于贝叶斯理论融合预测区间内的量化感知风险时间序列,实现了对于未来行车潜在碰撞风险的预测。实车轨迹和仿真实验结果表明,相比于经典TTC指标方法,基于融合未来一段时间内自车与周边环境交互信息的DRF的风险评估方法可以更快、更准确地辨识复杂交通场景的行车风险变化,为研究周边多车复杂场景下车辆碰撞风险问题提供了参考。

Development of driver-vehicle-road closed-loop semi-physical simulation system

As hybrid vehicles introduced the motor, the vehicle structure has a significant change in the power matching. A driver-vehicle-road closed-loop semi-physical simulation system, which makes real driving parts together with the simulation car, will bring convenience to the new car design. We used the computer software to simulate the road with a slope, curve and some other features based on the actual road condition, and analyzed the whole road scene in addition to geometry and physical characteristics. Analyzing and constructing the vehicle dynamics basic template, appropriate changes to the template can obtain the desired vehicle dynamics model with an external device to control the model vehicle. It combined the physical operation system with visual display, which gave us real driving feelings and increased the vehicle design predictive accuracy.

交通场景下基于YOLOv5的目标检测与分割算法

目标检测和语义分割被广泛应用在自动驾驶领域,包括对车辆、行人、车道线的检测。而目前大部分算法仅仅实现一种任务,不能满足对多重环境信息感知的需求。针对上述问题,提出了一种联合训练目标检测和语义分割的YOLOSeg算法。使用MobileNetv3作为YOLOSeg中的特征提取网络,减少了模型的参数量。PANet用于融合不同尺度的特征图,增加对小目标信息信息的捕捉能力。在语义分割分支中利用空洞卷积池化金字塔增加感受野,通过双线性插值得到图像分割结果。实验结果表明,该方法图像分割速度相较RefineNet提升35帧/s。平均交并比提升4.9%。目标检测的mAP@0.5相较YOLOv5s提升1.3%。YOLOSeg平衡了在复杂交通场景中对检测精度和速度的要求。

基于人因工程的驾驶行为分析虚拟仿真系统

针对高校中缺少微观仿真软件以及没有考虑到微观个体相关因素的问题,基于Unity3D实时3D互动内容创作和运营平台,通过自主创新,依托于“交通工程省级实验教学示范中心”,研发了数据与场景驱动的驾驶行为分析虚拟仿真实验项目,实现包括多维再现、场景驱动、参数可变、场景可控、方案分析与优化设计等相关功能。系统选择常用交通影响因素作为相关变量,使用SketchUp、Probuilder等软件为系统建模,并采用C#编程语言实现系统所需人机交互功能,并发布Web版本,创建开发出交通模拟驾驶实验室。教师可以通过课程需要选取相关的道路模型,可以显著降低实验成本,并强化学生专业认知能力、专业设计能力以及综合创新能力。

恐惧影响驾驶视觉搜索时间窗的眼动证据

目的研究旨在探索恐惧情绪对驾驶视觉搜索模式的影响。方法采用比较恐惧情绪组和中性情绪组对三种不同呈现方式的实验材料中交通元素刺激物的判定反应和眼动追踪的方法。结果判定反应时间在实验材料呈现方式中存在显著差异,原始交通场景图的判定时间最快;眼动数据结果发现,恐惧组相对于控制组,视觉眼动更倾向于聚集在刺激的中间。结论驾驶视觉搜索图式确实存在,恐惧导致驾驶视觉搜索更加窄化,并且存在驾驶搜索模式的刺激启动效应。

数据驱动的智能车个性化场景风险图构建

为实现智能车辆危险预警辅助功能,精确建立个体驾驶员的个性化辅助系统,提出一种数据驱动的智能车个性化场景风险图构建方法。构建复杂交通场景中动静态要素属性与要素之间隐含交互关系的图表征,使用图核方法对图表征数据进行相似性度量,处理分析驾驶员操作数据并获取驾驶员个性化场景危险程度评价标签。基于支持向量机训练识别模型,建立驾驶员个性化危险评价机理与场景特征之间的映射关系,以模型输出的危险程度评价标签与真实值进行实验对比。结果表明,基于场景风险图构建的驾驶员个性化危险场景识别模型识别准确率可达95.8%,比特征向量表示法提高了38.2%,能够有效地做出基于驾驶员驾驶风格的个性化场景危险程度评价。

基于BIM+GIS的高速公路数字沙盘研究及应用

传统的工程实体沙盘由于其制作麻烦、费时费力、价格昂贵且功能单一、精度较低、无法提供精准的量测,越来越难以满足现代工程建设管理的需要。随着数字化技术的发展,采用实景高精度的虚拟数字沙盘来取代实体沙盘将为工程建设管理提供更有效的技术手段。根据高速公路建设项目实际需求,基于无人机倾斜摄影测量、BIM和GIS等技术,研究开发了数字沙盘模型,该数字沙盘不仅能真实地展示工程项目的建设情况和具体细节,还可提供红线分析、实景分析、虚拟驾驶和实时精准量测等功能,有效提高了工程建设管理水平和管理效率。

基于道路驾驶技能考试的辅助制动策略探索与实践

针对道路驾驶技能考试避险需求,本文利用辅助驾驶新技术,研究路考典型场景下的制动策略,并开展测试评价。基于考试员紧急踩副制动的常见情形,构建了3种典型路考场景;通过建立场景的运动学模型,解析制动安全边界范围及影响因素;试制辅助制动系统样机,并对制动性能开展功能测评,验证系统的有效性和安全性,从技术层面探索了路考辅助制动的新方法。