基于多智能体强化学习自动合流控制方法研究

对于智能网联车辆(connected automated vehicle,CAV)来说,上匝道合并是一项具备挑战性的任务,考虑到未来一段时间内有CAV和人工驾驶车辆(human-drive vehicle,HAV)的混合交通将存在于更多的交通场景中。根据合流区交通特性,将多车协同汇入表示为马尔可夫决策过程,建立了同时考虑车辆安全和效率的奖励函数。基于分布式多智能体强化学习(muti-agent reinforcement learning,MARL)框架提出中心式训练分散式执行的改进框架(centralized training and decentralized execution,CTDE)的MARL算法框架,节省了单智能体上的计算资源。建立基于两种框架的优势动作评论家(advantage actor critic,A2C)和近端策略优化(proximal policy optimization,PPO)两种控制算法。仿真实验结果表明,所建立的改进算法的整体性能优于原算法,提升了车辆平均行驶速度,满足最小车头时距同时降低了碰撞率和汇入等待时长,满足了合流区车辆的通行安全和提高了通行效率。

含残余热应力X型点阵夹层的非线性屈曲

冲压-钎焊法是一种制备X型点阵夹层结构的有效方法,但会产生钎焊残余热应力.目前的研究未涉及残余热应力对该结构稳定性能的影响.文中采用有限元模拟了X型点阵夹层结构在压缩状态下的屈曲行为,分析中考虑了残余热应力,并计入了钎焊降温幅度及板件厚度的影响.结果表明:增加板件厚度将提高结构的屈曲临界荷载,扩大屈曲时的塑性流动区;一般而言,该结构前屈曲状态分为线性变形和非线性变形2个阶段,残余热应力的存在将强化结构的线性变形,而弱化非线性变形,但对屈曲临界荷载影响不明显;增加钎焊的降温幅度、减小板件的厚度均可增强屈曲的残余热应力效应.

基于强化学习的自动驾驶汽车路径规划方法研究综述

路径规划作为自动驾驶的关键技术,具有广阔的应用前景和科研价值。探索解决自动驾驶车辆路径规划问题的方法,着重关注基于强化学习的路径规划方法。在阐述基于常规方法和强化学习方法的路径规划技术的基础上,重点总结了基于强化学习和深度强化学习来解决自动驾驶车辆路径规划问题的算法,并将算法按照基于值和基于策略的方式进行分类,分析各类算法的特点、优缺点及改进措施。最后对基于强化学习的路径规划技术的未来发展方向进行了展望。