平均排队长度差最小的单交叉口在线Q学习模型

为改善交叉口排队长度管理,避免交叉口某个方向排队长度过长,采用强化学习理论建立了以平均排队长度差最小为优化目标的在线Q学习模型。针对控制性能指标相对于邻近的配时方案不敏感的特点,提出了以平均排队长度差作为基本单位重新构造奖励函数,目的是拉大各行为对应的Q值差距,提高模型的收敛速度和鲁棒性。集成Excel VBA,Vissim,Matlab建立了在线仿真平台,作为计算环境对算例进行了计算。算例中利用GPS数据对Vissim软件中车辆加减速度曲线进行了标定。计算结果表明以平均排队长度差作为优化目标能够提高各个方向排队长度的平衡性,优化整个交叉口的时空资源;建立的在线Q模型具有学习能力和较快的计算速度,模型能否收敛受到周期取值和可选行为数量的影响。

平均排队长度差最小的单交叉口在线Q学习模型

建立了以平均排队长度差最小为优化目标的在线Q学习模型.针对控制性能指标相对于临近的配时方案不敏感的特点,提出了以平均排队长度差作为基本单位重新构造奖励函数,目的是拉大各行为对应的Q值差距,提高模型的收敛速度和鲁棒性.集成Excel VBA、Vissim、Matlab建立了在线仿真平台,作为计算环境对模型进行了计算.利用GPS数据对Vissim软件中车辆加减速度曲线进行了标定.计算结果表明以平均排队长度差作为优化目标能够优化整个交叉口的时空资源,本文建立的在线Q学习模型具有较快的收敛速度和鲁棒性,通过学习能够实现优化目标.

基于在线附加Q学习的伺服电机速度最优跟踪控制方法

该文将在线Q学习方法与附加控制思想相结合,讨论了其在伺服系统中电机速度最优跟踪控制问题上的应用。首先在线性二次型跟踪器问题的框架下对待求解问题进行了定义;然后给出了在线附加Q学习迭代式地进行策略评价、策略改善的具体算法。仿真测试中,首先为电机速度跟踪问题设计了传统的PI控制器,然后将基于该文思路所设计的附加控制器与其并联,组成新的速度控制器。仿真结果表明,附加控制器显著改善了电机速度跟踪的动态响应特性,并且具备在被控系统参数发生改变时自动调优的自适应能力。非线性系统在特定条件下可进行局部线性化时,也可用该方法来得到更优的控制性能。

基于在线附加Q学习的伺服电机速度最优跟踪控制方法研究

本文对在线Q学习的方法和附加理论相结合,对伺服电机的最优跟踪控制方法进行相关研究。在线性二次跟踪模型的基础上,对其进行相应的定义,之后提出一种迭代式的在线附加Q学习策略,并结合仿真模型对其进行测试和评价,按照仿真结果来看,该方法具有良好的动态响应能力,能够根据实际变化进行自适应,在特定条件下对局部线性进行优化的过程中,该方法同样具有良好的适应性。