基于SA-FQL算法的区域交通控制方法

将模拟退火算法的Metropolis准则用于平衡模糊Q学习中探索和扩张之间的关系,提出基于Metropolis准则的模糊Q学习算法Simulated Annealing Fuzzy Q-learning(SA-FQL)。利用SA-FQL算法优化区域的公共周期,在给定周期的基础上再用SA-FQL算法优化区域中各干线相邻两路口的相位差,最后根据交通流量确定各路口的绿信比。TSIS仿真结果表明,相比基于Q学习和模糊Q学习的控制方法,该方法能显著提高学习速度和交通效率。

基于DP-SAMQ行为树的智能体决策模型研究

在多智能体仿真中使用行为树进行决策具有直观、易扩展等优点,但行为树的设计过程过于复杂,人工调试时效率低下。引入Q-Learning来实现行为树的自动设计。为解决传统Q-Learning的收敛速度慢的问题,将模拟退火算法中的Metropolis准则应用到动作选择策略中,随着学习过程自适应改变次优动作的选择概率以及将动态规划思想应用到Q值更新策略。实验结果证明,基于改进的多步Q-Learning行为树的智能体决策模型具有更快的收敛速度,并且能够实现行为树的自动设计和优化。

计及碳排放权交易的发电商报价策略研究

基于agent的市场仿真方法描绘了存在二氧化碳排放权交易的市场环境下发电商的报价博弈过程,采用模拟退火Q学习算法模拟了发电商追求利润最大的行为,并给出了市场出清结果,进而分析了碳排放权交易机制对电力市场运营的影响。仿真计算表明,计及二氧化碳排放权交易后,agent发电商能够根据状态改变以利润最大为目标做出有利的报价决策,实施碳排放权交易会促进清洁能源的发展。