基于Sarsa算法的城轨列车节能控制策略研究

针对城市轨道交通节能运行问题,提出一种基于Sarsa强化学习算法的城轨列车节能控制策略,实现了城轨列车在自动驾驶状态下,面对不同路况,执行减少能源消耗驾驶策略的同时兼顾准时性和舒适性。根据线路条件将列车状态进行离散化处理,将连续的驾驶过程分为若干个子区间进行分段求解。结合区间限速、初始状态、终末状态等限制条件,基于能耗及运行时间分别构造适当的奖励函数。同时,用当前状态下可达的最大速度与最小速度对可选速度集合进行限制,缩小探索空间,加快算法收敛。最后,通过对北京铁路亦庄线小红门站至肖村站的实例进行仿真。实验结果表明,与传统的动态规划方法相比,Sarsa算法在满足舒适性和准时性要求的情况下节能9.32%。相比于强化学习中的Q学习算法,在速度的选取过程中,超速次数也有明显下降。仿真结果证明Sarsa算法具有更好的节能效果和安全性。在算法参数不变的情况下,调整限速条件,与传统动态规划算法进行二次对比,依旧节能4.21%,验证了算法的鲁棒性。

基于改进SARSA算法的航空器滑行路径规划

航空器滑行是机场运行中最重要的一环,缩短滑行时间也是提高机场运行效率的主要手段。为了改变仅依靠人工进行机坪管制的现状,文章针对航空器滑行的特殊环境,利用改进SARSA算法对航空器的滑行路径进行规划,并通过仿真验证了该算法在规划路径长度和迭代次数方面优于传统SARSA算法,进而更好地为管制员决策提供辅助参考。

基于改进Sarsa算法的拖轮动态调度方法

从优化Sarsa算法的角度展开拖轮动态调度方法研究。采用强化学习框架并结合拖轮的状态和环境信息,建立状态-动作函数,进而搜索拖轮调度最佳策略。改进Sarsa算法中Q函数的更新方式,以克服收敛速度慢的问题。同时,根据学习率选择模式和动作选择方式,对探索策略与利用策略加以平衡,以提高算法的收敛速度和性能。算例仿真实验结果表明,采用该算法可有效缩短船舶等待时间,进而提升拖轮资源的利用效率。

在策略SARSA算法在互联电网CPS最优控制中的应用

CPS标准下的互联电网的自动发电控制(AGC)系统是一个典型的不确定随机系统,提出一种新型应用于AGC系统的随机最优控制策略——基于SARSA算法的互联电网CPS最优控制策略。SARSA算法更多地考虑控制策略动作的花费,倾向于避开进入随机系统中搜索一些危险的状态,相对于离策略(off-policy)的Q学习算法,在策略(on-policy)SARSA算法的学习试错过程中对受控系统影响更小。仿真结果表明,基于SARSA算法的CPS控制器较Q学习算法有更好的鲁棒性和适应性,能够获得更佳的CPS指标。

一种新的基于值函数迁移的快速Sarsa算法

知识迁移是当前机器学习领域的一个新的研究热点.其基本思想是通过将经验知识从历史任务到目标任务的迁移,达到提高算法收敛速度和收敛精度的目的.针对当前强化学习领域中经典算法收敛速度慢的问题,提出在学习过程中通过迁移值函数信息,减少算法收敛所需要的样本数量,加快算法的收敛速度.基于强化学习中经典的在策略Sarsa算法的学习框架,结合值函数迁移方法,优化算法初始值函数的设置,提出一种新的基于值函数迁移的快速Sarsa算法——VFT-Sarsa.该算法在执行前期,通过引入自模拟度量方法,在状态空间以及动作空间一致的情况下,对目标任务中的状态与历史任务中的状态之间的距离进行度量,对其中相似并满足一定条件的状态进行值函数迁移,而后再通过学习算法进行学习.将VTF-Sarsa算法用于Random Walk问题,并与经典的Sarsa算法、Q学习算法以及具有较好收敛速度的QV算法进行比较,实验结果表明,该算法在保证收敛精度的基础上,具有更快的收敛速度.

基于SARSA(λ)算法的单路口交通信号学习控制

针对复杂的、难以建模的城市交通系统,将多步强化学习算法SARSA(λ)应用于交通信号控制,根据实时的交通状态信息动态进行决策,自动适应环境以便取得更好的控制效果。由于问题状态空间太大而难以直接存储和表示,采用径向基函数神经网络进行值函数近似,通过训练自适应非线性处理单元,可达到较好的近似表示效果,解决了单个十字交叉路口的交通信号控制问题。对该方法进行仿真实验,结果表明其控制效果明显优于传统的固定配时控制策略。

基于量子粒子群和SARSA算法的蜂窝网络信道分配

为了对蜂窝网络的信道进行在线、实时和动态的分配,设计了一种基于量子粒子群算法和SARSA算法的蜂窝网络信道分配方法;采用分配方案表示量子粒子的位置,通过粒子群在粒子空间中不断寻优,将寻求的最优粒子位置作为信道分配方案的初始解;在此基础上,根据得到的初始解的目标值来计算各状态动作对处的初始Q值,在此基础上,通过加入资格迹的SARSA(λ)算法和ε—greedy策略得到改进的SARSA(λ)算法,执行算法直到各状态动作对的Q值不发生变化为止,此时最终解为信道分配方案;采用具有30个小区的移动蜂窝网络进行实验,仿真实验结果表明文中方法能实现蜂窝通信网络中信道的在线分配,是一种有效的信道分配方法。

基于SARSA算法的风电——抽蓄联合系统日随机优化研究

针对随机动态规划在求解风电—抽蓄联合系统日随机优化时出现的维数灾问题,提出采用强化学习的SARSA算法来解决。首先分析了风电出力随机性并采用Beta分布来表示风电出力的概率分布;然后建立了风蓄联合系统实际出力与计划出力偏差平方最小为目标函数的日随机优化模型;最后说明利用SARSA算法求解该问题的步骤。算例应用结果表明,利用SARSA算法求解该问题需迭代一定次数才收敛,且算法的学习率随迭代次数增加而减小时可加快算法收敛速度;将SARSA算法与随机动态规划算法相比,在优化结果接近的情况下,SARSA算法计算时间减少约35%,该算法为解决随机多能互补问题提供了新思路。

基于5要素试错更新算法SARSA(λ)的自动发电控制

本文提出了一种基于5要素试错更新算法SARSA(λ)强化学习的随机最优自动发电控制方法.该方法不依赖任何系统模型和先验知识并通过试错机理寻求最优控制策略.以控制性能标准(control performance standards,CPS)和区域控制偏差(areal control error,ACE)瞬时滚动值为基础设计了即时奖励函数,有效提高了该方法的收敛速度和控制效果,并在算法中融入了资格迹以解决二次调频过程的延时问题.本文所提出的控制方法在进行状态空间搜索时,能有效摆脱避免搜索较大扰动状态,以此获得更佳的控制效果.标准两区域和南方电网仿真模型研究表明,本算法能给系统提供更加安全的控制策略,具有比Q(λ)算法更好的控制性能,有效提高CPS考核的合格率.

基于SARSA算法的水声通信自适应调制

水声信道复杂多变,自适应调制系统中反馈信息存在较大的时延,实际信道状态与接收到的反馈信息无法匹配,带来反馈信道状态信息过时问题,发送端不能准确做出自适应决策进而导致传输误码高及吞吐量低等问题。针对该问题,利用强化学习中的SARSA算法学习信道的变化并进行行为策略的选择,根据信道的变化,择优选出最佳的调制方式,以改善系统的传输误码和通信吞吐量。对比固定调制方式和直接反馈情况下的系统的误码率和吞吐量,结果表明,经强化学习后的系统误码率和吞吐量均优于其他两种方式,可见,强化学习算法在时变水声信道自适应调制中改善传输误码和吞吐量的问题上是有效可行的。

基于Sarsa算法的无人直升机悬停控制

无人直升机悬停控制,利用Sarsa增强学习算法设计。将Sarsa增强学习算法与多层前馈神经网络相结合,对控制器参数进行在线调整,实现对微小型无人直升机悬停控制性能的在线优化。增强学习的值函数逼近器采用N10-12-16结构的多层前馈神经网络,权值学习采用直接梯度下降的近似梯度迭代算法,用ε-Greed策略进行行为选择。

基于组合神经网络的Sarsa(λ)学习算法

标准的Sarsa(λ)算法对状态空间的要求是离散的且空间较小,而实际问题中很多系统的状态空间是连续的或尽管是离散的但空间较大,这就需要很大的内存来存储状态动作对。为此提出组合神经网络,首先用自组织映射(SOM)神经网络对状态空间进行自适应量化,然后在此基础上用BP网络拟合Q函数。该方法实现了Sarsa(λ)算法在连续和大规模状态空间的泛化。最后,实验结果表明了该方法的有效性。

移动机器人模糊Sarsa(λ)学习导航研究

针对复杂未知环境下难以获得完善的模糊导航控制规则以及传统的强化学习算法不能解决连续状态空间和连续动作空间的学习问题,提出了一种模糊强化学习算法.通过将模糊推理系统和强化学习算法相结合,设计了一种模糊强化学习系统,一方面,在缺乏专家经验的情况下,利用强化学习中的Sarsa(λ)学习算法来获取模糊逻辑控制器的模糊规则库,另一方面,利用模糊推理系统所具有的广泛逼近性,使机器人在学习时可以遍历到每一个状态动作对.同时将有限的专家经验引入到模糊推理系统,使Sarsa(λ)学习具备一定的先验知识,从而加快学习速度.仿真实验表明,该方法具有较好的实时性和鲁棒性,能够有效解决移动机器人在未知复杂环境中的导航问题.

基于多智能体的融合Sarsa(λ)学习算法

强化学习作为一种重要的机器学习方法,已经被广泛应用于许多单智能体和多智能体系统。强化学习的性能受所使用的学习算法及其参数的影响很大,不同的学习算法或者参数很小的变化都可能导致学习性能很大的变化。当环境模型未知时,确定最好的算法和最优的参数是困难的。为了避免参数的影响,提出了一种基于多Agent的融合Sarsa(λ)学习系统,它把强化学习环境当作多智能体环境来处理。最后用迷宫实验仿真,结果验证了该方法的可行性和有效性。

基于Sarsa的动态蜂群算法求解作业车间调度问题

针对作业车间调度问题,提出了一种基于Sarsa算法的动态人工蜂群算法。首先,提出了探索因子和开发因子两个参数,分别量化人工蜂群算法的探索能力和开发能力,并在此基础上改进了它的解的更新公式;其次,根据种群的状态,实时地使用Sarsa自适应地调整探索因子和开发因子的值,使得人工蜂群算法可以在需要探索时探索新的解,需要开发时,开发现有的解,从而实现探索和开发之间的动态平衡;最后,使用11个不同规模的作业车间调度问题来验证所提算法的性能。通过对标准实例求解并与其它论文结果对比,证明了该改进算法的高效性。

基于改进HSARSA(λ)算法的功率控制研究

在MBS-PBS两层异构网络中,微微基站采用小区范围扩展技术对网络进行负载均衡时,pico小区边缘用户的通信受到MBS基站较大干扰。为此,提出一种基于启发函数的改进HSARSA(λ)算法。采用缩减功率的RP-ABS子帧技术,在保证宏基站自身通信性能的同时减小MBS基站对pico边缘用户的干扰,并运用基于启发函数的改进HSARSA(λ)算法与环境进行交互,以配置RP-ABS子帧密度与功率大小,达到干扰协调的目的。仿真结果表明,改进HSARSA算法与原始SARSA和Q-Learning等算法相比,pico边缘用户吞吐量分别提升12%和40%,系统用户吞吐量分别提升10.3%和20.2%,有效提高了pico边缘用户的通信性能。

基于分区搜索和强化学习的多模态多目标头脑风暴优化算法

维持种群多样性和提高算法搜索效率是多模态多目标优化亟需解决的两大问题。为解决以上问题,提出了一种基于分区搜索和强化学习的多模态多目标头脑风暴优化算法(MMBSO-ZSRL)。在MMBSO-ZSRL中,首先将决策空间分解为多个子空间以降低搜索难度和维持种群多样性;然后,使用SARSA(state-action-reward-state-action)算法来平衡头脑风暴算法的全局探索和局部开发能力;并使用特殊拥挤距离来挑选个体来指导种群进化。为了验证所提算法的性能,选取六种先进的多模态多目标优化算法来进行比较,并选取IEEE CEC2019多模态多目标问题基准测试集来对所有比较算法的性能进行测试。实验结果表明,MMBSO-ZSRL的整体性能要显著优于其他六种比较算法。MMBSO-ZSRL不仅可以找到多样性和逼近性更好的帕累托前沿,而且可以在决策空间找到更多的帕累托最优解。

基于强化学习的移动机器人路径规划改进算法研究

针对Q-learning算法学习效率较低,收敛速度慢并且在较危险的障碍物区域判断易于出错的问题,提出了一种动态调整探索因子的策略,解决了Q-learning算法探索和利用之间的矛盾。并提出Q-Sarsa算法,将两种算法的优点结合,解决了Q-learning探索策略过于激进而导致过高估计的问题,使得算法收敛速度更快,并找到一个更可靠的路径。实验通过栅格法构建地图,对比实验表明,改进后的算法比原算法在收敛速度和最终步数上有较大优化,能够较好地完成二维地图下的路径规划,验证改进算法的有效性和实用性。

一类值函数激励学习的遗忘算法

大状态空间值函数的激励学习是当今国际激励学习领域的一个热点和难点问题 .将记忆心理学中有关遗忘的基本原理引入值函数的激励学习 ,形成了一类适合于值函数激励学习的遗忘算法 .首先简要介绍了解决马尔可夫决策问题的基本概念 ,比较了离策略和在策略激励学习算法的差别 ,概述了标准的 SARSA(λ)算法 .在分析了人类记忆和遗忘的一些特征后 ,提出了一个智能体遗忘准则 ,进而将 SARSA(λ)算法改进为具有遗忘功能的 Forget-SARSA(λ)算法 。

一种侧信道风险感知的虚拟节点迁移方法

为防御网络切片(NS)中的侧信道攻击(SCA),现有的基于动态迁移的防御方法存在不同虚拟节点共享物理资源的条件过于松弛的问题。该文提出一种侧信道风险感知的虚拟节点迁移方法。根据侧信道攻击的实施特点,结合熵值法对虚拟节点的侧信道风险进行评估,并将服务器上偏离平均风险程度大的虚拟节点进行迁移;采用马尔科夫决策过程描述网络切片虚拟节点的迁移问题,并使用Sarsa学习算法求解出最终的迁移结果。仿真结果表明,该方法将恶意网络切片实例与其他网络切片实例隔离开,达到防御侧信道攻击的目的。