-
题名连续空间中的一种动作加权行动者评论家算法
被引量:5
- 1
-
-
作者
刘全
章鹏
钟珊
钱炜晟
翟建伟
-
机构
苏州大学计算机科学与技术学院
软件新技术与产业化协同创新中心
吉林大学符号计算与知识工程教育部重点实验室
-
出处
《计算机学报》
EI
CSCD
北大核心
2017年第6期1252-1264,共13页
-
基金
国家自然科学基金(61472262
61502323
+5 种基金
61502329)
江苏省自然科学基金(BK2012616)
江苏省高校自然科学研究项目(13KJB520020)
吉林大学符号计算与知识工程教育部重点实验室基金项目(93K172014K04)
苏州市应用基础研究计划工业部分(SYG201422
SYG201308)资助~~
-
文摘
经典的强化学习算法主要应用于离散状态动作空间中.在复杂的学习环境下,离散空间的强化学习方法不能很好地满足实际需求,而常用的连续空间的方法最优策略的震荡幅度较大.针对连续空间下具有区间约束的连续动作空间的最优控制问题,提出了一种动作加权的行动者评论家算法(Action Weight Policy Search Actor Critic,AW-PS-AC).AW-PS-AC算法以行动者评论家为基本框架,对最优状态值函数和最优策略使用线性函数逼近器进行近似,通过梯度下降方法对一组值函数参数和两组策略参数进行更新.对两组策略参数进行加权获得最优策略,并对获得的最优动作通过区间进行约束,以防止动作越界.为了进一步提高算法的收敛速度,设计了一种改进的时间差分算法,即采用值函数的时间差分误差来更新最优策略,并引入了策略资格迹调整策略参数.为了证明算法的收敛性,在指定的假设条件下对AW-PS-AC算法的收敛性进行了分析.为了验证AW-PS-AC算法的有效性,在平衡杆和水洼世界实验中对AW-PS-AC算法进行仿真.实验结果表明AW-PS-AC算法在两个实验中均能有效求解连续空间中近似最优策略问题,并且与经典的连续动作空间算法相比,该算法具有收敛速度快和稳定性高的优点.
-
关键词
强化学习
连续空间
函数逼近
行动者评论家
梯度下降
人工智能
-
Keywords
reinforcement learning
continuous spaces
function approximation
actor-crmc gradient descent
artificial intelligence
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名增量式双自然策略梯度的行动者评论家算法
被引量:2
- 2
-
-
作者
章鹏
刘全
钟珊
翟建伟
钱炜晟
-
机构
苏州大学计算机科学与技术学院
软件新技术与产业化协同创新中心
吉林大学符号计算与知识工程教育部重点实验室
-
出处
《通信学报》
EI
CSCD
北大核心
2017年第4期166-177,共12页
-
基金
国家自然科学基金资助项目(No.61272005
No.61303108
+8 种基金
No.61373094
No.61472262
No.61502323
No.61502329)
江苏省自然科学基金资助项目(No.BK2012616)
江苏省高校自然科学研究基金资助项目(No.13KJB520020)
吉林大学符号计算与知识工程教育部重点实验室基金资助项目(No.93K172014K04)
苏州市应用基础研究计划工业部分基金资助项目(No.SYG201422
No.SYG201308)~~
-
文摘
针对强化学习中已有连续动作空间算法未能充分考虑最优动作的选取方法和利用动作空间的知识,提出一种对自然梯度进行改进的行动者评论家算法。该算法采用最大化期望回报作为目标函数,对动作区间上界和下界进行加权来求最优动作,然后通过线性函数逼近器来近似动作区间上下界的权值,将最优动作求解转换为对双策略参数向量的求解。为了加快上下界的参数向量学习速率,设计了增量的Fisher信息矩阵和动作上下界权值的资格迹,并定义了双策略梯度的增量式自然行动者评论家算法。为了证明该算法的有效性,将该算法与其他连续动作空间的经典强化学习算法在3个强化学习的经典测试实验中进行比较。实验结果表明,所提算法具有收敛速度快和收敛稳定性好的优点。
-
关键词
强化学习
自然梯度
行动者评论家
连续空间
-
Keywords
reinforcement learning
natural gradient
actor-critic
continuous space
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-