-
题名一类基于谱方法的强化学习混合迁移算法
被引量:10
- 1
-
-
作者
朱美强
程玉虎
李明
王雪松
冯涣婷
-
机构
中国矿业大学信息与电气工程学院
-
出处
《自动化学报》
EI
CSCD
北大核心
2012年第11期1765-1776,共12页
-
基金
国家自然科学基金(60974050
61072094
+4 种基金
61273143)
中国矿业大学青年科技基金(OC080252)
教育部新世纪优秀人才支持计划(NCET-08-0836
NCET-10-0765)
教育部高等学校博士学科点专项科研基金(20110095110016)资助~~
-
文摘
在状态空间比例放大的迁移任务中,原型值函数方法只能有效迁移较小特征值对应的基函数,用于目标任务的值函数逼近时会使部分状态的值函数出现错误.针对该问题,利用拉普拉斯特征映射能保持状态空间局部拓扑结构不变的特点,对基于谱图理论的层次分解技术进行了改进,提出一种基函数与子任务最优策略相结合的混合迁移方法.首先,在源任务中利用谱方法求取基函数,再采用线性插值技术将其扩展为目标任务的基函数;然后,用插值得到的次级基函数(目标任务的近似Fiedler特征向量)实现任务分解,并借助改进的层次分解技术求取相关子任务的最优策略;最后,将扩展的基函数和获取的子任务策略一起用于目标任务学习中.所提的混合迁移方法可直接确定目标任务部分状态空间的最优策略,减少了值函数逼近所需的最少基函数数目,降低了策略迭代次数,适用于状态空间比例放大且具有层次结构的迁移任务.格子世界的仿真结果验证了新方法的有效性.
-
关键词
强化学习
迁移学习
谱图理论
原型值函数
层次分解
-
Keywords
Reinforcement learning, transfer learning, spectral graph theory, proto-value functions, hierarchical decom-position
-
分类号
TP181
[自动化与计算机技术—控制理论与控制工程]
-