基于平均奖赏强化学习算法的零阶分类元系统

零阶学习分类元系统ZCS(Zeroth-level Classifier System)作为一种基于遗传的机器学习技术(GeneticsBased Machine Learning),在解决多步学习问题上,已展现出应用价值。然而标准的ZCS系统采用折扣奖赏强化学习技术,难于适应更为广泛的应用领域。基于ZCS的现有框架,提出了一种采用平均奖赏强化学习技术(R-学习算法)的分类元系统,将ZCS中的折扣奖赏强化学习方法替换为R-学习算法,从而使ZCS一方面可应用于需要优化平均奖赏的问题领域,另一方面则可求解规模较大、需要动作长链支持的多步学习问题。实验显示,在多步学习问题中,该系统可给出满意解,且在维持动作长链,以及克服过泛化问题方面,具有更优的特性。

LCS在多步学习问题中的规则集压缩算法

为了解决学习分类元系统(LCSs)应用于多步学习问题时会生成规模庞大、冗余的规则集问题,提出了一种规则集压缩算法.该算法的处理过程包含三个阶段:a.通过特殊的遗传进化操作,在删除一些较弱分类元的同时,增加规则集里泛化能力较强、适应值较高的分类元的个体数目;b.进行冲突消解,消除规则集里相互重叠、相互冲突的分类元;c.对产生的无重叠无冲突的规则集,进行大幅度压缩处理,得出最终的精简规则集.实验结果表明:所提算法能够在几乎不降低系统整体性能的前提下,将规则集极大地约简和压缩,从而产生足够小的规则集,使LCSs的知识表示的冗余度减少,凸显了规则集的易解释、易操作等特性;提高了LCSs在多步学习问题中的应用效果,拓展了其应用范围.