基于值函数估计的参数探索策略梯度算法

策略梯度估计方差大是策略梯度算法存在的普遍问题,基于参数探索的策略梯度算法(PGPE)通过使用确定性策略有效缓解了这一问题。然而,PGPE算法基于蒙特卡罗方法进行策略梯度的估计,需要大量学习样本才能保证梯度估计相对稳定,因此,梯度估计方差大阻碍了其在现实问题中的实际应用。为进一步减小PGPE算法策略梯度估计的方差,提出了基于值函数估计的参数探索策略梯度算法(PGPE-FA),该算法在PGPE算法中引入Actor-Critic框架。具体地,提出的方法使用价值函数估计策略梯度,代替了PGPE方法使用轨迹样本估计策略梯度的方式,从而减小了梯度估计方差。最后,通过实验验证了所提算法能够减小梯度估计的方差。

简述自由基线采样的参数探索政策梯度

最近已经引起很多关注的直接在参数空间中探索策略梯度方法是最有效和有力的政策搜索方法。这个领域的基本方法,基于参数探索的政策梯度,使用的两个样本都是围绕着当前假设对称,以规避在不对称的分布式聚集基准方法的奖励中的误导性奖励。勘探参数仍然由基线的方法更新-离开容易发生探索非对称奖励分布。在本文中,我们将展示如何探索有限制的可以准对称的参数,而不是勘探自由参数进行采样。我们给出了一个相对于勘探准对称的近似改造获得的样本,而不改变整体抽样分布。最后,我们将证明,为勘探参数的对称取样以及优于原始抽样方法,在所需要的样品和稳健性方面。