简述自由基线采样的参数探索政策梯度

最近已经引起很多关注的直接在参数空间中探索策略梯度方法是最有效和有力的政策搜索方法。这个领域的基本方法,基于参数探索的政策梯度,使用的两个样本都是围绕着当前假设对称,以规避在不对称的分布式聚集基准方法的奖励中的误导性奖励。勘探参数仍然由基线的方法更新-离开容易发生探索非对称奖励分布。在本文中,我们将展示如何探索有限制的可以准对称的参数,而不是勘探自由参数进行采样。我们给出了一个相对于勘探准对称的近似改造获得的样本,而不改变整体抽样分布。最后,我们将证明,为勘探参数的对称取样以及优于原始抽样方法,在所需要的样品和稳健性方面。