非平稳MDP平均模型及其滚动式算法

本文考虑可数状态空间非平稳马尔可夫决策过程（ＭＤＰ）的平均目标．首先，我们指出并改正了Ｐａｒｋ，ｅｔ，ａｌ［１］和Ａｌｄｅｎ，ｅｔａｌ［２］的错误，并在弱于Ｐａｒｋ,ｅｔａｌ［１］的条件下，借助于新建立的最优方程，证明了最优平均值的收敛性和平均最优马氏策略的存在性．其次，给出了ε（＞０）－平均最优马氏策略的滚动式算法．

非平稳MDP平均模型── 一致最优(G,B)-生成策略的存在性

本文考虑的是可数状态空间任意行动空间非平稳ＭＤＰ平均模型，借鉴于Ｆｅｉｎｂｅｒｇ Ｅ． Ａ（１９９４）的思想，提出了比马氏策略和 Ｆｅｉｎｂｅｒｇ Ｅ． Ａ的（ｆ，Ｂ）－生成策略和更为广泛的（Ｇ，Ｂ）－生成策略的概念，在弱遍历条件下，用概率分析的方法，证明了一致最优（Ｇ，Ｂ）－生成策略的存在性．从而将 Ｆｅｉｎｂｅｒｇ Ｅ． Ａ．（１９９４）的主要结果推广到非平衡可数状态空间情形．