马尔可夫决策规划简介

人在社会实践中,为了控制一个系统的发展,总离不开决策。其中有一类决策问题需要在系统的一系列时刻进行决策,并且按如下步骤进行:根据观察到的系统状态,从相应的行动集中按某一规律选择某一行动(决策),行动执行后系统随机地转移到下一状态,决策者根据新到达的状态,再作下一步决策,如此循序渐进地持续下去。同时这类决策还有一个重要的特性:系统状态的转移具有马尔可夫性(即无后效性)。于是系统的状态的不断转移以及不断采取相应的决策这种交互作用就确定了系发展进程,并且在每一步上根据出现的状态与采取的行动,系统将获得一定的报酬(效益)。