带Markov跳的离散时间随机控制系统的最大值原理

本文研究一类同时含有Markov跳过程和乘性噪声的离散时间非线性随机系统的最优控制问题,给出并证明了相应的最大值原理.首先,利用条件期望的平滑性,通过引入具有适应解的倒向随机差分方程,给出了带有线性差分方程约束的线性泛函的表示形式,并利用Riesz定理证明其唯一性.其次,对带Markov跳的非线性随机控制系统,利用针状变分法,对状态方程进行一阶变分,获得其变分所满足的线性差分方程.然后,在引入Hamilton函数的基础上,通过一对由倒向随机差分方程刻画的伴随方程,给出并证明了带有Markov跳的离散时间非线性随机最优控制问题的最大值原理,并给出该最优控制问题的一个充分条件和相应的Hamilton-Jacobi-Bellman方程.最后,通过一个实际例子说明了所提理论的实用性和可行性.