可数状态空间的平均成本马氏决策过程

具有可数状态空间的马尔可夫决策过程(Markov decision process,MDP)在平均准则下,最优(平稳)策略不一定存在.本文研究平均准则可数状态MDP中满足最优不等式的最优策略.不同于消去折扣(因子)方法,利用离散的Dynkin公式推导本文的主要结果.首先给出遍历马氏链的泊松方程和两个零常返马氏链的例子,证明了满足两个方向相反的最优不等式的最优策略存在性.其次,通过两个比较引理和性能差分公式,证明了正常返链和多链最优策略的存在性,并进一步推广到其他情形.特别地,本文通过几个应用举例,说明平均准则性能敏感的本质.本文的结果完善了可数状态MDP在平均准则下的最优不等式的理论.

电力系统运行风险评估中元件时变停运模型分析

电力系统设备发生故障的可能性是随外部天气条件、老化程度等运行工况变化而变的,因此在运行风险评估中需要采用时变的设备停运模型。文中对现有文献中故障率的定义进行了分类和分析,论证了泊松过程停运模型中的故障率和马尔可夫过程停运模型中的状态转移速率之间的关系,并给出了时变故障率下的马尔可夫过程建模的条件和建模方法。基于上述结论,进一步提出对于暴露型设备停运可采用马尔可夫过程模型描述;而封闭型设备必须采用非马尔可夫模型。最后,给出典型暴露型设备(架空线路)和典型封闭型设备(变压器)的时变停运模型,并进行了算例分析。

ATM网络中基于MMPP的优先队列的分析

本文考虑了ATM网络中单服务台两不同优先权类别的排队问题。在信号通信网络中视频信号和数据补充统计复用。视频信号的到达服从N状态马尔可夫调制的泊松过程(MMPP),数据到达服从泊松过程,且前者比后者具较高优先权。得到了两不同级别的信号在缓冲器中队长的联合母函数。

ATM网络中基于MMPP的优先队列的分析

考虑了 Ａ Ｔ Ｍ 网络中单服务台两不同优先权类别的排队问题。在信号通信网络中视频信号和数据被统计复用。视频信号的到达服从 Ｎ 状态马尔可夫调制的泊松过程（ Ｍ Ｍ Ｐ Ｐ） ，数据到达服从泊松过程，且前者比后者具较高优先权。得到了两不同级别的信号在缓冲器中队长的联合母函数。