期刊文献+
共找到6篇文章
< 1 >
每页显示 20 50 100
可数状态空间的平均成本马氏决策过程
1
作者 张俊玉 吴怡婷 +1 位作者 夏俐 曹希仁 《控制理论与应用》 EI CAS CSCD 北大核心 2021年第11期1707-1716,共10页
具有可数状态空间的马尔可夫决策过程(Markov decision process,MDP)在平均准则下,最优(平稳)策略不一定存在.本文研究平均准则可数状态MDP中满足最优不等式的最优策略.不同于消去折扣(因子)方法,利用离散的Dynkin公式推导本文的主要结... 具有可数状态空间的马尔可夫决策过程(Markov decision process,MDP)在平均准则下,最优(平稳)策略不一定存在.本文研究平均准则可数状态MDP中满足最优不等式的最优策略.不同于消去折扣(因子)方法,利用离散的Dynkin公式推导本文的主要结果.首先给出遍历马氏链的泊松方程和两个零常返马氏链的例子,证明了满足两个方向相反的最优不等式的最优策略存在性.其次,通过两个比较引理和性能差分公式,证明了正常返链和多链最优策略的存在性,并进一步推广到其他情形.特别地,本文通过几个应用举例,说明平均准则性能敏感的本质.本文的结果完善了可数状态MDP在平均准则下的最优不等式的理论. 展开更多
关键词 马尔可夫决策过程 平均准则 可数状态空间 Dynkin公式 泊松方程 性能敏感
下载PDF
可数状态空间的马氏过程的小参数大偏差估计
2
作者 胡亦钧 《数学年刊(A辑)》 CSCD 北大核心 1995年第1期1-7,共7页
设X={Xt;t≥0}是取值于可列状态空间的马氏过程.本文讨论了Xε={Xεt;t∈[0,1]当O时的大偏差性质,其速率函数由马氏过程的跳跃次数所决定.
关键词 马氏过程 大偏差估计 扩散过程 可数状态空间
下载PDF
带有无界赔付函数的非零和随机对策折扣模型
3
作者 杨洁 郭先平 《中山大学学报(自然科学版)》 CAS CSCD 北大核心 2008年第5期23-27,36,共6页
讨论了赔付函数可能既无上界又无下界的离散时间可数状态非零和随机对策的折扣模型。在零和随机对策中常用的"漂移"和"连续-紧"性条件下,用Fan's不动点定理证明了Nash平衡点的存在性。
关键词 非零和随机对策 期望折扣赔付准则 NASH平衡点 可数状态空间
下载PDF
二维可数状态Markov过程的首达时间
4
作者 徐光煇 徐德举 《科学通报》 EI CAS CSCD 北大核心 1997年第1期9-12,共4页
随机模型的研究中经常涉及Markov过程(以下简记为MP)首达时间的计算问题,例如在随机服务系统与网络中的等待时间、逗留时间与忙期等重要指标都是相应Markov过程的首达时间.迄今为止,不少文献讨论过某些特殊MP或Markov更新过程的这类问题... 随机模型的研究中经常涉及Markov过程(以下简记为MP)首达时间的计算问题,例如在随机服务系统与网络中的等待时间、逗留时间与忙期等重要指标都是相应Markov过程的首达时间.迄今为止,不少文献讨论过某些特殊MP或Markov更新过程的这类问题,例如文献[1~5].但是对一般MP而言,只有个别论文研究过首达时间,如文献[6,7],而且在可数状态时其误差不仅难以控制,同时对时间 t也非一致.最近,Hsu和Yuan研究了在任意初始条件下一般可数MP的首达时间,并导出了具有一致误差的算法,使该问题得到了圆满的解决.然而,众所周知,上述所有结果都仅对至多一维为可数状态的多维MP成立,这远远不能满足实际应用的需要,因为在现实生活的各种随机模型中经常会遇到多维可数MP的问题,如多结点随机服务网络、多输入匹配服务系统等等.因此研究二维或多维可数MP的首达时间问题自然就显示了其重要的理论意义与应用价值. 展开更多
关键词 首达时间 一致误差 马氏过程 可数状态空间
原文传递
On Numerical Approach to Non-Markovian Stochastic Systems Modeling
5
作者 Eimutis Valakevicius Mindaugas Snipas 《Computer Technology and Application》 2012年第5期368-373,共6页
The paper considers the problem of representing non-Markovian systems that evolve stochastically over time. It is often necessary to use approximations in the case the system is non-Markovian. Phase type distribution ... The paper considers the problem of representing non-Markovian systems that evolve stochastically over time. It is often necessary to use approximations in the case the system is non-Markovian. Phase type distribution is by now indispensable tool in creation of stochastic system models. The paper suggests a method and software for evaluating stochastic systems approximations by Markov chains with continuous time and countable state space. The performance of a system is described in the event language used for generating the set of states and transition matrix between them. The example of a numerical model is presented. 展开更多
关键词 Non-Markovian system approximation phase type distribution Markov chain numerical model.
下载PDF
Perturbation analysis for continuous-time Markov chains 被引量:1
6
作者 LIU YuanYuan 《Science China Mathematics》 SCIE CSCD 2015年第12期2633-2642,共10页
We investigate perturbation for continuous-time Markov chains(CTMCs) on a countable state space. Explicit bounds on ?D and D are derived in terms of a drift condition, where ? and D represent the perturbation of the i... We investigate perturbation for continuous-time Markov chains(CTMCs) on a countable state space. Explicit bounds on ?D and D are derived in terms of a drift condition, where ? and D represent the perturbation of the intensity matrices and the deviation matrix, respectively. Moreover, we obtain perturbation bounds on the stationary distributions, which extends the results by Liu(2012) for uniformly bounded CTMCs to general(possibly unbounded) CTMCs. Our arguments are mainly based on the technique of augmented truncations. 展开更多
关键词 Markov chains stationary distribution perturbation analysis exponential ergodicity deviation matrix
原文传递
上一页 1 下一页 到第
使用帮助 返回顶部