连续时间Markov决策过程在呼叫接入控制中的应用

应用 Markov决策过程与性能势相结合的方法 ,给出了呼叫接入控制的策略优化算法。所得到的最优策略是状态相关的策略 ,与基于节点已占用带宽决定行动的策略相比 ,状态相关策略具有更好的性能值 。

半Markov决策过程折扣模型与平均模型之间的关系

首先分别在折扣代价与平均代价性能准则下,讨论了一类半M arkov决策问题.基于性能势方法,导出了由最优平稳策略所满足的最优性方程.然后讨论了两种模型之间的关系,表明了平均模型的有关结论,可以通过对折扣模型相应结论取折扣因子趋于零时的极限来得到.

半Markov决策过程的数值迭代优化

针对半Markov决策过程在紧致行动集上的数值迭代优化,提出了折扣和平均准则下直接基于等价无穷小生成子的统一的标准数值迭代算法,并证明了其收敛性。另外,讨论了两种性能准则下统一的异步数值迭代算法,包括Gauss-Seidel异步迭代和随机异步迭代,特别是基于样本轨道仿真的数值迭代等,并运用性能势思想对上述算法进行改进。结果表明,该算法可直接适用于连续时间Markov决策过程。最后通过一个数值例子来比较各种算法的特点。

基于Markov决策过程的驾驶员行为模型

将驾驶员-汽车看作统一的人机系统,利用驾驶员驾驶过程的本质是决策过程的性质,通过确定系统的决策时刻、决策报酬、状态转移速率和概率、抽象驾驶员的行为集合等建立了基于Markov决策过程的驾驶员行为模型,最后对所建模型进行了计算机仿真。

一种有限时段Markov决策过程的强化学习算法

研究有限时段非平稳的 Markov决策过程的强化学习算法。通过引入一个人工吸收状态 ,把有限时段问题变为无限时段问题 ,从而可利用通常的强化学习方法来求解。在文献 [3]提出的算法思想基础上 ,提出了一种新的有限时段非平稳的 Markov决策过程的强化学习算法 。

隐Markov决策模型

讨论Markov决策问题中样本与不可观测状态之间的关系问题。引进了避错特征函数的概念 ,利用隐Markov过程的结构和Markov决策模型建立了隐Markov决策模型。并进一步讨论了状态估计和阶段收益函数。

基于离散Markov决策过程的发电公司多阶段决策

采用离散时间Markov决策过程(DTMDP)对以多阶段总利润最优为目标的发电公司决策问题进行研究.市场环境下,发电公司根据自身条件,其竞争策略可以是价格的接受者,也可以是价格的制定者.考虑了发电公司不同策略情况下市场均衡状态间的转换概率,分别给出了发电公司作为价格接受者和价格制定者时的多阶段决策模型.通过算例验证了所提模型的有效性和可行性.

非时齐部分可观察Markov决策规划的最优策略问题

本文讨论了一类非时齐部分可观察Markov决策模型.在不改变状态空间可列 性的条件下,把该模型转化为[5]中的一般化折扣模型,从而解决了其最优策略问题,并 且得到了该模型的有限阶段逼近算法,其中该算法涉及的状态是可列的.

基于Markov决策过程的列控系统定量安全分析方法

为了在列控系统的设计阶段和安全评估阶段对系统隐患进行把握,对系统的设计进行定量安全分析是至关重要的。定量分析的结果可以用来判断和比较设计的优劣,也可用来评估隐患的风险,并根据分析结果判断所采取的隐患控制措施是否使隐患的风险被控制在可接受的范围内。本文应用以Markov决策过程为基础的建模方法,对列控系统中的双车追踪场景进行系统行为建模,集成系统正常行为和失效行为,提出综合系统行为模型CBM,并通过概率模型检验工具PRISM对危险失效概率进行准确计算,提出列控系统定量安全分析方法。

Markov决策过程在船舶结构维修中的应用

船舶腐蚀和疲劳是导致船体老化,进而使其逐渐丧失结构承载能力的重要原因。本文采用具有无后效性的Markov链来模拟船体结构老化过程,其状态空间由完好(不需要维修)、可见裂纹维修、油漆和阴极防护维修、腐蚀修理、疲劳裂纹修理、腐蚀疲劳组合修理和完全失效共计七种状态组成。每一状态均可采取无修理、修理和更新三者之一的维修方案。通过迭代来获得最佳维修方案以实现单位时间成本最低的维修优化目标。算例表明,Markov链可以合理地模拟船舶结构的老化过程,并可方便快捷地运用于船舶维修经济论证。

可数半Markov决策过程折扣代价性能优化

讨论一类可数半M arkov决策过程(CSM DP)在折扣代价准则下的性能优化问题.运用等价M arkov过程方法,定义了折扣Po isson方程,并由该方程定义了α-势.基于α-势,导出了由最优平稳策略所满足的最优性方程.较为详细地讨论了最优性方程解的存在性问题,并给出了其解存在的一些充分条件.

Markov决策过程的蚁群规划算法

在智能规划问题上,寻找规划解都是NP甚至NP完全问题,如果动作的执行效果带有不确定性,如在Markov决策过程的规划问题中,规划的求解将会更加困难,现有的Markov决策过程的规划算法往往用一个整体状态节点来描述某个动作的实际执行效果,试图回避状态内部的复杂性,而现实中的大量动作往往都会产生多个命题效果,对应多个命题节点。为了能够处理和解决这个问题,提出了映像动作,映像路节和映像规划图等概念,并在其基础上提出了Markov决策过程的蚁群规划算法,从而解决了这一问题。并且证明了算法得到的解,即使在不确定的执行环境下,也具有不低于一定概率的可靠性。

基于Markov决策过程的离散过程风险度量

针对静态风险度量方法无法实现多阶段投资风险度量需要的缺陷,根据动态风险度量过程的特点,提出时间持续性概念以及推论,通过简单算例证明目前静态风险度量方法VaR、CVaR和ES由于不满足时间持续性而无法实现多阶段风险度量的不合理现状,建立基于离散时间状态和Markov决策过程的多阶段风险度量.

Markov决策过程在矿井通讯系统中的应用

随着网络技术的快速发展,信息化系统的处理能力越来越强。在矿井通讯系统中应用Markov决策过程逐渐向自动化管理方向扩展,并得到更广泛的应用,在煤矿通讯管理中实现信息化管理对于我国现代化建设有着非常重大的意义。文章在分析Markov决策过程的优缺点基础上,提出在煤矿通讯系统中应用可靠传输技术,设计煤矿管理系统Markov决策模型,并在该机制中引入传输层信息的反馈,以达到煤矿通讯系统信息化应用的最优化。

基于Markov决策过程的输变电设备最佳检修决策

为解决现有输变电设备检修决策很大程度依赖于决策人员经验的问题,应用Markov决策过程为检修决策提供定量、具体的决策依据。首先通过Markov过程求解设备的状态转移概率;然后运用策略迭代法对模型最优决策进行求解;最后将数据代入检修决策模型中,改变故障损失得到决策结果的变化。比较决策变化对应的设备故障损失和设备稳态概率可得知:所建立的基于状态的检修(CBM)模型适用于安装了在线监测装置的设备,而基于检测的检修(IBM)模型适用于无在线监测装置的设备;最优决策从维修成本最小的决策过渡到最后每次决策时都选择大修,整个变化过程证明了应用Markov决策可以折中维修成本和故障损失得到经济最优决策。研究结果可为检修决策人员提供定量的检修计划。

具有平均费用的非平稳Markov决策过程

本文研究了在一般状态空间具有平均费用的非平稳Ｍａｒｋｏｖ决策过程，把在平稳情形用补充的折扣模型的最优方程来建立平均费用的最优方程的结果，推广到非平稳的情形．利用这个结果证明了最优策略的存在性．

连续时间部分可观Markov决策过程的策略梯度估计

针对连续时间部分可观Markov决策过程(CTPOMDP)的优化问题,本文提出一种策略梯度估计方法.运用一致化方法,将离散时间部分可观Markov决策过程(DTPOMDP)的梯度估计算法推广到连续时间模型,研究了算法的收敛性和误差估计问题,并用一个数值例子来说明该算法的应用.

有限规划水平自适应Markov决策过程的参数决策

针对现有Ｍａｒｋｏｖ决策过程自适应决策方法仅研究无限规划水平自适应决策的不足，提出了一种有限规划水平Ｍａｒｋｏｖ决策过程自适应决策算法．算法的基本思想是运用Ｂａｙｅｓ理论对未知系统进行“学习”，并且在每次决策时以最大概率保证实际决策为最优决策．最后用仿真结果表明了算法的有效性．

基于约束Markov决策过程的初至自动识别技术

随着地震数据采集技术的进步,地震数据量日益增加,全自动、高精度的地震初至走时拾取技术受到了更加广泛的关注.本文将初至拾取看作特征空间内带约束的Markov决策过程,在奖励函数空间,按一定准则全局寻优获得积累奖励值最大的路径,从而达到在高维空间自动拾取初至信息的目的.同时,状态值函数中包含与距离相关的折扣因子γ,使Markov决策过程拾取初至能够考虑地震数据的横向连续性,并且回避地震数据中的坏道信息.在此基础上,本文方法进一步引入受空间几何信息约束的动作(Actions)和转移概率(Transitions Probability),从而降低了对起始状态和折扣因子选取的难度,让地震数据初至走时拾取更加准确和自动化.实际数据测试结果表明,在初至能量较弱(信噪比较低)情况或浅层存在相邻较近复杂波形时,本文提出的约束Markov算法仍能准确地进行初至走时的自动拾取,并且具有一定的质量监控能力,让拾取结果更有物理意义.

基于Markov决策过程的电池储能一次调频能量管理策略

一次调频市场机制下的电池储能系统能量管理,需要在维持应对频率波动双向调节能力的基础上权衡运行成本和调频收益,以追求电池生命周期内的经济效益最大化。揭示了能量管理序贯决策本质上属于受控Markov过程,据此,通过频率响应需求动态转移的连续时间Markov链描述,以及基于生命周期吞吐量角度的储能电池容量动态衰退刻画,建立了以电池生命周期内经济效益期望值最大化为目标的Markov决策模型。针对运用标准迭代算法求解上述模型所面临的'维数灾'问题,提出了具有状态空间分解及后继状态辨识特征的降维并行值迭代(DRPVI)算法。算例结果表明:所得动态阈值结构能量管理策略可以显著提升储能经济效益,DRPVI算法能够有效缩减冗余计算,改善求解效率。