马尔可夫决策过程两种抽象模式

抽象层次上马尔可夫决策过程的引入,使得人们可简洁地、陈述地表达复杂的马尔可夫决策过程,解决常规马尔可夫决策过程(MDPs)在实际中所遇到的大型状态空间的表达问题。介绍了结构型和概括型两种不同类型抽象马尔可夫决策过程基本概念以及在各种典型抽象MDPs中的最优策略的精确或近似算法,其中包括与常规MDPs根本不同的一个算法:把Bellman方程推广到抽象状态空间的方法,并且对它们的研究历史进行总结和对它们的发展做一些展望,使得人们对它们有一个透彻的、全面而又重点的理解。

基于马尔可夫决策过程的边缘云业务迁移算法

在移动互联网中,当用户位置发生改变时,业务迁移可用来提升服务质量(QoS)。基于此,提出一种基于马尔可夫决策过程的边缘云业务迁移算法。与对比算法相比,所提算法考虑了不同业务类型对QoS的差异化需求,并全面考虑了业务迁移过程中的收益及开销。所提算法将业务分为实时和非实时2类,将终端的业务运行状态和与服务器的距离作为状态空间,并基于与业务体验紧密相关的可用速率和时延2个QoS指标构建收益函数,同时将业务迁移过程中的系统资源消耗作为迁移开销,通过最大化全局收益来获取最优迁移策略。通过与对比算法的模拟比较,所提算法在多种场景下都有更高的全局收益。

基于马尔可夫决策过程的附加服务定价优化

随着民航运输业竞争日益加剧以及航空旅客个性化需求逐步提高,为取得差异化竞争优势和提高旅客满意度,开展附加服务业务是目前国内外航空公司关注的焦点,如何对附加服务定价以增加收益是目前航空公司运营的一个重要问题.为此基于马尔可夫决策过程提出了一种附加服务定价模型,并使用策略迭代算法对该模型进行求解以获得最优价格.对两类旅客细分市场进行仿真实验.结果表明,相比于现行使用较多的附加服务短视化定价模型,通过该模型求解得到最优价格将每位旅客的平均预期收益从93.7元提高到102.1元,提升幅度约8.96%.

基于分层马尔可夫决策过程的AUV全局路径规划研究

自主路径规划是自治式水下机器人(AUV)自主能力的重要体现,是保障AUV在大范围复杂海洋环境中自主完成使命作业的关键技术之一。提出了基于马尔可夫决策过程的路径规划方法;并建立了基本的马尔可夫决策模型和结合状态聚类的分层马尔可夫决策模型,同时给出了两种规划的仿真实验及结果分析。实验证明,此类方法能够很好地求解大范围复杂环境内AUV的二维路径规划问题。

基于部分可观察马尔可夫决策过程的多被动传感器组网协同反隐身探测任务规划

针对反隐身作战需求,提出多被动传感器组网协同战术。为提升反隐身探测效能,引入部分可观察马尔可夫决策过程(POMDP)理论,分析了POMDP任务规划要素,建立起多被动传感器组网协同反隐身探测任务规划POMDP模型。建立了多被动传感器协同控制系统结构,提出了基于无迹卡尔曼滤波(UKF)的信念状态更新方法和基于蒙特卡洛Rollout采样(MCRS)的Q值估计方法,并设计了CCSP基本策略。仿真结果表明,所建立的模型能够实现多被动传感器的高效管理调度,能够控制多被动传感器对隐身目标进行有效探测跟踪,即模型有效性得到了验证。

马尔可夫决策过程下的智能电网实时电价模型

实时电价策略是节约用电、提高用户用电效用值的有效手段。提出基于马尔可夫决策过程的一个实时电价优化模型。该模型应用有限阶段方法,以供应侧和需求侧的期望效用最大化为目标,依据递减风险理论,采用对数形式对现有效用函数进行改进,从而更加准确地刻画用户用电效用。通过粒子群算法对模型求解,并与固定电价情况进行结果比较。数值模拟结果表明该模型在控制用电量和提高用电效用方面具有良好的效果,同时所得到的实时电价处于固定电价最大和最小值之间,上下波动性小。

异构无线网络中基于马尔可夫决策过程的区分业务接纳控制的研究

对异构无线网络中区分业务类型的接纳控制机制进行研究。分析了语音和数据2种典型业务在CDMA蜂窝网络和WLAN中的容量区域。基于马尔可夫决策过程理论,提出异构无线网络中区分业务类型的接纳控制理论模型,规定了不同类型业务的接纳控制行为并推导了系统状态转移概率。而且,进一步从用户角度对不同类型业务QoS要求和网络状态之间关系进行分析,提出一种基于模糊逻辑的接纳效用评估机制,在保证各类业务接入和切换成功率的基础上,推导出接纳效用最大的最优接纳控制策略。仿真表明,基于模糊逻辑的接纳效用评估能够有效反映网络状态动态变化对接纳控制的影响,最优接纳控制策略在平均接纳效用方面明显优于不考虑业务区分和用户移动性2种接纳控制机制,并且能严格保证各类业务的接入和切换成功率。

基于马尔可夫决策过程的医疗检查预约优化模型

医技部门的医疗检查如电子计算机断层扫描(CT)、核磁共振成像设备(MRI)、X射线(X-rays)常常有如下三种病人类型:门诊病人、住院病人和急诊病人。针对不同病人类型的需求特点,运用马尔可夫决策过程原理和动态规划方法,建立了医疗检查设备的预约优化模型,并证明了模型的最优性质,得出了不同病人类型的最优预约策略。数值算例的结果表明:本文的预约策略不仅易于实施,而且,通过该模型获得的最大收益比按传统先来先预约的模式所获得的收益要大。

马尔可夫决策过程复杂性的熵测度

应用Shannon熵和其他熵指数来度量马尔可夫决策的复杂性.将马尔可夫链的复杂性、不确定性和不可预测性的度量扩展到马尔可夫决策,提出一套基于信息理论的复杂性度量方法,可用于随机和确定性策略下的完全观测和不完全观测马尔可夫决策.对有关数值进行仿真研究,并给出了计算结果.

马尔可夫决策过程的限界模型检测

限界模型检测避免了符号模型检测反应式系统中构建二叉图时出现的空间快速增长,已经被证明是缓解状态空间爆炸问题的有力技术.文中遵循限界模型检测的思想,对马尔可夫决策过程提出一种限界模型检测技术,从而避免构建多端二叉图时空间的快速增长.具有非确定选择刻画能力是马尔可夫决策过程最大的特性,针对该特性首先定义概率计算树逻辑的限界语义,并证明其正确性;然后基于不同界下所计算概率度量序列的演化趋势,设计了限界检测过程终止的判断准则;最后将限界模型检测过程转换为线性方程组的求解问题.实验结果说明限界模型检测技术在证据较短的情况下,所需内存空间少于无界模型检测算法.

部分可观测马尔可夫决策过程算法综述

部分可观测马尔可夫决策过程(POMDP)是马尔可夫决策过程(MDP)的扩展,它允许系统的状态信息部分可知。但POMDP的可能应用大部分没有实现,这主要是因为缺乏有效的算法。POMDP的算法分为近似算法和精确算法,精确算法是构造近似算法的基础。介绍了POMDP模型后,对离散时间、有限状态集的POMDP精确算法和近似算法进行了综述,分析了造成POMDP难以求解的主要原因,提出了进一步的研究方向。

一种基于马尔可夫决策过程的认知无线电网络传输调度方案

该文提出了一种适用于认知无线电网络的跨层传输调度方案,即满足掉包率约束的前提下最小化平均功率消耗。此方案被建模为约束马尔可夫决策过程(MDP)。采用拉格朗日乘子法求解此MDP,并且提出了一种黄金分割乘子搜索法。提出两种简化方法,即状态聚合以及行动集缩减来解决维灾问题。仿真结果显示简化方法对该方案的性能影响很小,且该方案的平均功耗最低。

基于马尔可夫决策过程的MES系统动态调度方法

针对以事件为驱动的网络化制造环境下生产系统的特征,扩展马尔可夫决策过程,根据生产制造的特点进行动态生产调度方法的研究.以面向用户标准为基础,用制造系统响应时间来评价调度算法在不同规则下具有的性能特点;根据分析结果分别确定各种调度规则在预期时间内能够达到生产优化调度或满意调度的可能程度.将调度规则与实际生产相结合,设计网络化制造环境下动态调度指令单管理系统,实现制造管理的信息化.本系统可以按照用户需求实时反映生产制造信息;根据企业情况确定调度规则,生成调度决策方案,最大程度保证企业利益.

马尔可夫决策过程在视情维修中的应用

在实际应用视情维修中,维修时机的确定通常是通过经验或简单的趋势检验,其结果比较粗糙,不便于应用。在本文中,我们研究了应用马尔可夫过程描述系统劣化的过程。针对维修与不维修两种决策行为,以单位时间费用最低为目标的决策过程,并给出了具体算法计算维修状态阈值。最后,通过一个例子说明了决策的过程。

基于非负矩阵分解更新规则的部分可观察马尔可夫决策过程信念状态空间降维算法

针对求解部分可观察马尔可夫决策过程(POMDP)规划问题时遭遇的"维数诅咒",该文提出了一种基于非负矩阵分解(NMF)更新规则的POMDP信念状态空间降维算法,分两步实现低误差高维降维。第1步,利用POMDP的结构特性,将状态、观察和动作进行可分解表示,然后利用动态贝叶斯网络的条件独立对其转移函数进行分解压缩,并去除概率为零的取值,降低信念状态空间的稀疏性。第2步,采用信念状态空间值直接降维方法,使降维后求出的近似最优策略与原最优策略保持一致,使用NMF更新规则来更新信念状态空间,避免Krylov迭代,加快降维速度。该算法不仅保证降维前后值函数不发生改变,又保留了其分段线性凸特性。实验结果表明,该算法具有较低误差率和较高收敛性。

基于部分可观测马尔可夫决策过程的水声传感器网络介质访问控制协议

针对水声传感器网络低带宽、高延迟特性造成的空时不确定性以及网络状态不能充分观察的问题,提出一种基于部分可观测马尔可夫决策过程(POMDP)的水声传感器网络介质访问控制协议。该协议首先将每个传感器节点的链路质量和剩余能量划分为多个离散等级来表达节点的状态信息。此后,接收节点通过信道状态观测和接入动作的历史信息对信道的占用概率进行预测,从而得出发送节点的信道最优调度策略;发送节点按照该策略中的调度序列在各自所分配的时隙内依次与接收节点进行通信,传输数据包。通信完成后,相关节点根据网络转移概率的统计量估计下一个时隙的状态。仿真实验表明,与传统的水声传感器网络介质访问控制协议相比,基于POMDP的介质访问控制协议可以提高数据包传输成功率和网络吞吐量,并且降低网络的能量消耗。

基于部分可观察马尔可夫决策过程的受控无线网络系统动态资源分配

研究了受控无线网络的动态资源分配。针对传统无线通信传输模型的局限性随着无线通信系统架构的发展日益凸显的问题,提出了一种引入反馈控制策略的受控无线网络模型。该模型结合部分可观察马尔可夫决策过程(POMDP),将用户接收功率与数据传输误码率作为反馈观测对象,对通信小区内基站天线开启数与用户接入数进行动态资源最优匹配。仿真结果表明,这种方法能够有效提升系统传输能效性与可靠性,降低传输误码率,改善系统资源动态匹配控制性能。

逻辑马尔可夫决策过程的正则条件概率理论

增强学习已经开始向关系增强学习发展,并且产生了许多新的算法.大部分方法将命题表达提升为关系或计算逻辑的表达.这些方法已经表现出许多好的性质,但是相关的理论分析目前还缺乏,即为什么这些关系的增强学习具有良好的性质,因此提出基础马尔可夫决策过程和逻辑马尔可夫决策过程的测度空间结构,利用现代概率论中条件数学期望和正则条件概率理论建立基础和逻辑两种马尔可夫决策过程之间的深刻联系,从而证实了逻辑马尔可夫决策过程中的最优策略在某种平均意义上是相应的基础马尔可夫决策过程的最优策略.最后由实例分析得出逻辑马尔可夫决策编程方法.建立逻辑马尔可夫决策过程的测度空间结构可以为关系增强学习提供数学理论框架.

马尔可夫决策过程和先验控制向量在弱约束自然语言生成中的应用

自然语言生成是目前非常重要且具有挑战性的一类人工智能任务.长短时记忆(Long Short-Term Memory,LSTM)语言模型是目前最为主流的自然语言生成模型.但是,LSTM语言模型的训练准则是词语级别的交叉熵,这会导致暴露偏差问题.此外,一般自然语言生成任务的评测指标是序列级别的BLEU分数或者词错误率,这与训练使用的交叉熵准则也不匹配.在本文中,我们使用马尔可夫决策过程重定义了自然语言生成问题,并通过从训练数据中提取的先验控制向量来指导生成过程.先验控制向量可以视作是对序列空间的一种先验划分的抽象,通过在自然语言生成中引入先验控制向量,我们可以更好的约束自然语言生成的空间.再通过马尔可夫决策过程的定义,我们可以使用策略梯度算法来直接使用测试使用的BLEU分数来代替交叉熵训练LSTM网络.在多个数据集上的实验显示本文提出的方法相比于普通使用LSTM语言模型的基线系统在BLEU分数上有大约绝对2%~3%的提升.

基于马尔可夫决策过程的医疗检查匹配预约调度优化

为合理匹配医疗检查任务,提高医生服务质量和医院收益,针对医疗检查即时预约调度问题,考虑医生资质和患者病情差异,以最大化医院收益为目标建立基于马尔可夫决策过程(Markov decision process, MDP)的匹配预约调度模型,并采用逆序值迭代算法对模型进行求解。最后通过仿真实验得到不同资质医生接受不同病情患者的最优预约策略,并与传统先到先服务(first come first service, FCFS)预约策略进行对比分析。结果表明,MDP预约策略是与医生剩余可服务患者数相关的阈值策略,该策略相比于FCFS预约策略所获收益更高,更有利于保障医院稳健运营,且在医疗检查资源越匮乏时MDP预约策略的优势越明显。