逻辑马尔可夫决策过程的正则条件概率理论

增强学习已经开始向关系增强学习发展,并且产生了许多新的算法.大部分方法将命题表达提升为关系或计算逻辑的表达.这些方法已经表现出许多好的性质,但是相关的理论分析目前还缺乏,即为什么这些关系的增强学习具有良好的性质,因此提出基础马尔可夫决策过程和逻辑马尔可夫决策过程的测度空间结构,利用现代概率论中条件数学期望和正则条件概率理论建立基础和逻辑两种马尔可夫决策过程之间的深刻联系,从而证实了逻辑马尔可夫决策过程中的最优策略在某种平均意义上是相应的基础马尔可夫决策过程的最优策略.最后由实例分析得出逻辑马尔可夫决策编程方法.建立逻辑马尔可夫决策过程的测度空间结构可以为关系增强学习提供数学理论框架.

基于马尔可夫决策过程的边缘云业务迁移算法

在移动互联网中,当用户位置发生改变时,业务迁移可用来提升服务质量(QoS)。基于此,提出一种基于马尔可夫决策过程的边缘云业务迁移算法。与对比算法相比,所提算法考虑了不同业务类型对QoS的差异化需求,并全面考虑了业务迁移过程中的收益及开销。所提算法将业务分为实时和非实时2类,将终端的业务运行状态和与服务器的距离作为状态空间,并基于与业务体验紧密相关的可用速率和时延2个QoS指标构建收益函数,同时将业务迁移过程中的系统资源消耗作为迁移开销,通过最大化全局收益来获取最优迁移策略。通过与对比算法的模拟比较,所提算法在多种场景下都有更高的全局收益。

基于马尔可夫决策过程的附加服务定价优化

随着民航运输业竞争日益加剧以及航空旅客个性化需求逐步提高,为取得差异化竞争优势和提高旅客满意度,开展附加服务业务是目前国内外航空公司关注的焦点,如何对附加服务定价以增加收益是目前航空公司运营的一个重要问题.为此基于马尔可夫决策过程提出了一种附加服务定价模型,并使用策略迭代算法对该模型进行求解以获得最优价格.对两类旅客细分市场进行仿真实验.结果表明,相比于现行使用较多的附加服务短视化定价模型,通过该模型求解得到最优价格将每位旅客的平均预期收益从93.7元提高到102.1元,提升幅度约8.96%.

马尔可夫决策过程在类风湿关节炎治疗中的应用研究

类风湿关节炎(RA)不仅给人们带来了巨大的身心痛苦,同时也带来了巨大的成本。针对RA的治疗过程,本文提出将马尔可夫决策过程(MDP)应用于该过程中。对于建立MDP所需的各个参数,本文给出定义方式并利用临床数据进行推断。首先本文利用患者的实验室指标来衡量健康状态,然后将患者使用的中药视为行动的基础,接着分别将患者指标的改善程度之和与患者两次实验室指标检查之间已住院的时长视为治疗报酬与治疗成本,最后利用相对值迭代算法求解并得到了相应的治疗策略以及治疗报酬与治疗成本。实验结果表明,本文所得到的治疗报酬要高于医院的报酬且治疗成本要低于医院的成本,将MDP模型用于RA的中医治疗中具有一定的临床应用价值。

基于马尔可夫决策过程的轨道不平顺维修策略研究

为有效判别轨道几何状态、适应高速铁路养护状态修,开展轨道不平顺维修策略优化研究。选取马尔可夫决策过程,设置轨道状态等级、维修动作空间和维修动作成本等模型参数,利用价值迭代算法进行求解,实现高速铁路线路维修计划的有效制定。以华东地区某有砟高速铁路线路为例,结合典型劣化速度的轨道单元区段特征,分析马尔可夫决策模型的维修决策优化过程并验证效果,同时探究轨道单元区段在每个决策时刻的最优维修决策,利用蒙特卡洛法模拟规划周期内的维修总成本并与实际维修成本进行对比。结果表明:基于马尔可夫决策过程的轨道不平顺维修决策,能够充分考虑轨道单元区段不平顺劣化的异质性,可以根据轨道单元区段的实际状态和劣化规律科学安排维修活动,提高维修作业的空间分辨率,规划周期内维修决策的优化效果显著,在保证线路高平顺性的同时减少维修成本,对铁路线路轨道养护维修具有指导作用。

马尔可夫决策过程两种抽象模式

抽象层次上马尔可夫决策过程的引入,使得人们可简洁地、陈述地表达复杂的马尔可夫决策过程,解决常规马尔可夫决策过程(MDPs)在实际中所遇到的大型状态空间的表达问题。介绍了结构型和概括型两种不同类型抽象马尔可夫决策过程基本概念以及在各种典型抽象MDPs中的最优策略的精确或近似算法,其中包括与常规MDPs根本不同的一个算法:把Bellman方程推广到抽象状态空间的方法,并且对它们的研究历史进行总结和对它们的发展做一些展望,使得人们对它们有一个透彻的、全面而又重点的理解。

逻辑半马尔可夫决策过程及Q学习

增强学习已经开始向关系增强学习发展,并且产生了许多新的算法。这些方法是将命题表达提升为关系或计算逻辑的表达。提出了一种新的表达形式,称为逻辑半马尔可夫决策过程。它是将逻辑程序与半马尔可夫过程相结合。在此框架中,抽象(状态或行动)是至关重要的,并且提出了对于逻辑半马尔可夫决策过程的Q-学习算法,给出其收敛证明。这种框架对在关系增强学习发展中处理时间连续方面提供了一个合理的基础。

一种基于部分可观察马尔可夫决策过程的股票交易策略

近年来涌现了许多把深度强化学习应用到股票交易策略的研究。深度强化学习通常依赖于马尔可夫决策过程建模,但是股票市场中交易策略的制定需要考虑历史交易数据中包含的信息。因此,本文通过部分可观察马尔可夫决策过程对股票市场建模,并采用长短期记忆网络和优势演员评论家算法来构建股票交易策略。通过在道琼斯工业平均指数成份股数据集上进行实验,实验结果表明本文所设计的股票交易策略构建方法可以挖掘隐藏在历史数据中的有效信息,获得稳定且有效的交易策略。

逻辑马尔可夫决策编程和关系马尔可夫决策编程若干最新进展

逻辑马尔可夫决策过程和关系马尔可夫决策过程的引入,使得人们可能简洁地、陈述地表达复杂的马尔可夫决策过程。本文首先介绍有关逻辑马尔可夫决策过程和关系马尔可夫决策过程的概念,然后重点介绍它们与普通的马尔可夫决策过程根本不同的一些算法:①依赖于基本状态空间RL的转换法;②把Bellman方程推广到抽象状态空间的方法,③利用策略偏置空间寻求近似最优策略方法。最后对它们的研究现状进行总结及其对它们发展的一些展望。

融合模糊逻辑与马尔可夫决策过程的边缘计算切换策略

在边缘计算切换策略中,针对马尔可夫决策过程(Markov decision process,MDP)传输时延高且环境适应能力差等问题,提出了一种融合模糊逻辑与马尔可夫决策过程的边缘计算切换策略。该策略采用模糊逻辑算法将系统参数模糊化,并且将模糊值引入适应度函数,保证系统参数能够有效融合;利用差分进化算法求解适应度函数最大值,从而选取出该环境的最优规则,提高边缘计算对环境的适应能力;将适应度函数引入MDP,提高系统综合性能。该方案将移动智能设备作为任务卸载发起方,将边缘服务器作为任务卸载对象,对一维MDP切换策略、一维仅时延MDP切换策略、二维MDP切换策略、模糊逻辑MDP切换策略、最小距离切换算法和最小时延切换算法进行仿真。仿真结果表明,模糊逻辑MDP的边缘计算切换策略的任务执行平均时长为608.8 s,较一维MDP切换策略、一维仅时延MDP切换策略、二维MDP切换策略、最小距离切换算法和最小时延切换算法分别降低了27.2%、8.6%、37.1%、41%和22.3%。该方案在提高了基于MDP的边缘计算切换策略的环境适应性的同时,大幅降低了边缘计算的传输时延。

马尔可夫决策过程下的智能电网实时电价模型

实时电价策略是节约用电、提高用户用电效用值的有效手段。提出基于马尔可夫决策过程的一个实时电价优化模型。该模型应用有限阶段方法,以供应侧和需求侧的期望效用最大化为目标,依据递减风险理论,采用对数形式对现有效用函数进行改进,从而更加准确地刻画用户用电效用。通过粒子群算法对模型求解,并与固定电价情况进行结果比较。数值模拟结果表明该模型在控制用电量和提高用电效用方面具有良好的效果,同时所得到的实时电价处于固定电价最大和最小值之间,上下波动性小。

马尔可夫决策过程的限界模型检测

限界模型检测避免了符号模型检测反应式系统中构建二叉图时出现的空间快速增长,已经被证明是缓解状态空间爆炸问题的有力技术.文中遵循限界模型检测的思想,对马尔可夫决策过程提出一种限界模型检测技术,从而避免构建多端二叉图时空间的快速增长.具有非确定选择刻画能力是马尔可夫决策过程最大的特性,针对该特性首先定义概率计算树逻辑的限界语义,并证明其正确性;然后基于不同界下所计算概率度量序列的演化趋势,设计了限界检测过程终止的判断准则;最后将限界模型检测过程转换为线性方程组的求解问题.实验结果说明限界模型检测技术在证据较短的情况下,所需内存空间少于无界模型检测算法.

马尔可夫决策过程复杂性的熵测度

应用Shannon熵和其他熵指数来度量马尔可夫决策的复杂性.将马尔可夫链的复杂性、不确定性和不可预测性的度量扩展到马尔可夫决策,提出一套基于信息理论的复杂性度量方法,可用于随机和确定性策略下的完全观测和不完全观测马尔可夫决策.对有关数值进行仿真研究,并给出了计算结果.

异构无线网络中基于马尔可夫决策过程的区分业务接纳控制的研究

对异构无线网络中区分业务类型的接纳控制机制进行研究。分析了语音和数据2种典型业务在CDMA蜂窝网络和WLAN中的容量区域。基于马尔可夫决策过程理论,提出异构无线网络中区分业务类型的接纳控制理论模型,规定了不同类型业务的接纳控制行为并推导了系统状态转移概率。而且,进一步从用户角度对不同类型业务QoS要求和网络状态之间关系进行分析,提出一种基于模糊逻辑的接纳效用评估机制,在保证各类业务接入和切换成功率的基础上,推导出接纳效用最大的最优接纳控制策略。仿真表明,基于模糊逻辑的接纳效用评估能够有效反映网络状态动态变化对接纳控制的影响,最优接纳控制策略在平均接纳效用方面明显优于不考虑业务区分和用户移动性2种接纳控制机制,并且能严格保证各类业务的接入和切换成功率。

基于马尔可夫决策过程的医疗检查预约优化模型

医技部门的医疗检查如电子计算机断层扫描(CT)、核磁共振成像设备(MRI)、X射线(X-rays)常常有如下三种病人类型:门诊病人、住院病人和急诊病人。针对不同病人类型的需求特点,运用马尔可夫决策过程原理和动态规划方法,建立了医疗检查设备的预约优化模型,并证明了模型的最优性质,得出了不同病人类型的最优预约策略。数值算例的结果表明:本文的预约策略不仅易于实施,而且,通过该模型获得的最大收益比按传统先来先预约的模式所获得的收益要大。

基于马尔可夫过程的牵引供电设备维修决策模型及其应用

传统的牵引供电设备固定计划维修模式存在着维修过剩与维修不足的问题,随着维管单位和牵引变电所信息化水平的逐步提高,状态维修模式取代固定计划维修模式已成为可能。本文将设备健康状态引入牵引供电设备维修决策中,基于马尔可夫决策过程建立牵引供电设备的维修决策模型。该模型考虑了基于Gauss-Poisson过程的牵引供电设备全寿命周期健康状态劣化过程和预防性维修过程,以设备全寿命周期的单位时间综合成本为优化目标,采用策略迭代法实现牵引供电设备在不同健康状态下最优维修方式和维修周期的选择。结果表明该模型可行有效,为优化牵引供电设备的维修维护方案,实现状态维修提供依据。

基于部分可观察马尔可夫决策过程的多被动传感器组网协同反隐身探测任务规划

针对反隐身作战需求,提出多被动传感器组网协同战术。为提升反隐身探测效能,引入部分可观察马尔可夫决策过程(POMDP)理论,分析了POMDP任务规划要素,建立起多被动传感器组网协同反隐身探测任务规划POMDP模型。建立了多被动传感器协同控制系统结构,提出了基于无迹卡尔曼滤波(UKF)的信念状态更新方法和基于蒙特卡洛Rollout采样(MCRS)的Q值估计方法,并设计了CCSP基本策略。仿真结果表明,所建立的模型能够实现多被动传感器的高效管理调度,能够控制多被动传感器对隐身目标进行有效探测跟踪,即模型有效性得到了验证。

基于分层马尔可夫决策过程的AUV全局路径规划研究

自主路径规划是自治式水下机器人(AUV)自主能力的重要体现,是保障AUV在大范围复杂海洋环境中自主完成使命作业的关键技术之一。提出了基于马尔可夫决策过程的路径规划方法;并建立了基本的马尔可夫决策模型和结合状态聚类的分层马尔可夫决策模型,同时给出了两种规划的仿真实验及结果分析。实验证明,此类方法能够很好地求解大范围复杂环境内AUV的二维路径规划问题。

部分可观测马尔可夫决策过程算法综述

部分可观测马尔可夫决策过程(POMDP)是马尔可夫决策过程(MDP)的扩展,它允许系统的状态信息部分可知。但POMDP的可能应用大部分没有实现,这主要是因为缺乏有效的算法。POMDP的算法分为近似算法和精确算法,精确算法是构造近似算法的基础。介绍了POMDP模型后,对离散时间、有限状态集的POMDP精确算法和近似算法进行了综述,分析了造成POMDP难以求解的主要原因,提出了进一步的研究方向。

一种基于马尔可夫决策过程的认知无线电网络传输调度方案

该文提出了一种适用于认知无线电网络的跨层传输调度方案,即满足掉包率约束的前提下最小化平均功率消耗。此方案被建模为约束马尔可夫决策过程(MDP)。采用拉格朗日乘子法求解此MDP,并且提出了一种黄金分割乘子搜索法。提出两种简化方法,即状态聚合以及行动集缩减来解决维灾问题。仿真结果显示简化方法对该方案的性能影响很小,且该方案的平均功耗最低。