基于马尔可夫决策的钢铁产成品订单分配模型研究

物流订单分配是钢铁产成品销售过程中的重要环节,对销售过程的整体体验和全流程的良性循环起着至关重要的作用。在实际生产过程中,传统的人工分单模式已难以适应长时间维度的发展要求。为了充分考虑一个时间周期内销售的物流成本最低以及承运司机的收益较高,同时确保企业的长期收益,本文用多目标约束,建立马尔可夫决策模型,引入KM算法执行二分图匹配,基于司机收益最大化和企业成本最小的多目标优化,最大化钢铁商品总交易量为长期的最终目标,结合价值函数和多属性的多目标优化函数,形成车辆和货物的完整匹配决策。以钢铁企业的真实业务数据为例,对数据进行预处理后筛选合适特征进行模型训练并验证算法的正确性和可用性。结果表明,该模型相较于传统的订单分配方法,可以更好地解决钢铁企业在订单分配场景下的需求。

基于马尔可夫决策过程的边缘云业务迁移算法

在移动互联网中,当用户位置发生改变时,业务迁移可用来提升服务质量(QoS)。基于此,提出一种基于马尔可夫决策过程的边缘云业务迁移算法。与对比算法相比,所提算法考虑了不同业务类型对QoS的差异化需求,并全面考虑了业务迁移过程中的收益及开销。所提算法将业务分为实时和非实时2类,将终端的业务运行状态和与服务器的距离作为状态空间,并基于与业务体验紧密相关的可用速率和时延2个QoS指标构建收益函数,同时将业务迁移过程中的系统资源消耗作为迁移开销,通过最大化全局收益来获取最优迁移策略。通过与对比算法的模拟比较,所提算法在多种场景下都有更高的全局收益。

基于马尔可夫决策过程的附加服务定价优化

随着民航运输业竞争日益加剧以及航空旅客个性化需求逐步提高,为取得差异化竞争优势和提高旅客满意度,开展附加服务业务是目前国内外航空公司关注的焦点,如何对附加服务定价以增加收益是目前航空公司运营的一个重要问题.为此基于马尔可夫决策过程提出了一种附加服务定价模型,并使用策略迭代算法对该模型进行求解以获得最优价格.对两类旅客细分市场进行仿真实验.结果表明,相比于现行使用较多的附加服务短视化定价模型,通过该模型求解得到最优价格将每位旅客的平均预期收益从93.7元提高到102.1元,提升幅度约8.96%.

马尔可夫决策过程两种抽象模式

抽象层次上马尔可夫决策过程的引入,使得人们可简洁地、陈述地表达复杂的马尔可夫决策过程,解决常规马尔可夫决策过程(MDPs)在实际中所遇到的大型状态空间的表达问题。介绍了结构型和概括型两种不同类型抽象马尔可夫决策过程基本概念以及在各种典型抽象MDPs中的最优策略的精确或近似算法,其中包括与常规MDPs根本不同的一个算法:把Bellman方程推广到抽象状态空间的方法,并且对它们的研究历史进行总结和对它们的发展做一些展望,使得人们对它们有一个透彻的、全面而又重点的理解。

马尔可夫决策求解的软件相继故障修复方法

为提高软件修复效率,减少因软件故障造成的死机和数据丢失问题,提出基于变异技术的软件相继故障自修复方法。选取三种不同类型的变异算子,通过析取范式的方式分析各算子之间的关系,确定变异规则,通过计算怀疑度得出每个变异体的怀疑度值,生成列表,根据排序结果找出故障位置;利用状态空间、动作空间概率分布等元素,建立马尔可夫决策模型,结合修复时间、奖惩值等信息计算修复代价;以累计代价最小为目标,构建决策树,求解马尔可夫决策模型,当累计代价最小时即可输出最优的故障修复策略。实验结果表明,所提方法减少了系统开销,修复效率高,可根据较少的信息执行修复指令,有利于降低系统死机与数据丢失概率。

马尔可夫决策过程在类风湿关节炎治疗中的应用研究

类风湿关节炎(RA)不仅给人们带来了巨大的身心痛苦,同时也带来了巨大的成本。针对RA的治疗过程,本文提出将马尔可夫决策过程(MDP)应用于该过程中。对于建立MDP所需的各个参数,本文给出定义方式并利用临床数据进行推断。首先本文利用患者的实验室指标来衡量健康状态,然后将患者使用的中药视为行动的基础,接着分别将患者指标的改善程度之和与患者两次实验室指标检查之间已住院的时长视为治疗报酬与治疗成本,最后利用相对值迭代算法求解并得到了相应的治疗策略以及治疗报酬与治疗成本。实验结果表明,本文所得到的治疗报酬要高于医院的报酬且治疗成本要低于医院的成本,将MDP模型用于RA的中医治疗中具有一定的临床应用价值。

基于马尔可夫决策过程的轨道不平顺维修策略研究

为有效判别轨道几何状态、适应高速铁路养护状态修,开展轨道不平顺维修策略优化研究。选取马尔可夫决策过程,设置轨道状态等级、维修动作空间和维修动作成本等模型参数,利用价值迭代算法进行求解,实现高速铁路线路维修计划的有效制定。以华东地区某有砟高速铁路线路为例,结合典型劣化速度的轨道单元区段特征,分析马尔可夫决策模型的维修决策优化过程并验证效果,同时探究轨道单元区段在每个决策时刻的最优维修决策,利用蒙特卡洛法模拟规划周期内的维修总成本并与实际维修成本进行对比。结果表明:基于马尔可夫决策过程的轨道不平顺维修决策,能够充分考虑轨道单元区段不平顺劣化的异质性,可以根据轨道单元区段的实际状态和劣化规律科学安排维修活动,提高维修作业的空间分辨率,规划周期内维修决策的优化效果显著,在保证线路高平顺性的同时减少维修成本,对铁路线路轨道养护维修具有指导作用。

基于分层马尔可夫决策过程的AUV全局路径规划研究

自主路径规划是自治式水下机器人(AUV)自主能力的重要体现,是保障AUV在大范围复杂海洋环境中自主完成使命作业的关键技术之一。提出了基于马尔可夫决策过程的路径规划方法;并建立了基本的马尔可夫决策模型和结合状态聚类的分层马尔可夫决策模型,同时给出了两种规划的仿真实验及结果分析。实验证明,此类方法能够很好地求解大范围复杂环境内AUV的二维路径规划问题。

一种基于部分可观察马尔可夫决策过程的股票交易策略

近年来涌现了许多把深度强化学习应用到股票交易策略的研究。深度强化学习通常依赖于马尔可夫决策过程建模,但是股票市场中交易策略的制定需要考虑历史交易数据中包含的信息。因此,本文通过部分可观察马尔可夫决策过程对股票市场建模,并采用长短期记忆网络和优势演员评论家算法来构建股票交易策略。通过在道琼斯工业平均指数成份股数据集上进行实验,实验结果表明本文所设计的股票交易策略构建方法可以挖掘隐藏在历史数据中的有效信息,获得稳定且有效的交易策略。

逻辑马尔可夫决策编程和关系马尔可夫决策编程若干最新进展

逻辑马尔可夫决策过程和关系马尔可夫决策过程的引入,使得人们可能简洁地、陈述地表达复杂的马尔可夫决策过程。本文首先介绍有关逻辑马尔可夫决策过程和关系马尔可夫决策过程的概念,然后重点介绍它们与普通的马尔可夫决策过程根本不同的一些算法:①依赖于基本状态空间RL的转换法;②把Bellman方程推广到抽象状态空间的方法,③利用策略偏置空间寻求近似最优策略方法。最后对它们的研究现状进行总结及其对它们发展的一些展望。

嵌入式通信系统中基于动态多因素的马尔可夫决策路由

为了适应嵌入式通信系统的资源匮乏性、多因素、异构性和对等性等特点,提出了动态多因素马尔可夫决策路由(DMMDR)算法,分析了算法的时间和空间复杂度,并设计了路由的建立过程和链路状态的更新策略.研究结果表明,该算法能综合考虑各种因素,均衡和减少计算量和存储需求,并避免环路的产生.

电力设备检修策略的马尔可夫决策

建立了基于马尔可夫过程的电力设备老化模型 ,在此基础上 ,应用马尔可夫决策方法对设备检修方案进行了优化 ,分析了不同目标条件下应该采用的优化检修方案。计算结果表明 ,本文提出的模型可以定量比较不同检修方案对设备的影响 。

基于马尔可夫决策理论的燃料电池混合动力汽车能量管理策略

根据道路试验记录的数据建立驾驶员需求功率的马尔可夫模型,利用马尔可夫决策理论获得混合动力汽车的随机能量管理策略。借助燃料电池混合动力汽车控制系统的仿真平台进行仿真计算。北京公交车中速工况的仿真结果表明,与原先的恒电压控制策略相比,随机能量管理策略可以降低燃料消耗。

基于部分可观察马尔可夫决策过程的多被动传感器组网协同反隐身探测任务规划

针对反隐身作战需求,提出多被动传感器组网协同战术。为提升反隐身探测效能,引入部分可观察马尔可夫决策过程(POMDP)理论,分析了POMDP任务规划要素,建立起多被动传感器组网协同反隐身探测任务规划POMDP模型。建立了多被动传感器协同控制系统结构,提出了基于无迹卡尔曼滤波(UKF)的信念状态更新方法和基于蒙特卡洛Rollout采样(MCRS)的Q值估计方法,并设计了CCSP基本策略。仿真结果表明,所建立的模型能够实现多被动传感器的高效管理调度,能够控制多被动传感器对隐身目标进行有效探测跟踪,即模型有效性得到了验证。

马尔可夫决策过程下的智能电网实时电价模型

实时电价策略是节约用电、提高用户用电效用值的有效手段。提出基于马尔可夫决策过程的一个实时电价优化模型。该模型应用有限阶段方法,以供应侧和需求侧的期望效用最大化为目标,依据递减风险理论,采用对数形式对现有效用函数进行改进,从而更加准确地刻画用户用电效用。通过粒子群算法对模型求解,并与固定电价情况进行结果比较。数值模拟结果表明该模型在控制用电量和提高用电效用方面具有良好的效果,同时所得到的实时电价处于固定电价最大和最小值之间,上下波动性小。

并联式混合动力汽车能量管理的马尔可夫决策

为研究同轴并联式混合动力汽车的能量管理策略,建立了同轴并联式动力系统动态方程,分析了转矩需求无后效性的马尔可夫特性.在维持电池容量不变的条件下,以燃油消耗最小为优化目标,采用马尔可夫决策实施能量管理策略,并采用策略迭代方法求解了马尔可夫能量管理的转矩决策过程,在J1015工况和昆明工况进行了仿真,实现了能量管理的在线实施.结果表明,与基于动态规划的能量管理策略相比,马尔可夫决策的能量管理策略能在线实施,且电池容量变化更为平稳;在燃料消耗方面是全局次优的,在J1015行驶工况下100 km燃油消耗增加了1.32 L,在昆明行驶工况下100 km燃油消耗增加了1.59 L.

异构无线网络中基于马尔可夫决策过程的区分业务接纳控制的研究

对异构无线网络中区分业务类型的接纳控制机制进行研究。分析了语音和数据2种典型业务在CDMA蜂窝网络和WLAN中的容量区域。基于马尔可夫决策过程理论,提出异构无线网络中区分业务类型的接纳控制理论模型,规定了不同类型业务的接纳控制行为并推导了系统状态转移概率。而且,进一步从用户角度对不同类型业务QoS要求和网络状态之间关系进行分析,提出一种基于模糊逻辑的接纳效用评估机制,在保证各类业务接入和切换成功率的基础上,推导出接纳效用最大的最优接纳控制策略。仿真表明,基于模糊逻辑的接纳效用评估能够有效反映网络状态动态变化对接纳控制的影响,最优接纳控制策略在平均接纳效用方面明显优于不考虑业务区分和用户移动性2种接纳控制机制,并且能严格保证各类业务的接入和切换成功率。

马尔可夫决策过程复杂性的熵测度

应用Shannon熵和其他熵指数来度量马尔可夫决策的复杂性.将马尔可夫链的复杂性、不确定性和不可预测性的度量扩展到马尔可夫决策,提出一套基于信息理论的复杂性度量方法,可用于随机和确定性策略下的完全观测和不完全观测马尔可夫决策.对有关数值进行仿真研究,并给出了计算结果.

基于马尔可夫决策过程的医疗检查预约优化模型

医技部门的医疗检查如电子计算机断层扫描(CT)、核磁共振成像设备(MRI)、X射线(X-rays)常常有如下三种病人类型:门诊病人、住院病人和急诊病人。针对不同病人类型的需求特点,运用马尔可夫决策过程原理和动态规划方法,建立了医疗检查设备的预约优化模型,并证明了模型的最优性质,得出了不同病人类型的最优预约策略。数值算例的结果表明:本文的预约策略不仅易于实施,而且,通过该模型获得的最大收益比按传统先来先预约的模式所获得的收益要大。

马尔可夫决策过程的限界模型检测

限界模型检测避免了符号模型检测反应式系统中构建二叉图时出现的空间快速增长,已经被证明是缓解状态空间爆炸问题的有力技术.文中遵循限界模型检测的思想,对马尔可夫决策过程提出一种限界模型检测技术,从而避免构建多端二叉图时空间的快速增长.具有非确定选择刻画能力是马尔可夫决策过程最大的特性,针对该特性首先定义概率计算树逻辑的限界语义,并证明其正确性;然后基于不同界下所计算概率度量序列的演化趋势,设计了限界检测过程终止的判断准则;最后将限界模型检测过程转换为线性方程组的求解问题.实验结果说明限界模型检测技术在证据较短的情况下,所需内存空间少于无界模型检测算法.