基于部分可观测马尔科夫决策过程的C-V2V频谱接入算法

文章基于部分可观测马尔科夫决策过程,提出一种C-V2V(Cellular Vehicle-to-Vehicle)频谱接入算法,并在既定的网络模型下,通过仿真过程验证了本算法可有效提高车辆用户接入频谱后的吞吐量,从而改善C-V2V通信网络服务质量,可应用于交通事故、车辆监督管理等领域。

考虑分布式可再生能源不确定性的配电网可靠性评估

分布式能源在电力系统中的渗透率不断提升,使得配电网系统呈现出更大的复杂性和不确定性,这将对电力网络的可靠性产生影响。为确定配电网系统中可再生能源发电机组的最优安装位置和容量,文章结合随机模糊期望值算子和马尔科夫蒙特卡洛法(Markov Chain Monte Carlo,MCMC),提出了一种可靠性评估框架。该模型建立了风电和光伏出力的多状态概率密度函数,采用随机模糊期望值算子模拟配电网功率损耗和电压稳定性的不确定性。在考虑配电系统拓扑结构的情况下,利用MCMC模拟配电网系统中所有非源元件的随机性,由指数分布生成配电网组件故障事件及恢复时间。最后,在IEEE-33节点标准配电网上,对系统平均停电次数、系统平均停电持续时间、电量不足期望值3种可靠性指数进行评价,实验结果证明了所提出方法的有效性。

边缘场景下面向分布式交互应用的服务器分配

移动边缘计算作为一种极具前瞻性的分布式计算范式,将云计算的计算能力下沉到网络边缘来高效地处理数据。近年来,分布式交互应用的需求激增,移动智能设备数量爆炸性增长,作为移动边缘计算的重要组成部分,边缘服务器可以使交互应用程序在用户附近执行,从而解决通信和网络开销过大和数据无法即时处理的问题。一个关键的挑战是找到一个合适的边缘服务器分配策略以有效降低交互延迟和平衡服务器工作负载。基于此目标提出了边缘服务器分配算法ESADQN,将问题建模为马尔可夫决策过程,使用强化学习有效地选择边缘服务器部署位置,并将用户分配到相应服务器。与k-means算法相比,ESADQN算法在工作负载标准差相近的情况下,总交互时延平均减少了31%;与Top-K算法相比,ESADQN算法在总交互时延相近的情况下,工作负载标准差平均减少了49%。实验结果表明,ESADQN选择的服务器分配方案能有效降低交互时延和工作负载标准差。

基于马尔科夫决策过程的应急资源调度方案的动态优化

利用马尔科夫决策方法,对突发公共事件下的应急资源调度方案的动态优化过程进行研究,以期找到特定场景下最优应急资源调度方案,保证应急救援行动的时效性.通过实例分析表明,基于马尔科夫决策过程的应急资源调度方案动态优化方法可实现应急资源调度方案的动态优化,未来通过采用本方法,可以为突发公共事件下的应急资源动态调度提供依据.

马尔科夫决策过程在多路径冗余传输调度算法中的应用

传统网络终端设备通常以单路径连接网络,因此在路径发生异常时通常严重影响数据传输质量.随着重叠网络和异构多接入网络的发展,多路径传输逐渐成为可能.多路径传输中数据发送端的多路径调度算法是研究多路径传输的核心问题.本文提出了一种基于马尔科夫决策过程的多路径冗余传输调度算法,通过分阶段采用稳态马尔科夫策略并对关键数据进行冗余传输,实现了实时性要求较高的数据传输,提高了数据传输可靠性.仿真实验表明当路径传输质量发生改变时,该调度算法能够正确感知并将数据更多的调度到传输质量较好的路径上,有效降低路径质量变差时对传输的影响.该算法可应用于音、视频等实时业务中,能够有效提高用户使用体验.

部分可观察马尔科夫决策过程优化不稳定型心绞痛中西医结合临床治疗方案的建模方法与验证研究

背景部分可观察马尔科夫决策过程(POMDP)是一种解决序列决策问题的数学算法,在医学领域中常应用于复杂治疗方案的动态优化。其在不稳定型心绞痛(UA)中西医结合临床治疗方案优化中的应用已进行了初步尝试。目的详细描述POMDP在UA中西医结合临床治疗方案优化过程中的建模方法并对模型的可靠性做出初步验证。方法收集中国中医科学院西苑医院、中国中医科学院广安门医院、中日友好医院、北京市中医院、通州区中医院、东直门医院、怀柔中医医院、北京大学人民医院2008-2010年2212例UA患者结构化住院病历111060条记录。将UA证候要素类型为气虚、血瘀的患者随机分为测试组732例和验证组732例,对测试组患者应用POMDP得出一组最优治疗方案的核心处方,在验证组患者中筛选符合方案的患者(作为优化组),与不符合方案的患者(作为对照组)进行血瘀证积分、远期终点事件(主要终点事件包括心血管死亡、非致命性心肌梗死、血运重建术,次要终点事件包括脑卒中、因急性冠脉综合征再住院、心功能不全、其他血栓并发症)发生情况的比较,验证方案的临床疗效。结果气虚优化组(n=152)、血瘀优化组(n=127)患者血瘀证积分降分分别为(5.29±2.64)、(4.87±3.04)分,均高于对照组,差异有统计学意义(P<0.05)。气虚优化组、血瘀优化组远期终点事件发生率分别为16.4%(25/152)、12.6%(16/127),与对照组比较,差异无统计学意义(P>0.05)。结论POMDP可以实现UA中西医结合临床治疗方案的优化,模型经验证较为稳定可靠,可尝试为其他疾病临床方案的制定提供更为细化、深入的优化方案。

基于半马尔科夫决策过程的风力机状态维修优化

恶劣的工作环境、昂贵的维修成本和停机损失对风力机及其部件的维修提出挑战。以齿轮箱、叶片等风力机核心机械部件为对象,将部件退化过程离散成有限的退化状态;以长期折扣成本最低为目标,考虑风速、备件物流、停机损失等因素的影响,建立基于半马尔科夫决策过程的状态维修优化模型。分析各退化状态下的维修策略、检测间隔时间以及不同退化状态间的转移概率,并采用策略迭代算法求解模型。以某风力机齿轮箱为例,通过对等周期、非等周期检测条件下检测间隔时间和维修成本的分析,得到优化的维修决策。研究结果表明,该模型能有效描述风力机核心部件的退化过程,实现风力机维修优化。

基于马尔科夫过程的风险资本多阶段投资决策

分段投资是风险投资家进行风险投资的基本运作方式 ,科学地做出投资决策对于风险投资家乃至我国风险投资业的发展具有重要的意义。本文在总结有关分段投资研究的基础上 ,针对阶段性投资的安全性问题 ,运用马尔科夫过程的有关理论 ,给出了风险资本多阶段投资的决策方法 。

基于马尔科夫决策过程的家庭能量管理智能优化策略

在迅速发展的通信技术和泛在电力物联网建设的背景下,结合多种信息交互方式和人工智能技术可为提高家庭能量管理的智能化程度提供新的思路。提出一种结合实时信息交互的家庭能量管理智能优化策略。首先,给出了以用户用能费用为基础的马尔科夫决策过程模型,采用动态规划方法求解模型,重点在家庭用电设备调度过程中考虑实时电价信息和用户的随机行为等不确定因素的影响;在此基础上,结合事件触发机制有效提高家庭能量管理系统的运行效率,进而给出从家庭能量管理控制中心到用电设备的智能优化调度方法;最后,通过仿真算例证实了所提方法的有效性,结果表明其能在减少用户用电费用的同时给出满足用户用电需求的优化用电策略。

基于马尔科夫决策过程的车载边缘计算切换策略

针对车载边缘计算环境中卸载场景的动态变化对计算卸载的影响,提出了一种基于马尔科夫决策过程的计算切换策略,在保证任务完成时间的基础上,对计算卸载的整体过程进行分析,从而进一步降低了计算切换的引入对卸载效果的影响。仿真实验针对计算切换的引入是否有助于提升计算卸载的效果以及如何进一步降低计算切换的引入对计算卸载的影响进行了4种算法的对比,实验结果表明,基于文中提出的计算切换策略,可以提升计算卸载的效率,保证用户的服务体验。

基于马尔科夫决策过程的可适变业务流程建模及分析

研究移动网络的适变业务流程的建模和模型分析对于部署和执行Web服务应用有着重要的意义。该文通过定义业务流程的相似性及数据类型的相容性,为可适变应用提供了候选集合,使得业务流程能够根据环境的变化动态地进行适变。为了有效地对适变业务流程实例进行分析,该文提出基于马尔科夫决策过程模型的适变业务流程建模方法,采用随机模型检测技术对模型的合理性进行验证和预测。针对具体实例,采用该文提出的方法对视频传输应用进行建模和分析验证,实验结果表明,该文为适变业务流程的建模和分析验证提供了一种有效的方法。

基于半马尔科夫决策过程的视频传输拥塞控制算法

针对传输控制协议(TCP,transmission control protocol)的拥塞控制算法未能满足视频传输质量要求的问题,提出了一种基于半马尔科夫决策过程的视频传输拥塞控制算法。首先,为克服目前基于峰值信噪比的视频质量评估方法实时性低的缺点,设计了一种可在线运行的无参考视频质量评估方法。其次,根据接收端视频质量的反馈,采用半马尔科夫决策过程对拥塞控制进行建模,并通过求解此模型得到拥塞控制参数的调整策略。仿真实验结果表明,与目前典型的拥塞控制算法相比,该算法不但具备更好的TCP友好性,而且有效地提高了解码后视频序列的主观和客观质量。

一种基于马尔科夫决策过程的多态路由派生方法

基于路由结构的自组织和自调节思想来为多样化业务需求提供个性化定制路由服务,多态路由机制为满足目前业务和未来新业务的不同路由服务需求提供了一种有效解决途径。基于多态路由机制中派生过程的无记忆序贯决策特性.将其建模为马尔科夫决策过程,并提出一种基于增强型学习的多态派生方法。实验结果表明,该多态派生方法能够灵活有效地为多态路由机制构建满足需求的多样化路由服务。

基于马尔科夫决策过程的井下无线基站切换策略

远程遥控方式下的井下无人驾驶机车运行伴随着一系列的无线基站通信切换过程,针对如何获取最大通信切换收益问题,提出一种基于马尔科夫决策过程模型的无线基站切换策略。首先,在已建立的井下无线通信切换模型场景中确定各基站的切换时延和可用带宽作为切换判据;其次,由切换判据所得通信收益和信令开销定义无线切换的收益函数;最后,基于贝尔曼方程并运用循环迭代算法求得井下机车最优通信切换策略。仿真结果表明,所提策略获取的切换收益高于高带宽切换策略和同侧切换策略的切换收益。

基于半马尔科夫决策过程的虚拟传感网络资源分配策略

针对传统无线传感网络(WSN)中资源部署与特定任务的耦合关系密切,造成较低的资源利用率,进而给资源提供者带来较低的收益问题,根据虚拟传感网络请求(VSNR)的动态变化情况,该文提出虚拟传感网络(VSN)中基于半马尔科夫决策过程(SMDP)的资源分配策略。定义VSN的状态集、行为集、状态转移概率,考虑传感网能量受限以及完成VSNR的时间,给出奖赏函数的表达式,并使用免模型强化学习算法求解特定状态下的行为,从而最大化网络资源提供者的长期收益。数值结果表明,该文的资源分配策略能有效提高传感网资源提供者的收益。

基于马尔科夫过程的高堆石坝施工度汛决策模型

高堆石坝施工挡水风险的时变性和填筑进度的不确定性增加了坝体施工期度汛方案决策的难度。针对高堆石坝施工度汛过程动态变化的特点,随机模拟大坝挡水风险,并将其划分3个风险状态以判断度汛行动。以整个度汛施工期成本最小化为目标,考虑洪水来流、填筑进度和决策成本等关键因素,建立基于马尔科夫过程的高堆石坝施工度汛决策模型,分析逐月大坝挡水风险状态下的度汛策略、成本函数和风险状态转移概率。在检验其马尔科夫特性基础上,采用决策迭代算法求解每一决策时刻状态下的最优施工度汛方案及度汛过程的决策路径。工程实例分析表明,该决策模型对高堆石坝施工度汛计划策略的调控结果符合实际施工度汛高程变化情况,为指导快速准确制定大坝施工度汛方案提供了参考。

基于马尔科夫决策过程的ATO系统独立组件与产品双需求最优决策研究

研究多维组件,单一产品的双需求型面向订单装配(Assemble-to-order,ATO)系统.产品需求为延期交货型,当其不被满足时将产生缺货等待成本;而独立组件需求为销售损失型,其不被满足时将产生缺货损失成本.该问题可以抽象成一个动态马尔科夫决策过程(Markov decision process,MDP),通过对双需求模型求解得到状态依赖型最优策略,即任一组件的最优生产–库存策略由系统内其他组件的库存水平决定.研究解决了多需求复杂ATO系统的生产和库存优化控制问题.提出在一定条件下,组件的基础库存值可以等价于最终产品需求的库存配给值.组件的基础库存值与库存配给值随系统内其他组件库存的增加而增加,而产品需求的库存配给值随系统组件库存和产品缺货量的增加而减少.最后通过数值实验分析缺货量及组件库存对最优策略结构的影响,并得到了相应的企业生产实践的管理启示.

基于马尔科夫决策过程的货物流的配给策略

随着全球化趋势和不断增长的运输量,许多大型货站已经开始使用综合自动化装运处理系统。在这些货站中,不同起点(如仓库入口点)和讫点(如仓储货架)之间的路径选择是一个至关重要的决策,本文中,我们研究此类路径最优问题,并提出了有效的货物流配给策略。该策略中不同的货物有不同的路径集合与之对应,且只有在权重较高的路径的饱和度较低时,才允许权重较小的货物在权重较高的路径上运输,不允许权重高的货物在权重低的路径上运输。我们引入马尔可夫决策过程模型进行决策,并通过数值试验证明我们提出的路径策略的有效性。

马尔科夫决策过程下含可再生能源的实时电价策略

运用马尔科夫决策过程表示用户调度各种类型家电和可再生能源发电量的不确定性,提出了一种新的用户福利最大化模型。为平衡用户用电效用(表示用户使用购买到的电力之后的满意程度)和支付成本之间的关系,引入权重因子作为未知变量。运用改进的模拟退火算法求解该模型并得到最优权重值。最后,仿真结果验证了模型的合理性和算法的可行性,可以指导用户进行能源优化配置和家电用电调度,以达到用户侧总体利益最大化的目标。

基于马尔科夫决策过程的高能效任务调度算法

在移动群智感知系统中,智能手机承担着许多不同的感知任务,这些任务需要来自不同传感器的数据。从传感器收集数据是非常耗能的,智能手机的电池限制了这些感知设备的可用性。如何在完成群智感知任务时降低设备能量消耗是参与者迫切需要的。针对以上问题,提出基于马尔可夫决策过程(MDP)的高能效任务调度算法。根据设备的电流负载、剩余能量和充电概率,马尔科夫决策过程迭代计算出最佳任务调度序列,并保证能耗最小化和感知精度最大化获得平衡。大量的仿真结果表明,该算法在任务调度过程中具有显著的节能效果,与广泛使用的现有算法相比,平均节省能量75%以上。