基于半Markov过程的变压器故障率分析

设备的故障率曲线是制定维修策略的重要指标之一。为了合理估计变压器的故障率,提出了基于半Markov过程的分析模型。模型中考虑了变压器的热老化过程和随机故障过程。热老化过程根据绝缘纸平均聚合度的取值范围划分为4个状态,状态间的转移时间假设服从Weibull分布,Weibull分布的尺度参数由经验公式获得;随机故障过程考虑了由雷击和短路冲击引起的2个随机故障状态,老化状态和随机故障状态之间的转移时间假设服从指数分布,转移率由故障统计数据获得。对模型中Weibull分布的形状参数进行适当取值后,可获得符合实际统计结果的变压器故障率曲线,说明综合考虑热老化和随机故障过程的半Markov变压器故障模型能够较好地反映实际变压器的故障机制。

半Markov过程基于性能势的灵敏度分析和性能优化

基于性能势的方法 ,研究了一类半Markov过程 (SMP)的性能灵敏度分析和平均费用下的性能优化问题 .将SMP转化为与之等价的离散时间Markov链 (DTMC) ,利用DTMC的性能势 ,对SMP进行灵敏度分析和性能优化 ,得到了SMP基于DTMC性能势的灵敏度分析公式和最优性方程 .最后给出了一个数值例子以表明该方法的应用 .

半Markov过程性能势的并行仿真估计

给出半M arkov过程(Sem i-M arkov P rocesses)性能势基于一条样本轨道的仿真算法,从并行仿真的角度,将已有M arkov过程的性能势理论推广到半M arkov过程,使该理论具有更加广泛的应用范围。并将该性能势与等价的M arkov过程的性能势进行比较,表明了两者的一致性。

基于半Markov过程的给水管网维修资金分配优化

在管网维修时,为了实现合理有效地利用有限的资金目标,提出了基于半Markov过程的维修资金分配优化模型。模型的目标函数是求系统可靠性即整个系统各管段加权长期可靠性和的最大值。在该维护程序中使用了水力可靠性来确定管段的权重。并以实例说明如何利用这个模型进行实际的运算。

考虑个体差异的系统退化建模与半Markov过程维修决策

为了在采样不完全、个体差异明显的条件下对缓慢退化系统的维修策略进行研究,针对具有个体差异的缓慢退化系统,选择线性混合效应模型进行退化建模,并利用自回归方法对模型残差中的时间序列相关性进行调节,提高了模型的准确性。在此基础上构造合理的状态空间和维修决策空间,求解退化过程的状态转移概率,并使用策略迭代算法求解最小化单位时间长期预计成本的最优化维修策略。以激光退化实际案例求解了基于半Markov决策过程的维修策略,并与经典的基于役龄的维修策略和周期检查的维修策略进行比较,证明了所提方法能够更加精确地刻画系统的退化过程,并可帮助制定兼顾成本与可靠性的维修策略。

半Markov决策过程折扣模型与平均模型之间的关系

首先分别在折扣代价与平均代价性能准则下,讨论了一类半M arkov决策问题.基于性能势方法,导出了由最优平稳策略所满足的最优性方程.然后讨论了两种模型之间的关系,表明了平均模型的有关结论,可以通过对折扣模型相应结论取折扣因子趋于零时的极限来得到.

半Markov决策过程的数值迭代优化

针对半Markov决策过程在紧致行动集上的数值迭代优化,提出了折扣和平均准则下直接基于等价无穷小生成子的统一的标准数值迭代算法,并证明了其收敛性。另外,讨论了两种性能准则下统一的异步数值迭代算法,包括Gauss-Seidel异步迭代和随机异步迭代,特别是基于样本轨道仿真的数值迭代等,并运用性能势思想对上述算法进行改进。结果表明,该算法可直接适用于连续时间Markov决策过程。最后通过一个数值例子来比较各种算法的特点。

半Markov控制过程在平均准则下的优化算法

研究了一类半Markov控制过程(SMCP)在紧致行动集上关于无限水平平均代价准则的性能优化算法.利用等价Markov过程的方法,导出了SMCP的性能势公式和平均代价最优性方程,给出了求解最优或次最优平稳策略的策略迭代算法和数值迭代算法,并证明了算法的收敛性.最后给出了一个数值例子来说明算法的应用.

半Markov控制过程基于性能势仿真的并行优化算法

根据等价Markov过程方法,研究了一类半Markov控制过程在紧致行动集上关于无限水平平均代价准则的性能优化算法.由于实际系统的状态空间往往非常大,因此通常的串行仿真算法可能会耗时过长,或由于硬件限制而无法实现.针对这些问题,提出了一种基于性能势的并行仿真优化算法,以期寻找系统的最优平稳策略,并用该算法对性能势的仿真和策略寻优分别进行了并行化,获得了较好的运行效率.仿真实例表明了该算法的有效性.这一算法可应用于大规模实际半Markov系统的性能优化.

可数半Markov决策过程折扣代价性能优化

讨论一类可数半M arkov决策过程(CSM DP)在折扣代价准则下的性能优化问题.运用等价M arkov过程方法,定义了折扣Po isson方程,并由该方程定义了α-势.基于α-势,导出了由最优平稳策略所满足的最优性方程.较为详细地讨论了最优性方程解的存在性问题,并给出了其解存在的一些充分条件.

基于半Markov决策过程的概率布尔网络模型

借助半Markov决策过程理论研究了概率布尔网络中的最优控制问题.将概率布尔网络的控制模型转化为首达目标的半Markov决策过程模型,通过选取最优控制输入使得和系统相关的目标函数最小,从而解决了一个最优控制问题,并举例说明所用方法的效用.

运用半Markov与能力验证的模具企业订单交货期设置

针对模具企业在洽淡阶段难以制定可行的订单交货期问题,建立了一种运用半Markov与能力验证的订单交货期设置模型。利用半Markov状态转移模型演化出订单任务状态的概率分布与需求工期,在演化的同时利用基于有限能力验证的启发式算法验证任务每一状态的需求工期的可行性,得出订单交货期的数学期望。通过实例分析,说明了上述方法对于解决企业实际问题具有一定的实用性。

基于连续时间半马尔可夫决策过程的Option算法

针对大规模或复杂的随机动态规划系统,可利用其分层结构特点或引入分层控制方式,借助分层强化学习(Hierarchical Reinforcement Learning,HRL)来解决其"维数灾"和"建模难"问题.HRL归属于样本数据驱动优化方法,通过空间/时间抽象机制,可有效加速策略学习过程.其中,Option方法可将系统目标任务分解成多个子目标任务来学习和执行,层次化结构清晰,是具有代表性的HRL方法之一.传统的Option算法主要是建立在离散时间半马尔可夫决策过程(Semi-Markov Decision Processes,SMDP)和折扣性能准则基础上,无法直接用于解决连续时间无穷任务问题.因此本文在连续时间SMDP框架及其性能势理论下,结合现有的Option算法思想,运用连续时间SMDP的相关学习公式,建立一种适用于平均或折扣性能准则的连续时间统一Option分层强化学习模型,并给出相应的在线学习优化算法.最后通过机器人垃圾收集系统为仿真实例,说明了这种HRL算法在解决连续时间无穷任务优化控制问题方面的有效性,同时也说明其与连续时间模拟退火Q学习相比,具有节约存储空间、优化精度高和优化速度快的优势.

半Markov决策过程的研究进展

本文综述半Markov决策过程(SMDP)理论的发展现状,主要介绍SMDP无限阶段期望折扣报酬准则、长期平均准则、有限阶段期望报酬准则、首达目标期望报酬准则、概率准则、受约束问题和均值-方差准则的研究工作,着重阐述这些优化准则的背景、意义、主要研究进展及有待研究的问题.最后,展望SMDP未来的一些潜在研究方向和相关问题.

软件再生中多状态非固定周期检测策略优化

为减少集成制造软件系统维护成本,非固定周期检测主要用于触发软件再生。现有针对该策略优化的研究中,采用的可靠性目标或约束在整个软件运行周期内固定不变,无法根据软件运行状态动态调整。故提出一种多状态非固定周期检测策略及其优化方法。该策略将不同状态区间内的检测目标可靠性作为决策变量,以最小化系统维护成本为目标,建立优化模型动态确定最优检测周期。基于非固定检测策略的Markov半更新过程特性,建立多状态可靠性约束下离散化的维护成本评估模型,通过遗传算法求解最优策略配置参数,进一步得到最优检测周期。实验结果表明,与现有单状态非固定周期检测方法相比,平均可降低约5.32%的系统维护成本,最高可降低约11%维护成本。

随机DEDS建模方法的统一

本文对基于摄动分析 (Perturbation Analysis,PA)的随机 DEDS建模方法进行了系统的分析 ,指出并解决了其中存在的一些实质性问题 ,推广了基于 PA的 DEDS研究方法 ,建立了新的定义于概率空间的有限自动机模型 ,证明该模型可实现经典有限自动机模型和广义半 Markov过程 (Generalized Semi- Markov Process,GSMP)模型的统一。

动态电源管理超时策略自适应优化算法

基于强化学习的方法,提出一种动态电源管理超时策略自适应在线优化算法.构建基于超时策略动态电源管理系统的半Markov控制过程模型,将动态电源管理问题转化为一个带约束的优化问题.利用此模型的动态结构特性,结合在线梯度估计与随机逼近推导超时策略的在线优化算法.该算法自适应性强,计算量小,具有全局收敛性.通过无线网络通信节点动态电源管理的应用仿真验证了算法的有效性.

动态电源管理超时策略与随机型策略的等效关系

为了建立动态电源管理不同类型策略优化之间的联系,研究了超时策略与随机型策略在性能与功耗均衡上的等效关系.构建了动态电源管理系统基于半Markov控制过程的随机分析模型,通过分析该系统的稳态行为,揭示了超时策略和随机型策略在性能与功耗均衡上的等效性,推导出这2种策略之间的等效关系式;证明了超时策略具有最优的动态电源管理效果,并使得2种类型策略的优化结果能够相互转换.最后通过无线通信节点动态电源管理的数值仿真验证了这种等效关系.

一阶非线性随机系统的学习优化控制

文章研究了一阶连续时间非线性随机系统的优化控制问题,通过勒贝格采样方法将其建模为半Markov决策过程,采用基于事件驱动和Q学习方法,给出了折扣和平均优化准则下统一的优化算法;仿真实验表明,该算法处理一阶非线性随机系统的最优控制问题,可以获得较好的优化效果。

SMDP基于Actor网络的统一NDP方法

研究半马尔可夫决策过程(SMDP)基于性能势学习和策略逼近的神经元动态规划(NDP)方法.通过SMDP的一致马尔可夫链的单个样本轨道,给出了折扣和平均准则下统一的性能势TD(λ)学习算法,进行逼近策略评估;利用一个神经元网络逼近结构作为行动器(Actor)表示策略,并根据性能势的学习值给出策略参数改进的两种方法.最后通过数值例子说明了有关算法的有效性.