基于半马尔可夫过程的异质WSNs可用度评估

为评估异质无线传感器网络(HWSNs)的可用性,提出一种异质传感器节点状态更契合实际情况的SEQIRD(Susceptible Exposed Quarantined Infected Recovered Dead)新模型。使用半马尔可夫过程描述节点各状态之间的动态转换过程,得到各个状态的稳态概率,并计算得出不同拓扑结构下整个HWSNs稳态可用度。最后进行数值分析,以验证初始感染率、感染变化率和恢复率对HWSNs稳态可用度的影响。

基于半马尔可夫过程的继电保护可靠性建模

长期以来,电力系统可靠性研究是以状态转移函数服从指数分布为假设前提的,而工程实际中预防性检修间隔时间等均为非指数分布,这必将严重影响分析结果的可信度。为此,文中从可靠性数学基础理论出发,以电力系统继电保护为例,计及其预防性检修,研究建立了基于半马尔可夫过程的具有多停运模式的系统可靠性模型并提出其解析求解方法,克服了传统频率持续时间法要求状态转移函数须服从指数分布的局限性,并具备计算速度快、精度高的优势。以实际电力系统继电保护运行统计数据为其可靠性基础数据,通过与基于序贯MonteCarlo模拟法的可靠性指标仿真结果相比较,充分验证了基于半马尔可夫过程的可靠性建模及其解析求解方法在电力系统可靠性应用研究中的科学意义和工程应用价值与前景。

半马氏过程的积分型随机泛函

本文讨论了半马氏过程的积分型随机泛函，求出了“首达”时间的积分型随机泛函公式，并讨论了半马氏过程“正则性”条件。

基于半Markov过程的变压器故障率分析

设备的故障率曲线是制定维修策略的重要指标之一。为了合理估计变压器的故障率,提出了基于半Markov过程的分析模型。模型中考虑了变压器的热老化过程和随机故障过程。热老化过程根据绝缘纸平均聚合度的取值范围划分为4个状态,状态间的转移时间假设服从Weibull分布,Weibull分布的尺度参数由经验公式获得;随机故障过程考虑了由雷击和短路冲击引起的2个随机故障状态,老化状态和随机故障状态之间的转移时间假设服从指数分布,转移率由故障统计数据获得。对模型中Weibull分布的形状参数进行适当取值后,可获得符合实际统计结果的变压器故障率曲线,说明综合考虑热老化和随机故障过程的半Markov变压器故障模型能够较好地反映实际变压器的故障机制。

半Markov过程基于性能势的灵敏度分析和性能优化

基于性能势的方法 ,研究了一类半Markov过程 (SMP)的性能灵敏度分析和平均费用下的性能优化问题 .将SMP转化为与之等价的离散时间Markov链 (DTMC) ,利用DTMC的性能势 ,对SMP进行灵敏度分析和性能优化 ,得到了SMP基于DTMC性能势的灵敏度分析公式和最优性方程 .最后给出了一个数值例子以表明该方法的应用 .

半Markov过程性能势的并行仿真估计

给出半M arkov过程(Sem i-M arkov P rocesses)性能势基于一条样本轨道的仿真算法,从并行仿真的角度,将已有M arkov过程的性能势理论推广到半M arkov过程,使该理论具有更加广泛的应用范围。并将该性能势与等价的M arkov过程的性能势进行比较,表明了两者的一致性。

基于半Markov决策过程的劣化系统检测与维修优化模型

针对系统劣化阶段持续时间、检测间隔时间和维修时间都服从一般分布的情况,提出了一类基于半马氏决策过程的劣化系统检测与维修优化模型.利用位相型分布近似一般分布简化了求解过程,并提出了相应的改进值迭代算法.最后通过算例验证了模型与迭代算法的可行性.

基于半马尔可夫过程的容错导航系统可靠性分析

在容错导航系统中,当采用序贯的方法进行故障检测或者对系统的某些参数采用滤波以后,系统已不再满足马尔可夫过程的基本假设条件。但可以利用半马尔可夫过程理论分析系统的可靠性。利用平移的二阶Erlang分布拟合的方法同以往方法相比能够更加准确地拟合系统的故障检测时间概率密度函数,提高容错导航系统可靠性分析的准确性。

半马氏过程框架下的期权定价

研究半马氏过程下的期权定价问题.假定标的资产的对数收益率服从一个离散时间有限状态空间的半马氏过程,在此基础上得出了欧氏和美氏期权价格的公式,并且给出了严格的证明,这些都是二叉树模型的推广.

基于连续时间半马尔可夫决策过程的Option算法

针对大规模或复杂的随机动态规划系统,可利用其分层结构特点或引入分层控制方式,借助分层强化学习(Hierarchical Reinforcement Learning,HRL)来解决其"维数灾"和"建模难"问题.HRL归属于样本数据驱动优化方法,通过空间/时间抽象机制,可有效加速策略学习过程.其中,Option方法可将系统目标任务分解成多个子目标任务来学习和执行,层次化结构清晰,是具有代表性的HRL方法之一.传统的Option算法主要是建立在离散时间半马尔可夫决策过程(Semi-Markov Decision Processes,SMDP)和折扣性能准则基础上,无法直接用于解决连续时间无穷任务问题.因此本文在连续时间SMDP框架及其性能势理论下,结合现有的Option算法思想,运用连续时间SMDP的相关学习公式,建立一种适用于平均或折扣性能准则的连续时间统一Option分层强化学习模型,并给出相应的在线学习优化算法.最后通过机器人垃圾收集系统为仿真实例,说明了这种HRL算法在解决连续时间无穷任务优化控制问题方面的有效性,同时也说明其与连续时间模拟退火Q学习相比,具有节约存储空间、优化精度高和优化速度快的优势.

运行风险评估中的变压器时变停运模型(二)基于延迟半马尔可夫过程的变压器时变停运模型

建立了用于电力系统运行风险评估的变压器时变停运模型。首先,根据变压器事故停运的特性,将其状态划分为运行状态、内部潜伏性故障状态和外部附件故障状态。然后,建立了基于延迟半马尔可夫过程的变压器时变停运模型。该模型既能够反映变压器内部故障和外部故障在修复时间上的区别,又能够反映变压器内部潜伏性故障在维修前后故障率的变化。最后,利用数值算例验证了所提出的模型的科学性。

基于强化学习和半马氏过程的供应链优化

在网络化制造环境下,供应链在地理分布上的分散性、市场需求的随机性都使得供应链的管理越来越复杂。应用强化学习和半马氏过程理论针对跨地区且存在地区生产成本差异的供应链管理问题进行了建模,分析了在随机需求的情况下,供应链的库存决策问题。应用实例说明该方法的可行性和有效性。

基于半马尔科夫过程的DTN节点移动模型

节点移动模型对容延容断网络(Delay/Disruption Tolerant Networks,DTN)中路由算法性能有着重要影响.本文分析校园环境下学生所携带移动节点的运动特点,采用半马尔科夫过程模拟节点运动并建立相应的DTN节点移动模型,对模型进行仿真和分析,将仿真结果与随机路径点(RandomWay Point,RWP)模型及实际路径信息进行对比,可以看出半马尔科夫过程模型能够更准确地描述实际网络环境.

半Markov决策过程折扣模型与平均模型之间的关系

首先分别在折扣代价与平均代价性能准则下,讨论了一类半M arkov决策问题.基于性能势方法,导出了由最优平稳策略所满足的最优性方程.然后讨论了两种模型之间的关系,表明了平均模型的有关结论,可以通过对折扣模型相应结论取折扣因子趋于零时的极限来得到.

基于半马尔科夫决策过程的风力机状态维修优化

恶劣的工作环境、昂贵的维修成本和停机损失对风力机及其部件的维修提出挑战。以齿轮箱、叶片等风力机核心机械部件为对象,将部件退化过程离散成有限的退化状态;以长期折扣成本最低为目标,考虑风速、备件物流、停机损失等因素的影响,建立基于半马尔科夫决策过程的状态维修优化模型。分析各退化状态下的维修策略、检测间隔时间以及不同退化状态间的转移概率,并采用策略迭代算法求解模型。以某风力机齿轮箱为例,通过对等周期、非等周期检测条件下检测间隔时间和维修成本的分析,得到优化的维修决策。研究结果表明,该模型能有效描述风力机核心部件的退化过程,实现风力机维修优化。

半Markov控制过程在平均准则下的优化算法

研究了一类半Markov控制过程(SMCP)在紧致行动集上关于无限水平平均代价准则的性能优化算法.利用等价Markov过程的方法,导出了SMCP的性能势公式和平均代价最优性方程,给出了求解最优或次最优平稳策略的策略迭代算法和数值迭代算法,并证明了算法的收敛性.最后给出了一个数值例子来说明算法的应用.

半Markov决策过程的数值迭代优化

针对半Markov决策过程在紧致行动集上的数值迭代优化,提出了折扣和平均准则下直接基于等价无穷小生成子的统一的标准数值迭代算法,并证明了其收敛性。另外,讨论了两种性能准则下统一的异步数值迭代算法,包括Gauss-Seidel异步迭代和随机异步迭代,特别是基于样本轨道仿真的数值迭代等,并运用性能势思想对上述算法进行改进。结果表明,该算法可直接适用于连续时间Markov决策过程。最后通过一个数值例子来比较各种算法的特点。

基于半马尔柯夫过程的流量预测方法

提出了一种基于半马尔柯夫过程的流量预测方法。通过半马尔柯夫过程描述网络流量特性,将网络流量划分为四种状态:忙、空闲、上升和下降。通过各状态下的网络流量特性及各状态间的相互转换关系,推导了对忙状态下网络流速率上界的预测方法。对广域网和局域网的实际流量数据的分析和检验表明,95%的数据均服从半马尔柯夫过程相应状态下的随机分布;90%的流量预测以0.8或0.9的概率低于我们所预计的流量上界,且主干网流量预测的流量上界与实际流量之间的相对误差低于15%。

半线性马氏过程局部时的构造

用半线性马氏过程的样本轨道和特征直接给出其局部时的构造。

半Markov控制过程在折扣代价准则下的最优平稳策略

讨论一类半Markov控制过程(SMCP)的折扣代价性能优化问题.通过引入一个矩阵,该矩阵可作为一个Markov过程的无穷小矩阵,对一个SMCP定义了折扣Poisson方程,并由这个方程定义了α 势.基于α 势,给出了由最优平稳策略所满足的最优性方程.最后给出一个求解最优平稳策略的迭代算法,并提供一个数值例子以表明该算法的应用.